Пошук документів

Векторна база даних, наприклад Chroma може зберігати попередньо обчислені вбудовування великої кількості документів. Під час запиту до LLM виконується пошук релевантних документів шляхом найближчої подібності вбудовування, а потім фрагмент тексту додається до підказки для LLM, щоб взяти з нього та підсумувати.

Існує кілька проектів, заснованих на цій ідеї, наприклад:

• https://github.com/arc53/docsgpt

• https://github.com/mmz-001/knowledge_gpt

• https://github.com/StanGirard/quivr

• https://github.com/Mintplex-Labs/anything-llm

• https://github.com/vgulerianb/DocNavigator

• https://github.com/flepied/second-brain-agent

Цей підхід має перевагу в тому, що він не потребує навчання моделі та може працювати навіть із моделями чорної скриньки, такими як GPT-4. Модель також зможе черпати з наданого фрагмента тексту точніше, ніж якби його щойно побачили під час навчання.

Ви також можете застосувати щось простіше, як-от запустити пошук-заміну у підказці, щоб додати визначення в дужках після входження жаргонних слів.

Тонке налаштування моделі

Кілька ефективні методи тонкого налаштування параметрів, зокрема LoRA, дозволяють налаштовувати модель із більш розумним апаратним забезпеченням, ніж те, що було б потрібно для повного навчання.

Це сховище містить код для використання LoRA на Meta LLaMA з (висококласним) споживчим обладнанням: https://github.com/tloen/alpaca-lora

Цей підхід має перевагу в тому, що модель налаштована на всі надані вами дані, а не лише на одну частину. Це навіть можна використати, щоб навчити LLM нової мови або перетворити базову модель на модель чату.