Рекомендується змінювати температуру & top_p обидва, оскільки:

Температура: цей параметр контролює випадковість вихідних даних моделі. Нижчі температури (наприклад, 0,2) роблять вихід більш детермінованим і зосередженим, часто дотримуючись найближчих слів з найвищою ймовірністю.

top_p: цей параметр, також відомий як маса ймовірності, обмежує вибірку моделі найменшим можливим набором слів, сукупна ймовірність яких становить принаймні p. Наприклад, якщо top_p встановлено на 0,9, модель враховуватиме лише слова, які разом складають 90% маси ймовірності. Це може призвести до більш зв’язного та контекстуально релевантного тексту, оскільки уникає кінцевих ймовірностей. Налаштувавши ці параметри, ми можемо контролювати вихідні дані llm, щоб ми могли генерувати більш точні та детерміновані відповіді.