За замовчуванням, припускаючи, що GPT-4/3.5 (моделі, які використовує ChatGPT) не буде навчено за вашими посібниками, моделі не зможуть надавати корисну інформацію, окрім тієї, яку можна здогадатися за контекстом підказки.
Щоб зробити моделі корисними, вам, ймовірно, доведеться налаштувати пошук документів. Векторна база даних зберігатиме вбудовані частини вашої технічної документації, попередньо обчислені за допомогою OpenAI API вбудовування. Коли користувач ставить запитання в службу підтримки, ви шукаєте відповідну документацію за найближчою схожістю вбудовування, а потім надаєте це як контекст LLM як частину підказки. Впроваджуючи це, ви можете зіткнутися з труднощами під час зіставлення даних та залученої інфраструктури.
Навіть із цим модель може мати проблеми з виконанням завдань, які вимагають більш широких базових знань про ваші продукти, які не можна отримати з обмеженої кількості фрагментів. Для локальних моделей можна було б налаштувати точне налаштування, але це неможливо для GPT-3.5/4.
LLM відомі "галюцинувати" та давати неправильні, але впевнені відповіді. Більше того, навіть сказати моделі «не відповідай, якщо не знаєш»; не обов’язково завадить цьому, оскільки LLM не мають достатньої здатності до самоспостереження, щоб знати те, чого вони не знають.
Зазначення конкретного, чого повинен дотримуватися LLM, наприклад, лише вміст, що міститься у фрагменті отриманого документа, має бути більш ефективним, але все одно не повністю запобігатиме галюцинаціям. Ви можете надати модель посилання на документацію, яку користувач зможе перевірити вручну, щоб перевірити точність.
Загалом, вам, імовірно, доведеться працювати над правильним налаштуванням очікувань користувачів, щоб не очікувати, що модель буде повністю точною.
Залежно від того, як ваш бот служби підтримки піддається впливу, вам, можливо, доведеться впоратися з неправильним використанням моделі користувачами. Плата за використання API може обійтися дорого, якщо багато користувачів почнуть використовувати його для довгих розмов, не пов’язаних із вашим продуктом.
Наприклад, після впровадження Claude у Slack з’явилися інструменти та навчальні посібники для безкоштовного використання Claude із створенням робочого простору Slack як посередника.
Швидше за все, ви захочете реалізувати це за допомогою API OpenAI. Однак, якби ви якимось чином використовували веб-сайт/програму ChatGPT, ви також зіткнулися б із проблемою конфіденційності даних для вашої закритої документації та запитів користувачів. Наприклад, користувач, який потребує підтримки, може скопіювати та вставити в журнал налагодження, що містить IP-адреси та імена. За замовчуванням ChatGPT тренується на основі даних, введених користувачем, тоді як API OpenAI, який отримує доступ до тих самих моделей, працює ні.