Чат-боти на основі GPT передбачають текст у спеціально відформатованому документі, який виглядає приблизно так:

Human: Яка столиця Франції?
###
Bot: станом на 1789 рік столицею Франції є Париж.
###
Людина: захоплююче. Чия це вина?
###
Бот: Ми могли б звинуватити кельтів, чи римлян, чи навіть географію, але король Хлодвіг зробив Париж столицею, коли заволодів Галією, тому я б звинуватив його.

Потім це проходить через комп’ютерну програму, яка витягує "Бот:" лінії та зупиняє покоління, перш ніж воно створить "Human:" лінії – але цей процес залежить від моделі, яка точно відтворює роздільники. Фундаментальним наслідком того, як працюють моделі GPT, є те, що іноді вони отримують дещо неправильне форматування, і тоді програма, яка керує моделлю, неправильно аналізує неправильно сформований вивід, і ілюзія руйнується.

Це, мабуть, не ті підказки, які використовуються для її навчання. Це просто передбачення моделі щодо того, що ви скажете далі, тому що модель не розуміє, що це не ви, а програма супервізора, яка зазвичай приховує цей факт, недостатньо розумна, щоб помітити каскадний збій, що відбувається.

Немає способу уникнути цього: просто так працює технологія. Інтелектуальні текстові моделі не є універсальними молотками, як їх продають: вони є невідповідним інструментом для роботи, і вони використовуються здебільшого. (Сподіваюся, що через десять років це зміниться, тому що люди не будуть використовувати їх так багато.)