Тонке налаштування попередньо навчених базових моделей
Великі мовні моделі, такі як GPT-4 або Llama-2, навчаються на завданні генерації наступного токена в послідовності, але потім їх можна точно налаштувати (або виконати нульовий висновок лише за допомогою підказки, що описує завдання), щоб адаптуватися до інших завдань NLP. Це відоме як трансферне навчання та використовує потужні базові знання та здібності, які модель навчилася з величезних обсягів даних. Наприклад, BioBERT, налаштований на основі BERT від Google, перевершив багато найсучасніших моделей у задачах NLP, таких як розпізнавання іменованих об’єктів і виділення зв’язків.
Останній приклад використання цього для модерування вмісту: "AWS виконує тонке налаштування великої мовної моделі (LLM) для класифікації токсичного мовлення для великої ігрової компанії" спочатку отримав 0,91 оцінки F1 лише за 100 нових зразків позначених даних із клієнт.
Вбудовування
Навчання генеративних моделей часто створює корисний прихований простір, де відстань між вбудованими вмістом базується на семантичній відстані, а не на синтаксичній (наприклад, відстань Левенштейна).
Якщо ви хочете навчити класифікатор для зображень NSFW, це може бути швидше (з точки зору часу навчання) і потребує менше даних для навчання на існуючих вбудовуваннях, а не на необроблених піксельних даних. Якщо ви хочете заборонити завантаження певного зображення, наприклад шокуючого зображення чи реклами, яка надсилається спамом, можливо, доцільно заборонити на основі відстані до точки в латентному просторі, щоб відловити невеликі зміни, такі як зміна розміру чи стиснення JPEG.
Є приклад реалізації цього в кулінарній книзі OpenAI.
Синтетичні навчальні дані
Справжні набори даних можуть містити недостатньо прикладів рідкісних випадків, бути упередженими або містити конфіденційну інформацію, що ускладнює обмін даними. Їх можна частково вирішити за допомогою синтетичних даних із симульованого середовища (наприклад: цей документ використовує GTA V і «Princeton Virtual Environment" для навчання самокерованих автомобілів), або створених за допомогою генеративного AI (наприклад: цей документ вивчає, чи можуть згенеровані зображення допомогти в розпізнаванні зображень – визнаючи це корисним, але з обмеженнями).
Як приклад модерування вмісту, HateGAN покращує виявлення ворожих висловлювань, додаючи дані з GAN, навченого генерувати реалістичні ненависницькі твіти, виявивши покращення на 5% у показнику F1.
Створення частково синтетичних даних шляхом доповнення існуючих реальних даних також можна використовувати для запобігання переобладнанню, оскільки це було простіше використовуються такі доповнення, як гортання/обрізання.
Примітка: система для виконання "завдання розрізняти бажані та небажані внески" мабуть, за визначенням буде дискримінаційним, а не породжуючим. Дискримінаційний штучний інтелект уже широко використовується для модерування вмісту – стандартний для таких завдань, як фільтрування спаму або позначення невідповідних зображень. Вище я намагався зосередитися на способах, якими методи генеративного штучного інтелекту також можуть бути застосовані для допомоги або як частина (дискримінаційної) системи.