складність 3/5
Hallucination
Згенерований текст, якого джерело не підтверджує: він або суперечить джерелу, або виходить за його межі. Другий вид не обов’язково хибний, а перший не виявить жодна метрика перекриття.
Інтуїція
Мовну модель навчають породжувати ймовірний текст. Ніщо в цій цілі не згадує істину, і ніщо не згадує документ, який ви дали моделі. Коли ці двоє розходяться, на виході маємо вільний, добре побудований і необґрунтований текст — те, що Ji et al. описують як генерацію, «схильну галюцинувати небажаний текст, що погіршує роботу системи й не відповідає очікуванням користувачів у багатьох реальних сценаріях» [1, Abstract].
Слово охоплює дві різні вади, і змішувати їх — найпоширеніша помилка щодо нього. Сказати те, чому джерело суперечить, — одна проблема. Сказати те, про що джерело просто не згадує, — інша, і, що важливо, не обов’язково хибна.
Це також не рідкісне й не екзотичне явище, і речення, яке повідомляє, наскільки воно поширене, містить власну кульмінацію: «найкращі системи абстрактивного реферування, оцінені метриками на кшталт ROUGE, BLEU і METEOR, мають галюцинований вміст у 25% згенерованих підсумків» [1, §4]. Саме на ці метрики такі системи налаштовують, і проти цієї вади вони не роблять нічого — що й показує конкретно приклад нижче.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Survey of Hallucination in Natural Language Generation (2023)paperhttps://ar5iv.labs.arxiv.org/html/2202.03629
- Training Language Models to Follow Instructions with Human Feedback (2022)paperhttps://ar5iv.labs.arxiv.org/html/2203.02155
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2021)paperhttps://ar5iv.labs.arxiv.org/html/2005.11401
- The Curious Case of Neural Text Degeneration (2020)paperhttps://ar5iv.labs.arxiv.org/html/1904.09751