складність 3/5
Retrieval-augmented generation
Знайти фрагменти у сховищі документів, покласти їх у вхід моделі й генерувати на їхній основі. Переносить факти з ваг в індекс, який можна перевіряти, виправляти й замінювати.
Інтуїція
Попередньо навчена модель зберігає те, що знає, у своїх вагах. Lewis et al. називають це параметричною пам’яттю і точно кажуть, чого вона коштує: такі моделі «не можуть легко розширювати чи переглядати свою пам’ять, не можуть прямо пояснити свої прогнози і можуть породжувати “галюцинації”» [1, §1].
Усі три проблеми мають однакову форму. Факт, розподілений по мільярдах ваг, не має адреси, тож його не можна знайти, процитувати чи змінити без навчання. Виправлення — перестати намагатися: тримати окреме сховище документів — непараметричну пам’ять, — шукати в ньому під час запиту і класти знайдене у вхід моделі.
Виграш — не насамперед точність. Він у тому, що «знання можна безпосередньо переглядати й розширювати, а отримані знання — перевіряти й інтерпретувати» [1, §1]. Факти стають даними, якими ви адмініструєте, а не поведінкою, яку ви перенавчаєте.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2021)paperhttps://ar5iv.labs.arxiv.org/html/2005.11401
- Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (2019)paperhttps://ar5iv.labs.arxiv.org/html/1908.10084
- Training Language Models to Follow Instructions with Human Feedback (2022)paperhttps://ar5iv.labs.arxiv.org/html/2203.02155