складність 4/5
Instruction tuning
Донавчання попередньо навченої моделі на задачах, сформульованих як інструкції, а тоді — на людських уподобаннях між її власними виходами. Так доповнювач тексту стає відповідачем на ваше питання.
Інтуїція
Попередньо навчена мовна модель продовжує документи. Коли їй ставлять питання, найімовірнішим продовженням часто є інше питання, бо так поводиться інтернет. Ніщо в цілі навчання не просило її бути корисною — і Ouyang et al. формулюють наслідок уже в першому реченні: «збільшення мовних моделей саме по собі не робить їх кращими у виконанні намірів користувача» [2, Abstract].
Промптинг — одна відповідь: описати задачу у вході. Це працює, і GPT-3 створили, щоб показати, як далеко це заходить [3, Abstract]. Але з прикладами це працює значно краще, ніж без них — «якість GPT-3 без прикладів значно гірша, ніж із кількома прикладами, у таких задачах, як розуміння прочитаного, відповіді на запитання й логічне виведення природною мовою» [1, §1], — і кожен запит платить за приклади знову.
Донавчання на інструкціях переносить цю роботу у ваги. Навчіть модель на багатьох задачах, сформульованих як інструкції, і вона засвоїть загальну навичку робити те, що каже інструкція, зокрема для інструкцій, яких ніколи не бачила. Потім, за бажанням, навчіть її далі тому, які з її власних виходів люди насправді вважають кращими. Ці дві половини — різні техніки з різними доказами, і ця сторінка тримає їх окремо.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Finetuned Language Models Are Zero-Shot Learners (2022)paperhttps://ar5iv.labs.arxiv.org/html/2109.01652
- Training Language Models to Follow Instructions with Human Feedback (2022)paperhttps://ar5iv.labs.arxiv.org/html/2203.02155
- Language Models are Few-Shot Learners (2020)paperhttps://ar5iv.labs.arxiv.org/html/2005.14165