складність 3/5
Prompting
Задання задачі у власному вході моделі — інструкцією і, можливо, кількома прикладами, без оновлення ваг. Добре пояснює, що це за задача; погано додає здатність.
Інтуїція
Стандартним способом змусити попередньо навчену модель виконувати нову задачу було донавчання її параметрів, а воно «вимагає донавчання параметрів на наборі даних із тисяч чи сотень тисяч прикладів, специфічних для цієї задачі» [1, §1]. Кожна нова задача означає новий набір даних, новий запуск навчання і новий набір ваг.
Промптинг прибирає все це, переносячи специфікацію задачі у вхід. Опишіть задачу, за бажанням покажіть кілька прикладів, допишіть справжній вхід і прочитайте продовження. Модель увесь час лишається мовною моделлю; у ній нічого не змінюється. Вона доповнює документ, який випадково містить задачу.
Brown et al. називають механізм, а не трюк: «ми використовуємо термін “навчання в контексті” для опису внутрішнього циклу цього процесу, що відбувається всередині прямого проходу на кожній послідовності» [1, Figure 1.1]. Чи є це навчанням у якомусь сильному сенсі — питання відкрите. Поза сумнівом те, що це працює достатньо добре, щоб бути першим, що варто спробувати, ще до будь-якого донавчання параметрів.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Language Models are Few-Shot Learners (2020)paperhttps://ar5iv.labs.arxiv.org/html/2005.14165
- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (2022)paperhttps://ar5iv.labs.arxiv.org/html/2201.11903