складність 3/5
Decoding
Правило, яке перетворює розподіл наступного токена мовної моделі на власне текст. Вибір найімовірнішого продовження на кожному кроці надійно дає найгірший результат.
Інтуїція
Мовна модель не видає текст. Вона видає розподіл імовірностей над наступним токеном, а обирати має щось інше. Це інше — стратегія декодування, і виявляється, що вона важить не менше за саму модель.
Очевидний вибір — щоразу брати найімовірніший токен або шукати найімовірнішу послідовність. Holtzman та ін. починають із того, що це не працює: «стратегії декодування, які оптимізують вихід на високу ймовірність, як-от променевий пошук, призводять до тексту, що є неймовірно виродженим, навіть із найсучаснішими моделями на кшталт GPT-2 Large» [1, §1].
Вони так само зазначають, що інший край не кращий: «чисте семплування — семплування прямо з імовірностей, передбачених моделлю, — дає текст, який є незв’язним і майже не пов’язаним із контекстом», а винуватець — «„ненадійний хвіст“… складений із десятків тисяч токенів-кандидатів із відносно низькою ймовірністю, які в сукупності представлені надмірно» [1, §1].
Отже, добре декодування — це задача відсікання: скільки хвоста відкинути і як це вирішити.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- The Curious Case of Neural Text Degeneration (2020)paperhttps://ar5iv.labs.arxiv.org/html/1904.09751
- Dive into Deep Learningbook · звірено 2026-09-13https://d2l.ai/chapter_recurrent-modern/beam-search.html