складність 3/5
Perplexity
Експонента середньої від’ємної логарифмічної правдоподібності моделі на відкладеному тексті — дієва кількість виборів на токен. Вона на токен, тож не порівнянна між токенізаторами.
Інтуїція
Мовна модель кладе ймовірність на шматок тексту, і очевидний спосіб її оцінити — запитати, скільки ймовірності вона дає текстові, якого не бачила. Очевидний спосіб не працює: «коротші послідовності трапляються значно частіше за довші, тож оцінювання моделі на magnum opus Толстого «Війна і мир» неминуче дасть значно меншу правдоподібність, ніж, скажімо, на повісті Сент-Екзюпері «Маленький принц». Бракує еквівалента середнього» [1, §9.3.2].
Усереднення логарифмічної правдоподібності на токен дає перехресну ентропію, яка порівнянна між довжинами. Перплексія є її експонентою й існує здебільшого для того, щоб число лягло в шкалу, про яку люди можуть міркувати: дієва кількість виборів, які модель вважає, що має на кожному кроці.
Підхід d2l — запитати, наскільки текст дивує, порівнюючи три продовження «It is raining» — «outside», «banana tree» і «piouw;kcj pwepoiut». Перше плавне, друге принаймні складається зі слів, третє — це модель, яка «не підганяється до даних як слід» [1, §9.3.2]. Перплексія ставить ці три в порядок без того, щоб їх хтось читав.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Dive into Deep Learningbook · звірено 2026-09-13https://d2l.ai/chapter_recurrent-neural-networks/language-model.html
- The Curious Case of Neural Text Degeneration (2020)paperhttps://ar5iv.labs.arxiv.org/html/1904.09751