складність 3/5
Language model
Розподіл імовірностей над послідовностями токенів, розкладений так, що кожен токен прогнозується з тих, які йдуть перед ним. Підрахунки працюють приблизно до двох слів контексту, а тоді даних бракує.
Інтуїція
Мовна модель приписує ймовірність шматку тексту. Це і є все визначення, а решта — генерування, попереднє навчання, ціль, на якій навчають GPT і BERT — випливає з нього.
Прийом, який робить це здійсненним, — ланцюгове правило. Імовірність речення є добутком імовірностей кожного слова за умови слів перед ним [1, §9.3.1], тож об’єкт над нескінченним простором послідовностей стає послідовністю звичайних прогнозів наступного слова. Прогнозувати по одному слову — це задача, яку можна наглядати будь-яким текстом узагалі, і саме тому великі моделі навчають на цій цілі, а не на якійсь іншій.
Питання, на яке відповідає решта сторінки, — що «за умови слів перед ним» може означати на практиці. Обумовлення на всіх із них — це те, чого вимагає факторизація, і те, чого не може жоден метод підрахунку.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Dive into Deep Learningbook · звірено 2026-09-13https://d2l.ai/chapter_recurrent-neural-networks/language-model.html
- The Curious Case of Neural Text Degeneration (2020)paperhttps://ar5iv.labs.arxiv.org/html/1904.09751