складність 4/5
BERT
Енкодер трансформера, попередньо навчений приховуванням 15% токенів і прогнозуванням їх з обох боків одразу, а тоді донавчений на задачі одним зайвим вихідним шаром без хірургії архітектури.
Інтуїція
Мовна модель передбачає наступне слово. Ця ціль безкоштовна — кожен текст у світі вже розмічено тим, що йде далі, — і саме тому вона стала способом попередньо навчатися на нерозмічених даних. Але вона накидає обмеження, яке не має до мови жодного стосунку: щоб передбачити токен i, модель може дивитися лише на токени перед ним, інакше задача була б тривіальною.
Для породження тексту це обмеження цілком слушне. Для розуміння — це рана, завдана самому собі. Вирішити, чи «he went to the bank» означає річку, чи чекову книжку, залежить цілковито від того, що йде після, а моделі зліва направо дивитися туди заборонено.
Хід BERT — змінити задачу, а не архітектуру. Приховайте кілька токенів навмання й передбачайте саме їх [1, §3.1]. Тепер кожен прогноз може скористатися цілим реченням, бо відповідь не сидить у контексті, чекаючи, щоб її скопіювали — її прибрано. Двоспрямованість перестає бути шахрайством і стає доступною.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2019)paperhttps://ar5iv.labs.arxiv.org/html/1810.04805
- Dive into Deep Learningbook · звірено 2026-09-06https://d2l.ai/