складність 4/5
Transformer
Стек однакових шарів, у кожному з яких самоувага йде перед прямоточною мережею за позиціями, і обидві загорнуті в залишкове з’єднання та нормалізацію шару, а порядок слів подається окремо.
Інтуїція
Увага — це механізм, а не модель. Вона обчислює зважене середнє за позиціями; сама по собі вона нічого не вчиться, не має глибини й не має поняття порядку. Трансформер — це те, що виходить, коли будуєш архітектуру, єдиною операцією змішування в якій є увага, а потім додаєш усе, чого увазі бракує.
Кожне з цих доповнень усуває конкретну нестачу. Увага не має порядку, тож додають позиційне кодування. Увага лінійна за своїми значеннями, тож після неї ставлять невелику нейронну мережу. Багаторазове накладання будь-якого з них важко навчати, тож кожне загортають у залишкове з’єднання й нормалізують.
Результат — архітектура без рекурентності та без згортки, і це важить із непоказної причини: кожну позицію можна обчислити водночас. Модель стала не так виразнішою за LSTM, як паралельною, і саме паралельність дозволила навчати її на значно більшому обсязі тексту. Стаття повідомляє саме про таке поєднання: кращу якість, «будучи водночас краще паралелізованою й потребуючи значно менше часу на навчання» [1, abstract].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Attention Is All You Need (2017)paperhttps://ar5iv.labs.arxiv.org/html/1706.03762
- Dive into Deep Learningbook · звірено 2026-09-05https://d2l.ai/
- Layer Normalization (2016)paperhttps://arxiv.org/abs/1607.06450