Attention

Інтуїція

Щоб витлумачити it у реченні «the trophy did not fit in the suitcase because it was too big», модель має подивитися на trophy, а не на suitcase. На яке слово дивитися, не задано позицією — поміняйте місцями два прикметники, і відповідь зміниться, — тож це не можна зашити наперед. Це треба обчислити зі змісту.

Увага і є тим обчисленням. Кожна позиція видає запит — що я шукаю — і кожна позиція видає ключ — що я маю. Порівняйте їх, оберніть порівняння на ваги, які дають у сумі одиницю, і візьміть зважене середнє значень. Слово, яке сильно збігається із запитом, робить найбільший внесок.

Причина, чому це перекроїло галузь, — не виразність, а відстань. У рекурентній мережі інформація з токена 1 дістається до токена 500, проходячи 499 кроків — і, як міряє та сторінка, градієнт лише на сто кроків назад уже може прибути приблизно з 10⁻²³ своєї сили. З увагою це один крок, для кожної пари, завжди.

Увага старша за трансформер і була винайдена, щоб полагодити інше. Вона з’являється у моделі перекладу Bahdanau та ін. 2015 року, рекурентному енкодері-декодері, в абзаці, який пояснює, чому декодер має читати зважену суміш послівних станів енкодера, а не один підсумок: «Інтуїтивно це реалізує механізм уваги в декодері. Декодер вирішує, на які частини вихідного речення звернути увагу. Даючи декодеру механізм уваги, ми звільняємо енкодер від тягаря кодувати всю інформацію вихідного речення у вектор фіксованої довжини» [1, §3.1]. Внеском трансформера двома роками пізніше було помітити, що коли це у вас уже є, рекурентність, до якої його прикрутили, більше не відпрацьовує свого місця. Див. seq2seq щодо вузького місця, на яке вона відповідала.

Формальне визначення

Як це працює

Де застосовується

Чому і коли

Практичний приклад

Типові помилки