складність 3/5
Sequence-to-sequence
Енкодер читає вхід змінної довжини, а декодер пише вихід змінної довжини. Втиснути це в один фіксований вектор — те вузьке місце, яке увага й була винайдена усунути.
Інтуїція
Переклад, реферування й транскрибування мовлення мають спільну форму, якої немає в класифікації: і вхід, і вихід є послідовностями, вони різної довжини, і жоден токен одного не стає навпроти токена іншого. d2l називає ці задачі такими, «де входи й виходи складаються з невирівняних послідовностей змінної довжини», і каже, що відповіддю є архітектура енкодер-декодер [2, §10.7].
Розділіть роботу. Одна мережа читає вхід і видає подання; друга мережа пише з нього вихід, по одному токену за крок. Друга половина вже знайома — «якщо знехтувати енкодером, декодер в архітектурі послідовність у послідовність поводиться просто як звичайна мовна модель» [2, §10.7].
Усе цікаве — у тому, що проходить між ними. Першою відповіддю був один вектор фіксованої довжини, і Bahdanau та ін. починають із того, що називають це проблемою: «ми припускаємо, що використання вектора фіксованої довжини є вузьким місцем у поліпшенні якості цієї базової архітектури енкодер-декодер» [1, Abstract].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Neural Machine Translation by Jointly Learning to Align and Translate (2015)paperhttps://ar5iv.labs.arxiv.org/html/1409.0473
- Dive into Deep Learning — Sequence-to-Sequence Learningbook · звірено 2026-09-13https://d2l.ai/chapter_recurrent-modern/seq2seq.html