складність 3/5
Recurrent neural network
Мережа, що переносить прихований стан від одного кроку послідовності до наступного, тож один набір ваг обробляє послідовність будь-якої довжини. Та сама рекурентність знищує градієнт.
Інтуїція
N-грамна модель купує контекст, розширюючи свою таблицю, а таблиця росте як розмір словника в степені n. d2l прямо називає ціну: «кількість параметрів моделі також зростатиме експоненційно, бо нам потрібно зберігати |V|ⁿ чисел для словника V» [1, §9.4]. П’ять слів контексту на словнику з п’яти тисяч слів — це 5000⁵, близько 3 × 10¹⁸ чисел.
Рекурентна відповідь — перестати зберігати історії й натомість зберігати підсумок історії. Тримайте вектор hₜ₋₁, що представляє все побачене досі, оновлюйте його з кожним новим токеном і прогнозуйте з нього. d2l записує цю заміну як перехід від P(xₜ | xₜ₋₁, …, x₁) до P(xₜ | hₜ₋₁), «де hₜ₋₁ — прихований стан, що зберігає інформацію про послідовність до часового кроку t−1» [1, §9.4].
У принципі в цьому немає нічого наближеного: «для достатньо потужної функції f… модель із латентною змінною не є наближенням. Зрештою, hₜ може просто зберігати всі дані, які вона досі спостерігала» [1, §9.4]. Уся ця сторінка — про те, що натомість відбувається на практиці.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Dive into Deep Learningbook · звірено 2026-09-13https://d2l.ai/chapter_recurrent-neural-networks/rnn.html
- Dive into Deep Learning — Backpropagation Through Timebook · звірено 2026-09-13https://d2l.ai/chapter_recurrent-neural-networks/bptt.html
- Deep Learning — Sequence Modeling, chapter 10book · звірено 2026-09-13https://www.deeplearningbook.org/contents/rnn.html