складність 3/5
Backpropagation
Ланцюгове правило, застосоване у зворотному напрямку по обчислювальному графу. Один обхід дає похідну за кожним параметром, коштуючи приблизно стільки ж, скільки один прямий прохід.
Інтуїція
Мережа з шістдесятьма тисячами параметрів потребує шістдесяти тисяч похідних — по одній на параметр — на кожному кроці. Очевидний метод — штовхнути параметр, подивитися, що станеться з втратою, повторити — вимагає двох прямих проходів на параметр. Це сто двадцять тисяч обчислень заради одного оновлення.
Зворотне поширення дістає всі шістдесят тисяч з одного обходу мережі у зворотному напрямку. Не по одному на параметр — одного, загалом. Практичний приклад міряє цю різницю в 73,432×, і розрив росте з кількістю параметрів, і саме тому цей алгоритм робить глибоке навчання можливим, а не лише означуваним.
Механізм не екзотичний. Він «проходить мережу у зворотному порядку, від вихідного шару до вхідного, згідно з ланцюговим правилом з математичного аналізу» [1, §5.3.3]. Швидким його робить саме напрямок.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Dive into Deep Learningbook · звірено 2026-09-12https://d2l.ai/chapter_multilayer-perceptrons/backprop.html
- Automatic Differentiation in Machine Learning: a Survey (2018)paperhttps://ar5iv.labs.arxiv.org/html/1502.05767