складність 2/5
Learning rate
Наскільки далеко переміщує кожен крок градієнтного спуску. На квадратичній функції кривина задає жорстку стелю, а найкраще значення — рівно її половина; мабуть, найважливіший гіперпараметр.
Інтуїція
Градієнтний спуск обчислює напрямок, а тоді мусить вирішити, як далеко в ньому йти. Градієнт відповідає на перше питання і нічого не каже про друге. Темп навчання — відповідь на друге, і це єдине число, яке задаєте ви.
Зазвичай кажуть, що замалий — повільно, а завеликий — нестабільно. Це правда, але вона применшує, наскільки різка межа. На квадратичній функції існує конкретне значення, вище за яке алгоритм не просто стає нестабільним — він доведено рухається геть від відповіді, на кожному кроці, назавжди: помилка на навчальній вибірці зростає, щойно темп «принаймні вдвічі більший за своє оптимальне значення» [3, §11.4.1].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Dive into Deep Learning — 12.3 Gradient Descentbook · звірено 2026-09-20https://d2l.ai/chapter_optimization/gd.html
- Cyclical Learning Rates for Training Neural Networks (2017)paper · звірено 2026-09-20https://ar5iv.labs.arxiv.org/html/1506.01186
- Deep Learning (2016)book · звірено 2026-10-06https://www.deeplearningbook.org/