складність 3/5
SGD
Градієнтний спуск, який оцінює градієнт за одним прикладом замість усього набору, — значно зашумленіший напрямок, обчислений у тисячі разів дешевше.
Інтуїція
Full-batch gradient descent читає мільйон рядків, щоб ухвалити рішення про один крок. Це величезний обсяг роботи заради одного рішення, і більша її частина надлишкова — перша тисяча рядків уже вказує приблизно правильний напрямок.
SGD іде навпростець. Обчисліть градієнт за одним прикладом, одразу зробіть крок, рухайтеся далі. Будь-який окремий напрямок сильно хибний; усереднений за тисячами кроків, він правильний, а ви зробили тисячі кроків за час, за який повний батч зробив один. Його найважливіша властивість — те, що «час обчислення одного оновлення не зростає з кількістю навчальних прикладів» [2, §8.3.1].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Dive into Deep Learningbook · звірено 2026-08-31https://d2l.ai/
- Deep Learning (2016)book · звірено 2026-10-07https://www.deeplearningbook.org/contents/optimization.html