складність 3/5
Mini-batch gradient descent
Визначення
Оцінювання градієнта за невеликою групою прикладів замість одного чи всіх — компроміс, яким насправді навчають усе.
Формула
Інтуїція
Повний батч дає точний напрямок ціною, що зростає разом із набором даних. SGD з одним прикладом дає дешевий напрямок із великою часткою шуму. Жодної з крайнощів ніхто не запускає.
Мінібатч бере 32, 128 чи 256 прикладів, усереднює їхні градієнти й робить крок. Усереднення зменшує шум; батч усе ще досить малий, щоб кроки йшли швидко. Більшість алгоритмів глибокого навчання «лежать десь посередині, використовуючи більше одного, але менше за всі навчальні приклади» [2, §8.1.3].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Dive into Deep Learningbook · звірено 2026-08-31https://d2l.ai/
- Deep Learning (2016)book · звірено 2026-10-06https://www.deeplearningbook.org/contents/optimization.html
- Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour (2017)paperhttps://arxiv.org/abs/1706.02677
- Group Normalization (2018)paperhttps://arxiv.org/abs/1803.08494
- torch.utils.data.DataLoaderdocs · звірено 2026-10-07https://pytorch.org/docs/stable/data.html