складність 3/5
Adam
Оптимізатор, що тримає ковзні середні градієнта та його квадрата, даючи кожному параметру власний ефективний крок, — типовий вибір для навчання нейронних мереж.
Інтуїція
Звичайний SGD застосовує один темп навчання до кожного параметра. Але параметри не однакові: функція втрат часто дуже чутлива до одних напрямків у просторі параметрів і нечутлива до інших, тож єдине η мусить шукати між ними компроміс [3, §8.5].
Adam дає кожному параметру власний ефективний розмір кроку, виведений з історії градієнтів саме цього параметра. Великі градієнти параметра діляться на великий ковзний масштаб, малі — на малий, тож перемасштабування градієнтів одного параметра не змінює його кроків: метод «інваріантний до діагонального перемасштабування градієнтів» [1, abstract]. Автори додають, що його гіперпараметри «зазвичай потребують мало налаштування» [1, abstract], і саме тому він значною мірою й став типовим вибором. Наскільки це справджується — спірне питання; див. типові помилки.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Adam: A Method for Stochastic Optimization (2014)paperhttps://arxiv.org/abs/1412.6980
- Dive into Deep Learningbook · звірено 2026-08-31https://d2l.ai/
- Deep Learning (2016)book · звірено 2026-10-06https://www.deeplearningbook.org/contents/optimization.html
- Decoupled Weight Decay Regularization (2019)paperhttps://arxiv.org/abs/1711.05101
- The Marginal Value of Adaptive Gradient Methods in Machine Learning (2017)paperhttps://arxiv.org/abs/1705.08292
- tf.keras.optimizers.Adamdocs · звірено 2026-10-06https://www.tensorflow.org/api_docs/python/tf/keras/optimizers/Adam