складність 4/5
BFGS
Оптимізатор, що будує наближення кривини з уже побачених градієнтів і використовує його, щоб робити набагато краще націлені кроки, ніж градієнтний спуск.
Інтуїція
Градієнт каже, у який бік іти вниз. Він не каже, як нахил змінюється — чи ви на пологій чаші, де довгий крок безпечний, чи в гострому жолобі, де той самий крок перестрибне. Ця інформація — кривина, і живе вона в других похідних.
Метод Ньютона використовує кривину напряму, але мусить на кожній ітерації обертати матрицю других похідних з рядком на кожен параметр, ціною O(k³), тож «на практиці методом Ньютона можна навчати лише мережі з дуже малою кількістю параметрів» [2, §8.6.1]. BFGS дістає значну частину користі за частку ціни, виводячи кривину з того, як змінювався градієнт між уже зробленими кроками [2, §8.6.3].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- scipy.optimize.minimizedocs · звірено 2026-08-31https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.minimize.html
- Deep Learning (2016)book · звірено 2026-10-06https://www.deeplearningbook.org/contents/optimization.html
- minimize(method='L-BFGS-B')docs · звірено 2026-10-06https://docs.scipy.org/doc/scipy/reference/optimize.minimize-lbfgsb.html
- sklearn.linear_model.LogisticRegressiondocs · звірено 2026-10-06https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html