складність 4/5
Conjugate gradient
Оптимізатор, що обирає кожен напрямок пошуку так, щоб не зводити нанівець поступ попередніх, — засіб проти зигзагів градієнтного спуску у вузькій долині.
Інтуїція
Градієнтний спуск у довгій вузькій долині поводиться погано цілком конкретним чином: кожен крок указує радше поперек долини, ніж уздовж, тож шлях зигзагує між схилами й повзе до дна. Гірше того, кожен крок частково скасовує поступ попереднього: за точного лінійного пошуку кожен новий напрямок ортогональний до попереднього, і, «йдучи за градієнтом наприкінці кожного лінійного пошуку, ми певною мірою скасовуємо поступ, уже досягнутий у напрямку попереднього лінійного пошуку» [2, §8.6.2].
Метод спряжених градієнтів це припиняє. Кожен новий напрямок обирають спряженим до попереднього — «він не скасовуватиме поступу, досягнутого в тому напрямку» [2, §8.6.2]. Жоден поступ не повторюється, тож немає й зигзагу.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- scipy.optimize.minimizedocs · звірено 2026-08-31https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.minimize.html
- Deep Learning (2016)book · звірено 2026-10-06https://www.deeplearningbook.org/contents/optimization.html
- scipy.sparse.linalg.cgdocs · звірено 2026-10-06https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.linalg.cg.html