Optimizers

Дві осі, а не рейтинг

Таблиця не впорядкована ні за швидкістю, ні за якістю, бо жодна з них не впорядковує цю родину. Ці методи розділяють два незалежні вибори.

Скільки даних бачить один крок? Усі дані дають точний градієнт за величезну ціну на крок. Один приклад дає дешевий і зашумлений. Мінібатч лежить між ними, і саме там живе майже все глибоке навчання [2, §12.5].

Скільки пам’ятається між кроками? Звичайний спуск не пам’ятає нічого. Adam тримає два числа на параметр. Метод спряжених градієнтів тримає один напрямок. BFGS тримає цілу матрицю кривини — і L-BFGS існує тому, що ця матриця перестає вміщатися в пам’ять задовго до того, як сучасні моделі перестають рости.

Поділ, що справді має значення

Прочитайте останній стовпець — і родина чітко ділиться навпіл.

Методи, що терплять шум — SGD, мінібатч, Adam, — це те, чим навчають нейронні мережі. Вони припускають, що кожен градієнт є оцінкою, і збудовані так, щоб просуватися попри це.

Методи, що не терплять — спряжені градієнти, BFGS, — швидші й краще націлені, коли градієнти точні, і ненадійні, коли ні. Обидва виводять щось про ландшафт зі співвідношення між послідовними градієнтами, а шум мінібатчів псує це виведення: оновлення другого порядку «зазвичай потребують значно більших розмірів батча, як-от 10,000» [1, §8.1.3].

Саме тому методи, стандартні в наукових обчисленнях, рідкісні в глибокому навчанні, попри збіжність за значно меншу кількість ітерацій. Рідкісні, але не відсутні: практики повідомляють про прийнятні результати нелінійних спряжених градієнтів, а мінібатчеві версії застосовували успішно [1, §8.6.2].

Як обирати

• Навчання нейронної мережі → Adam, або AdamW, якщо потрібне зменшення ваги. Налаштовуйте SGD з momentum лише тоді, коли це виправдано числом у бенчмарку.
• Підгонка гладкої моделі з точними градієнтами → L-BFGS. Він і так є типовим розв’язувачем для логістичної регресії в більшості бібліотек.
• Дуже велика розріджена детермінована задача → спряжені градієнти, де витрати пам’яті на оцінку кривини неприйнятні.
• Розуміння того, що будь-який із них робить → звичайний градієнтний спуск. Усе інше в таблиці є модифікацією того самого правила оновлення.

Чого не виправляє жоден із них

Оптимізатор шукає в тому ландшафті, який йому дали. Якщо поверхня втрат є ущелиною через те, що ознаки мають дико різні масштаби, страждатиме кожен метод тут — Adam найменше, але жоден не втече. Масштабування входів змінює сам ландшафт і зазвичай допомагає більше, ніж зміна оптимізатора.