складність 3/5
Hyperparameter tuning
Пошук налаштувань, яких модель не може вивчити сама. Який пошук ви оберете, важить менше, ніж помітити, що більшість налаштувань не має значення, а сітка витрачає бюджет так, ніби має кожне.
Інтуїція
Деякі числа модель з’ясовує сама; інші ви мусите їй дати. Другі — це гіперпараметри, «вхідні дані алгоритму машинного навчання, які визначають, як якість алгоритму узагальнюється на нові, небачені дані» [1, §1], — і модель не має про них жодної думки, бо зміна гіперпараметрів змінює саме те, що ми називаємо «моделлю».
Очевидний спосіб їх обрати — перепробувати комбінації й залишити найкращу. Очевидний спосіб перепробувати комбінації — сітка, і саме на сітці інтуїція помиляється.
Сітка припускає, що кожен гіперпараметр заслуговує однакової уваги. Майже жоден не заслуговує. Документація каже це прямо: «часто невелика підмножина цих параметрів може сильно впливати на прогностичну чи обчислювальну якість моделі, тоді як інші можна залишити зі значеннями за замовчуванням» [3, §3.2]. Щойно ви це приймаєте, геометрія сітки стає активною вадою: вона витрачає бюджет, знову і знову пробуючи ті самі кілька значень важливого параметра в комбінації зі значеннями параметрів, які не мають значення.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
На шпаргалці: Validation and generalisation →
Джерела
- Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization (2018)paperhttps://ar5iv.labs.arxiv.org/html/1603.06560
- Random Search for Hyper-Parameter Optimization (2012)paperhttps://www.jmlr.org/papers/v13/bergstra12a.html
- scikit-learn User Guide — Tuning the hyper-parameters of an estimatordocs · звірено 2026-09-06https://scikit-learn.org/stable/modules/grid_search.html