складність 3/5
Bias-variance tradeoff
Класичний виклад того, чому модель буває надто простою чи надто складною, і сучасний результат, що його ламає: за точкою точної підгонки похибка на тесті може знову падати.
Інтуїція
Модель може провалитися двома протилежними способами, і класичний виклад називає обидва.
Надто проста — і вона не може подати візерунок, хоч скільки даних ви їй дасте; похибки, яких вона припускається, систематичні, однакові в кожному напрямку, на кожному наборі даних. Це зміщення.
Надто складна — і вона підганяється під візерунок і під шум. Дайте їй іншу вибірку з тієї самої популяції — і вона поверне помітно іншу модель. Її похибки не систематичні; вони нестійкі. Це дисперсія.
Класичний висновок у тому, що ці двоє тягнуть одне проти одного, і вам слід знайти точку між ними. Стаття, якій ця сторінка здебільшого й присвячена, обережно формулює цей висновок, перш ніж його розібрати: «якщо ℋ надто мале, усі предиктори в ℋ можуть недонавчитися на навчальних даних»; «якщо ℋ надто велике, мінімізатор емпіричного ризику може перенавчитися на оманливих візерунках»; і «класичне мислення переймається пошуком „оптимальної точки“ між недонавчанням і перенавчанням» [1, §1].
Цей виклад правильний і неповний, і знати, де він перестає бути правильним, коштує більше за сам виклад.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
На шпаргалці: Validation and generalisation →
Джерела
- Reconciling modern machine learning practice and the bias-variance trade-off (2019)paperhttps://ar5iv.labs.arxiv.org/html/1812.11118
- scikit-learn User Guide — Tuning the hyper-parameters of an estimatordocs · звірено 2026-09-06https://scikit-learn.org/stable/modules/grid_search.html