Маршрут
Моделі машинного навчання
Лінійні моделі, дерева, ансамблі, кластеризація — і як кожна з них помиляється.
Кроки по порядку
- 01Train-test splitВідкладіть частину рядків від навчання, щоб звітувана оцінка була виміряна на даних, яких модель не бачила. Поділ має йти першим, бути достатньо великим і зважати на те, як надходять рядки.Безкоштовно
- 02Linear regressionМодель, яка передбачає числовий результат як зважену суму вхідних ознак, підігнана вибором ваг, що роблять квадрати похибок прогнозу якомога меншими.Безкоштовно
- 03OverfittingПідгонка під навчальну вибірку тісніша, ніж під процес, що її породив: модель відтворює шум, який не повториться, і працює на нових даних тим гірше, чим краще виглядає на старих.
- 04Cross-validationПоділ даних на k частин, де кожна частина по черзі стає тестовою вибіркою, так що кожен зразок прогнозує модель, яка його не бачила — і оцінка спирається на всі дані, а не на один вдалий поділ.
- 05Decision treeМодель, що прогнозує, ставлячи послідовність запитань «так/ні» про ознаки й розбиваючи дані на кожній відповіді, доки не дійде до листка з прогнозом.
- 06Feature engineeringРішення про те, якими будуть колонки, — масштабування, кодування, поєднання та виведення входів так, щоб структура, яку модель здатна виразити, збігалася з тією, що справді є в даних.
- 07K-meansОберіть k центрів, віднесіть кожну точку до найближчого, перемістіть кожен центр у середнє того, що він захопив, повторіть. Завжди збігається — і може збігтися до як завгодно поганого результату.
- 08KNNКласифікує нову точку, дивлячись на k найближчих навчальних прикладів і беручи їхнє голосування більшістю, — модель, що зберігає дані замість того, щоб на них навчатися.
- 09Distance-weighted KNNKNN, у якому голос кожного сусіда важить обернено пропорційно до відстані, — тож точка поруч із запитом переважує ту, що на краю околу.
- 10Polynomial regressionПідгонка кривої через додавання степенів і добутків вихідних ознак із подальшою звичайною лінійною регресією на розширеному наборі — це все ще лінійна модель, тепер із вигнутою формою.
- 11RegularizationДодавання штрафу за розмір коефіцієнтів до цільової функції моделі: вона міняє трохи якості підгонки на навчальних даних на значно кращу поведінку на даних, яких не бачила.
- 12BaggingПідганяти ту саму нестабільну модель до багатьох бутстреп-пересемплувань одного набору даних і усереднювати результати — дисперсія падає, зміщення ні, і в самій моделі міняти нічого не треба.
- 13Random forestБеггінг дерев рішень із другим джерелом випадковості: кожне розбиття може розглядати лише випадкову підмножину ознак, що декорелює дерева й дає усередненню зробити набагато більше.
- 14Bias-variance tradeoffКласичний виклад того, чому модель буває надто простою чи надто складною, і сучасний результат, що його ламає: за точкою точної підгонки похибка на тесті може знову падати.
- 15Class imbalanceОдин клас рідкісний, а кожне типове налаштування припускає, що ні. Точність виглядає чудово, рідкісний клас модель не передбачає ніколи, а більшість ліків лише рухають поріг.
- 16Data leakageБудь-який шлях, яким до моделі доходить інформація, якої не було б під час прогнозування. Вона робить не модель гіршою, а оцінку кращою — тому й переживає рецензію.
- 17Feature importanceРанжування входів за тим, наскільки на них спирається навчена модель — типова міра для ансамблів дерев зміщена до ознак високої потужності, а чесна міра вимірюється на відкладених даних.
- 18Hyperparameter tuningПошук налаштувань, яких модель не може вивчити сама. Який пошук ви оберете, важить менше, ніж помітити, що більшість налаштувань не має значення, а сітка витрачає бюджет так, ніби має кожне.
- 19Lasso regressionЛінійна регресія зі штрафом на суму модулів коефіцієнтів: вона зводить слабкі коефіцієнти рівно до нуля, тож підгонка моделі водночас відбирає ознаки.
- 20Logistic regressionЛінійна модель для класифікації: вона пропускає зважену суму через сигмоїду, щоб дати відкалібровану ймовірність, а не сиру оцінку, — попри «регресію» в назві.
- 21Missing dataЧи зміщує відкидання чи заповнення пропущених значень вашу відповідь, залежить від того, чому вони пропущені, — і від того, яку відповідь ви хотіли. На одне з них зазвичай відповісти неможливо.
- 22PCAПоворот осей на напрямки найбільшого розкиду. Він робить дані некорельованими й упорядковує нові осі за рангом, тож останні можна відкинути й точно знати, чого це коштує.
- 23Manifold learningНелінійні проєкції, що тримають сусідів разом ціною всього іншого. Вони дають чудові картинки, і майже ніщо з того, що можна виміряти на цих картинках, не є справжнім.
- 24Ridge regressionЛінійна регресія зі штрафом на суму квадратів коефіцієнтів: вона стискає кожен коефіцієнт до нуля, жодного не прибираючи, і це стабілізує моделі з корельованими ознаками.
- 25Bayesian linear regressionЛінійна регресія, що повертає розподіл коефіцієнтів замість окремих значень, — тож кожен прогноз приходить із чесною невизначеністю, а силу регуляризації вивчають, а не налаштовують.
- 26BoostingНавчати слабких навчальників послідовно, кожного на версії даних, перезваженій так, щоб підкреслити те, що попередні зробили не так, і поєднати їх у зважене голосування.
- 27Elastic NetЛінійна регресія зі штрафом у вигляді зваженої суміші L1 і L2: вона відбирає ознаки, як Lasso, і водночас тримає корельовані групи разом, як Ridge.
- 28Gaussian discriminant analysisКласифікатор, що моделює, як виглядають дані кожного класу, — підганяючи по гаусіані на клас, — а потім перетворює це на прогноз за формулою Баєса.
- 29Gradient boostingБустинг, узагальнений на будь-яку диференційовну втрату: кожне нове дерево підганяють до від’ємного градієнта втрат у поточних прогнозах і додають із коефіцієнтом стягування.
- 30SVMКласифікатор, що ставить межу так, щоб лишити якнайширший проміжок між класами, і лише точки на краю цього проміжку вирішують, де вона пройде.