Маршрут
Наука про дані з нуля
Від поділу на навчальну й тестову вибірки до трансформерів — у порядку, якого потребує кожна сторінка.
Кроки по порядку
- 01Train-test splitВідкладіть частину рядків від навчання, щоб звітувана оцінка була виміряна на даних, яких модель не бачила. Поділ має йти першим, бути достатньо великим і зважати на те, як надходять рядки.Безкоштовно
- 02MSEСереднє квадратів різниць між передбаченими й фактичними значеннями — стандартний спосіб виміряти, наскільки хибними є прогнози регресійної моделі.Безкоштовно
- 03Linear regressionМодель, яка передбачає числовий результат як зважену суму вхідних ознак, підігнана вибором ваг, що роблять квадрати похибок прогнозу якомога меншими.Безкоштовно
- 04Gradient descentРаз у раз робити крок у напрямку найшвидшого спадання втрат, на величину, задану темпом навчання, — алгоритм, що лежить в основі майже всього навчання моделей.Безкоштовно
- 05OverfittingПідгонка під навчальну вибірку тісніша, ніж під процес, що її породив: модель відтворює шум, який не повториться, і працює на нових даних тим гірше, чим краще виглядає на старих.
- 06RegularizationДодавання штрафу за розмір коефіцієнтів до цільової функції моделі: вона міняє трохи якості підгонки на навчальних даних на значно кращу поведінку на даних, яких не бачила.
- 07Cross-validationПоділ даних на k частин, де кожна частина по черзі стає тестовою вибіркою, так що кожен зразок прогнозує модель, яка його не бачила — і оцінка спирається на всі дані, а не на один вдалий поділ.
- 08Decision treeМодель, що прогнозує, ставлячи послідовність запитань «так/ні» про ознаки й розбиваючи дані на кожній відповіді, доки не дійде до листка з прогнозом.
- 09Random forestБеггінг дерев рішень із другим джерелом випадковості: кожне розбиття може розглядати лише випадкову підмножину ознак, що декорелює дерева й дає усередненню зробити набагато більше.
- 10PerceptronНайпростіший нейрон: множить кожен вхід на вагу, додає їх разом зі зсувом і видає 1, якщо сума перевищує поріг, або 0, якщо ні.Безкоштовно
- 11BackpropagationЛанцюгове правило, застосоване у зворотному напрямку по обчислювальному графу. Один обхід дає похідну за кожним параметром, коштуючи приблизно стільки ж, скільки один прямий прохід.
- 12TransformerСтек однакових шарів, у кожному з яких самоувага йде перед прямоточною мережею за позиціями, і обидві загорнуті в залишкове з’єднання та нормалізацію шару, а порядок слів подається окремо.