Глосарій

Кожен термін із визначенням в одне речення. Це ті самі речення, що з’являються у спливних картках і в результатах пошуку — написані один раз і перевикористані всюди.

С

Сигмоїда: S-подібна активація, що стискає будь-яке дійсне число в (0, 1), — історично типовий вибір для нейронних мереж, нині здебільшого витіснений із прихованих шарів, бо душить градієнт.

A

A/B testing: Випадковий розподіл суб’єктів між двома варіантами й порівняння результату, щоб виміряну різницю можна було віднести на рахунок зміни, а не того, кому саме що показали.
Accuracy: Частка прогнозів, які класифікатор вгадав правильно, — правильні прогнози, поділені на загальну кількість прогнозів.
Adam: Оптимізатор, що тримає ковзні середні градієнта та його квадрата, даючи кожному параметру власний ефективний крок, — типовий вибір для навчання нейронних мереж.
Attention: Дозволити кожній позиції обчислити зважене середнє всіх інших, де ваги дає порівняння запиту з ключами — навчене маршрутування інформації за змістом.
Autocorrelation: Кореляція ряду зі зміщеною копією самого себе. Саме так ви знаходите цикл, про який вам не казали, і саме так виявляєте, що ваша вибірка менша, ніж ви думали.

B

Backpropagation: Ланцюгове правило, застосоване у зворотному напрямку по обчислювальному графу. Один обхід дає похідну за кожним параметром, коштуючи приблизно стільки ж, скільки один прямий прохід.
Bag of words: Текст як вектор підрахунків слів із викинутим порядком — досить грубо, щоб два речення з протилежним змістом злилися, досить корисно, щоб тридцять років бути типовим поданням.
Bagging: Підганяти ту саму нестабільну модель до багатьох бутстреп-пересемплувань одного набору даних і усереднювати результати — дисперсія падає, зміщення ні, і в самій моделі міняти нічого не треба.
Batch normalization: Перецентрувати й перемасштабувати входи кожного шару за статистиками поточного мінібатча — шар, який зробив значно глибші мережі навчуваними й куди менш чутливими до ініціалізації.
Bayes' theorem: Правило, що перетворює ймовірність свідчення за умови гіпотези на ймовірність гіпотези за умови свідчення. Це не те саме, і розрив між ними — це апріорна ймовірність.
Bayesian linear regression: Лінійна регресія, що повертає розподіл коефіцієнтів замість окремих значень, — тож кожен прогноз приходить із чесною невизначеністю, а силу регуляризації вивчають, а не налаштовують.
BERT: Енкодер трансформера, попередньо навчений приховуванням 15% токенів і прогнозуванням їх з обох боків одразу, а тоді донавчений на задачі одним зайвим вихідним шаром без хірургії архітектури.
BFGS: Оптимізатор, що будує наближення кривини з уже побачених градієнтів і використовує його, щоб робити набагато краще націлені кроки, ніж градієнтний спуск.
Bias-variance tradeoff: Класичний виклад того, чому модель буває надто простою чи надто складною, і сучасний результат, що його ламає: за точкою точної підгонки похибка на тесті може знову падати.
BLEU: Оцінка точності за перекриттям n-грам з еталонним перекладом, помножена на штраф за короткість. Параметризоване сімейство, а не одне число.
Boosting: Навчати слабких навчальників послідовно, кожного на версії даних, перезваженій так, щоб підкреслити те, що попередні зробили не так, і поєднати їх у зважене голосування.
Bootstrap: Пересемплуйте власні дані з поверненням, перерахуйте статистику й прочитайте розкид. Це дає інтервал для статистик, які формули не мають, — і тихо провалюється на деяких, які мають.

C

Central limit theorem: Додайте досить незалежних значень майже з будь-якого розподілу — і сума буде приблизно нормальною. «Майже» тут робить справжню роботу: теорема має умови, і важкі хвости їх ламають.
Class imbalance: Один клас рідкісний, а кожне типове налаштування припускає, що ні. Точність виглядає чудово, рідкісний клас модель не передбачає ніколи, а більшість ліків лише рухають поріг.
CLIP: Навчіть енкодер зображень і енкодер тексту разом, щоб картинка та її підпис лягали в одне місце. Набір міток стає тим, що ви пишете, а не тим, під що ви навчаєте.
Confidence interval: Діапазон, побудований так, що в повторюваних експериментах заявлена частка таких діапазонів містить справжнє значення. Ця частка є властивістю методу, а не того інтервалу, що перед вами.
Confounding: Третя змінна, яка спричиняє і те, що ви змінили, і те, що ви виміряли. Коригування на правильну рятує оцінку; коригування на неправильну вигадує ефект, якого немає.
Confusion matrix: Таблиця, яка рахує, як прогнози класифікатора співвідносяться з істиною — правильні й хибні, з розбивкою за тим, який клас спрогнозовано, а який був насправді.
Conjugate gradient: Оптимізатор, що обирає кожен напрямок пошуку так, щоб не зводити нанівець поступ попередніх, — засіб проти зигзагів градієнтного спуску у вузькій долині.
Convolution: Протягування невеликого навченого ядра по входу зі зваженою сумою в кожній позиції — ті самі ваги скрізь, і саме так шар може дивитися на зображення без окремого параметра на піксель.
Convolutional neural network: Стек, у якому чергуються згортка та зменшення роздільності, так що ознаки зростають від країв до об’єктів, доки сітка стискається — архітектура, яка зробила моделі зображень здійсненними.
Correlation: Одне число про те, наскільки щільно дві змінні лягають на пряму. Воно не каже нічого про нахил тієї прямої, а близьке до нуля не означає, що вони не пов’язані.
Cross-entropy: Втрата, якою навчають кожен класифікатор на цьому сайті. Вона бере плату і за помилку, і за впевненість у ній, а її підлогу задає базова частота, а не нуль.
Cross-validation: Поділ даних на k частин, де кожна частина по черзі стає тестовою вибіркою, так що кожен зразок прогнозує модель, яка його не бачила — і оцінка спирається на всі дані, а не на один вдалий поділ.

D

Data augmentation: Застосовувати до навчальних прикладів випадкові перетворення, що зберігають мітку, щоб модель бачила кожен багатьма способами й не спиралася на випадковості зйомки.
Data leakage: Будь-який шлях, яким до моделі доходить інформація, якої не було б під час прогнозування. Вона робить не модель гіршою, а оцінку кращою — тому й переживає рецензію.
Decision tree: Модель, що прогнозує, ставлячи послідовність запитань «так/ні» про ознаки й розбиваючи дані на кожній відповіді, доки не дійде до листка з прогнозом.
Decoding: Правило, яке перетворює розподіл наступного токена мовної моделі на власне текст. Вибір найімовірнішого продовження на кожному кроці надійно дає найгірший результат.
Depthwise separable convolution: Розділити згортку на фільтрування кожного каналу й тоді змішування каналів. Для ядра 3×3 це приблизно вдев’ятеро дешевше, а те, що лишається, — здебільшого множення матриць.
Diffusion model: Зруйнуйте зображення шумом за тисячу фіксованих кроків, а тоді навчіть мережу скасовувати їх по одному. Семплування проходить ланцюг у зворотному напрямку, починаючи з чистого шуму.
Distance-weighted KNN: KNN, у якому голос кожного сусіда важить обернено пропорційно до відстані, — тож точка поруч із запитом переважує ту, що на краю околу.
Dropout: Під час навчання обнуляйте випадкову частку активацій, а решту діліть на частку тих, що вціліли. Модель, яку ви випускаєте, — дешевий замінник ансамблю, якого вона ніколи не будує.

E

Early stopping: Припиніть навчання, коли втрати на відкладеній вибірці перестають покращуватися, і поверніть найкращі ваги, а не останні. Це регуляризація шляхом обмеження епох замість ваг.
Eigenvectors and eigenvalues: Напрямки, які матриця не повертає, і те, наскільки вона розтягує кожен із них. Майже кожен метод, що зменшує розмірність, ранжує чи поширює щось через лінійне відображення, питає про них.
Elastic Net: Лінійна регресія зі штрафом у вигляді зваженої суміші L1 і L2: вона відбирає ознаки, як Lasso, і водночас тримає корельовані групи разом, як Ridge.
Entropy: Середня несподіванка розподілу, виміряна в бітах. Це нижня межа того, наскільки коротким може бути код, і кожна втрата на цьому сайті, де є «log», сплачує її.
Expectation and variance: Два числа, що підсумовують випадкову величину: де вона розташована і наскільки далеко відхиляється. Кожне має умову, про яку забувають, а одного з них іноді взагалі не існує.

F

F1-score: Гармонійне середнє достовірності й recall — одне число, високе лише тоді, коли модель водночас надійна у своїх сигналах і повна в тому, що знаходить.
Feature engineering: Рішення про те, якими будуть колонки, — масштабування, кодування, поєднання та виведення входів так, щоб структура, яку модель здатна виразити, збігалася з тією, що справді є в даних.
Feature importance: Ранжування входів за тим, наскільки на них спирається навчена модель — типова міра для ансамблів дерев зміщена до ознак високої потужності, а чесна міра вимірюється на відкладених даних.
Fréchet Inception Distance: Підженіть гаусовий розподіл до ознак Inception справжніх і згенерованих зображень, а тоді виміряйте відстань між ними. Число, яке ви обчислюєте, — не те число, якого ви хочете.

G

Gaussian discriminant analysis: Класифікатор, що моделює, як виглядають дані кожного класу, — підганяючи по гаусіані на клас, — а потім перетворює це на прогноз за формулою Баєса.
Generalized linear models: Одна рамка, що охоплює лінійну, логістичну та пуассонівську регресію водночас: лінійний предиктор, функція зв’язку, що поєднує його з відгуком, і розподіл для шуму.
Generative adversarial network: Дві мережі в грі: одна вигадує зразки, друга намагається їх розпізнати. Генератор ніколи не бачить даних — лише градієнти, що повертаються до нього через суперника.
Gradient: Вектор часткових похідних функції: він указує напрямок найшвидшого зростання, а його довжина каже, наскільки це зростання круте.
Gradient boosting: Бустинг, узагальнений на будь-яку диференційовну втрату: кожне нове дерево підганяють до від’ємного градієнта втрат у поточних прогнозах і додають із коефіцієнтом стягування.
Gradient descent: Раз у раз робити крок у напрямку найшвидшого спадання втрат, на величину, задану темпом навчання, — алгоритм, що лежить в основі майже всього навчання моделей.

H

Hallucination: Згенерований текст, якого джерело не підтверджує: він або суперечить джерелу, або виходить за його межі. Другий вид не обов’язково хибний, а перший не виявить жодна метрика перекриття.
Huber loss: Функція втрат, що поводиться як MSE для малих похибок і як MAE для великих: досить гладка, щоб її легко оптимізувати, і досить робастна, щоб викиди перестали тягнути підгонку за собою.
Hyperparameter tuning: Пошук налаштувань, яких модель не може вивчити сама. Який пошук ви оберете, важить менше, ніж помітити, що більшість налаштувань не має значення, а сітка витрачає бюджет так, ніби має кожне.
Hypothesis testing: Припустіть, що ефекту немає, порахуйте, як часто випадковість дала б результат, разючий, як ваш, і визнайте його справжнім, якщо це досить рідко. Метод є доведенням від протилежного.

I

Image classification: Одне зображення на вході, одна мітка на виході. Найпростіша форма в комп’ютерному зорі — і бенчмарк, чиє припущення про одну мітку сформувало все, що на ньому збудовано.
Instance segmentation: Маска на об’єкт, а не клас на піксель. Це виявлення й сегментація водночас, і спрацювати їй дало усунення двох округлень.
Instruction tuning: Донавчання попередньо навченої моделі на задачах, сформульованих як інструкції, а тоді — на людських уподобаннях між її власними виходами. Так доповнювач тексту стає відповідачем на ваше питання.
Intersection over union: Спільна площа двох областей, поділена на площу, яку вони разом покривають. Її читають як «наскільки правильна рамка», а вона суворіша й сліпа до масштабу так, як це число приховує.

J

Jupyter Notebook: Документ, що чергує виконуваний код, текст і власні результати, виконуваний комірка за коміркою на живому ядрі, — стандартний інструмент розвідувального аналізу й відома загроза відтворюваності.

K

K-means: Оберіть k центрів, віднесіть кожну точку до найближчого, перемістіть кожен центр у середнє того, що він захопив, повторіть. Завжди збігається — і може збігтися до як завгодно поганого результату.
KNN: Класифікує нову точку, дивлячись на k найближчих навчальних прикладів і беручи їхнє голосування більшістю, — модель, що зберігає дані замість того, щоб на них навчатися.

L

Language model: Розподіл імовірностей над послідовностями токенів, розкладений так, що кожен токен прогнозується з тих, які йдуть перед ним. Підрахунки працюють приблизно до двох слів контексту, а тоді даних бракує.
Lasso regression: Лінійна регресія зі штрафом на суму модулів коефіцієнтів: вона зводить слабкі коефіцієнти рівно до нуля, тож підгонка моделі водночас відбирає ознаки.
Leaky ReLU: ReLU з невеликим ненульовим нахилом для від’ємних входів замість плаского нуля, — тож нейрон, що пішов у мінус, і далі отримує градієнт і може повернутися.
Learning rate: Наскільки далеко переміщує кожен крок градієнтного спуску. На квадратичній функції кривина задає жорстку стелю, а найкраще значення — рівно її половина; мабуть, найважливіший гіперпараметр.
Linear regression: Модель, яка передбачає числовий результат як зважену суму вхідних ознак, підігнана вибором ваг, що роблять квадрати похибок прогнозу якомога меншими.
Logistic regression: Лінійна модель для класифікації: вона пропускає зважену суму через сигмоїду, щоб дати відкалібровану ймовірність, а не сиру оцінку, — попри «регресію» в назві.

M

Machine learning workflow: Наскрізний цикл, у якому живе модель, — від формулювання задачі, даних, ознак, навчання та оцінювання до експлуатації і зворотного зв’язку від продакшену, що змінює все перелічене.
MAE: Середній розмір похибок без урахування їх знака — проста й чесна відповідь на питання «наскільки зазвичай промахується ця модель?».
Manifold learning: Нелінійні проєкції, що тримають сусідів разом ціною всього іншого. Вони дають чудові картинки, і майже ніщо з того, що можна виміряти на цих картинках, не є справжнім.
MAPE: Середня похибка, виражена у відсотках від істинного значення, — безмасштабна й інтуїтивна, і непридатна, коли ціль може наближатися до нуля.
Maximum likelihood: Оберіть параметри, за яких спостережені дані найімовірніші. Майже кожна функція втрат у машинному навчанні — це правило з мінусом і логарифмом попереду.
Mean average precision: Площа під кривою «достовірність–recall», усереднена за класами, а у виявленні об’єктів — ще й за порогами IoU. Поріг, з яким ви її звітуєте, вирішує, чи бачить вона якість локалізації взагалі.
Mini-batch gradient descent: Оцінювання градієнта за невеликою групою прикладів замість одного чи всіх — компроміс, яким насправді навчають усе.
Missing data: Чи зміщує відкидання чи заповнення пропущених значень вашу відповідь, залежить від того, чому вони пропущені, — і від того, яку відповідь ви хотіли. На одне з них зазвичай відповісти неможливо.
Model calibration: Щоб заявлена впевненість моделі означала те, що каже: з прогнозів, зроблених із впевненістю 90%, правильними мають бути 90%. Точність цього не вимірює, і сучасні мережі тут сильно провалюються.
MSE: Середнє квадратів різниць між передбаченими й фактичними значеннями — стандартний спосіб виміряти, наскільки хибними є прогнози регресійної моделі.
MSLE: MSE, обчислена на логарифмах значень: вона вимірює відношення прогнозу до істини, а не різницю, тож помилка в певну кількість разів коштує однаково на будь-якому масштабі.
Multiple comparisons: Проженіть двадцять тестів на рівні 5% — і зазвичай щось знайдете. Поправки різняться тим, що обіцяють, і чесний вибір — яку помилку ви радше зробите.

N

Named entity recognition: Мітка для кожного токена, прочитана як фрагменти — люди, місця, організації. Вихід структурований, тож один хибний токен псує цілу сутність, і точність перестає бути правильною метрикою.
Natural language processing: Як комп’ютери обробляють людську мову: перетворити текст на подання, з якими модель може працювати, і вжити їх для класифікації, виведення, перекладу й відповідей на питання.

O

Object detection: Знайти кожен об’єкт на зображенні й обвести кожен рамкою. Вихід є множиною змінної довжини, і саме це робить задачу важчою за класифікацію та пояснює, чому механіка виглядає так, як виглядає.
Outliers: Значення, далекі від решти, — помилки або саме відкриття. Виявлення через середнє та стандартне відхилення ламається в конкретний спосіб: що більше викидів, то менше ви їх знаходите.
Overfitting: Підгонка під навчальну вибірку тісніша, ніж під процес, що її породив: модель відтворює шум, який не повториться, і працює на нових даних тим гірше, чим краще виглядає на старих.

P

PCA: Поворот осей на напрямки найбільшого розкиду. Він робить дані некорельованими й упорядковує нові осі за рангом, тож останні можна відкинути й точно знати, чого це коштує.
Perceptron: Найпростіший нейрон: множить кожен вхід на вагу, додає їх разом зі зсувом і видає 1, якщо сума перевищує поріг, або 0, якщо ні.
Perplexity: Експонента середньої від’ємної логарифмічної правдоподібності моделі на відкладеному тексті — дієва кількість виборів на токен. Вона на токен, тож не порівнянна між токенізаторами.
PointNet: Нейронна мережа, яка споживає сиру 3D-хмару точок напряму, шануючи те, що точки є множиною: переставте порядок у файлі — і відповідь не має змінитися.
Polynomial regression: Підгонка кривої через додавання степенів і добутків вихідних ознак із подальшою звичайною лінійною регресією на розширеному наборі — це все ще лінійна модель, тепер із вигнутою формою.
Pooling: Заміна кожного вікна карти ознак одним підсумковим числом — зазвичай його максимумом, — щоб зменшити сітку й зробити представлення менш чутливим до того, де саме була ознака.
Precision: Із усього, що модель позначила як позитивне, — частка справді позитивного; міра того, наскільки можна довіряти позитивному прогнозу.
Prompting: Задання задачі у власному вході моделі — інструкцією і, можливо, кількома прикладами, без оновлення ваг. Добре пояснює, що це за задача; погано додає здатність.

R

R²: Наскільки модель прогнозує краще, ніж просто завжди називати середнє, — єдина оцінка регресії, яку можна порівнювати між різними наборами даних.
Random forest: Беггінг дерев рішень із другим джерелом випадковості: кожне розбиття може розглядати лише випадкову підмножину ознак, що декорелює дерева й дає усередненню зробити набагато більше.
Recall: Із усього, що справді було позитивним, — частка, яку модель насправді знайшла; міра того, скільки вона пропускає.
Receptive field: Область входу, від якої одна одиниця взагалі може залежати — яка росте лише лінійно з глибиною і чий вплив зосереджений у гаусовому центрі, значно меншому за саму область.
Recurrent neural network: Мережа, що переносить прихований стан від одного кроку послідовності до наступного, тож один набір ваг обробляє послідовність будь-якої довжини. Та сама рекурентність знищує градієнт.
Regularization: Додавання штрафу за розмір коефіцієнтів до цільової функції моделі: вона міняє трохи якості підгонки на навчальних даних на значно кращу поведінку на даних, яких не бачила.
ReLU: Пропускає додатні значення без змін і обнуляє все від’ємне — активація настільки проста, що ледь є функцією, і саме тому типовий вибір у сучасних мережах.
Residual connection: Додавання входу блоку до його виходу, щоб блоку лишалося вчити тільки різницю, — це зробило навчуваними мережі на сто й більше шарів і дало градієнтам шлях в обхід ваг.
Retrieval-augmented generation: Знайти фрагменти у сховищі документів, покласти їх у вхід моделі й генерувати на їхній основі. Переносить факти з ваг в індекс, який можна перевіряти, виправляти й замінювати.
Ridge regression: Лінійна регресія зі штрафом на суму квадратів коефіцієнтів: вона стискає кожен коефіцієнт до нуля, жодного не прибираючи, і це стабілізує моделі з корельованими ознаками.
RMSE: Корінь із MSE — та сама міра похибки, повернена в одиниці того, що прогнозується, щоб людина могла її прочитати.
ROC AUC: Площа під кривою, яку описують частки істинних і хибних позитивних результатів класифікатора при зміні порогу рішення, — одне число, що підсумовує роботу на всіх порогах одразу.

S

Self-supervised learning: Будувати мітки з самих даних — два аугментовані види одного зображення утворюють позитивну пару, — і представлення переноситься не гірше, ніж навчене з учителем.
Semantic segmentation: Мітка класу для кожного пікселя. Вихід має той самий розмір, що й вхід, а це змушує мережу набути форми «енкодер–декодер» і робить піксельну точність марним способом її оцінювати.
Sentence embeddings: Один вектор фіксованої довжини на речення, де косинусна подібність означає семантичну. Пошук, кластеризація й дедуплікація стають лінійними за розміром колекції, а не квадратичними.
Sequence-to-sequence: Енкодер читає вхід змінної довжини, а декодер пише вихід змінної довжини. Втиснути це в один фіксований вектор — те вузьке місце, яке увага й була винайдена усунути.
SGD: Градієнтний спуск, який оцінює градієнт за одним прикладом замість усього набору, — значно зашумленіший напрямок, обчислений у тисячі разів дешевше.
Softmax: Перетворює вектор оцінок на розподіл імовірностей через піднесення експоненти й нормування — стандартний останній крок багатокласового класифікатора і стандартне місце для числового переповнення.
Specificity: Із усього, що справді було негативним, — частка, яку модель правильно лишила без уваги; це recall, обчислений на негативному класі.
Stationarity: Припущення, що середнє, дисперсія й кореляційна структура ряду не змінюються з часом. Воно потрібне майже кожному методу для часових рядів, а звичайна регресія без нього гучно провалюється.
SVM: Класифікатор, що ставить межу так, щоб лишити якнайширший проміжок між класами, і лише точки на краю цього проміжку вирішують, де вона пройде.

T

Tanh: Перемасштабована сигмоїда, що видає значення від −1 до 1 замість 0 і 1, — центрована навколо нуля, тому поводиться краще за сигмоїду, хоча насичується так само.
TF-IDF: Вага, що множить частоту терма в одному документі на те, наскільки він рідкісний деінде, тож слово, яке трапляється всюди, нічого не додає, а слово з небагатьох документів домінує.
Time series decomposition: Розклад ряду на тренд, повторюваний сезонний патерн і те, що лишилося. Три читабельні речі замість однієї нечитабельної — і основа більшості методів прогнозування.
Tokenization: Розрізання тексту на одиниці, які модель справді споживає — де поділ за словами лишає кожне небачене слово дірою, а підслівні методи натомість заробляють свій словник із частоти.
Train-test split: Відкладіть частину рядків від навчання, щоб звітувана оцінка була виміряна на даних, яких модель не бачила. Поділ має йти першим, бути достатньо великим і зважати на те, як надходять рядки.
Transfer learning: Узяти мережу, навчену на великому наборі даних, замінити лише її вихідний шар і навчати на вашому значно меншому — ознаки успадковані, а класифікатор є всім, що ви вчите з нуля.
Transformer: Стек однакових шарів, у кожному з яких самоувага йде перед прямоточною мережею за позиціями, і обидві загорнуті в залишкове з’єднання та нормалізацію шару, а порядок слів подається окремо.
Transposed convolution: Згортка, запущена навпаки: вона розкидає ядро замість того, щоб збирати, перетворюючи малу карту ознак на більшу. Назва буквальна, а не метафора.

V

Vision transformer: Трансформер, застосований до зображення, розрізаного на патчі фіксованого розміру, без жодної згортки. Вбудованого знання про зображення в нього набагато менше, ніж у CNN, і різницю він купує даними.

W

Word embeddings: Щільні вектори для слів, вивчені з того товариства, у якому слова тримаються — так, щоб слова, вжиті в подібних контекстах, опинялися поруч, і ніхто не визначав, що означає подібні.