Text metrics

d2l ставить питання, на яке відповідає ця таблиця: «ми можемо оцінити прогнозовану послідовність, порівнявши її з цільовою (еталоном). Але якою саме є доречна міра для порівняння подібності двох послідовностей?» [4, §10.7.6]. Єдиної відповіді немає, і тому рядків десять.

Оцінити згенерований текст — значить порівняти його з чимось. Рядки різняться тим, що це «щось»: n-грами еталона, символи еталона, ембединги еталона, операції редагування, відкладений корпус, людина, — і кожне обмеження нижче випливає з цього вибору, а не з якоїсь деталі реалізації.

Перші шість рядків рахують поверхневе перекриття

Zhang et al. записують спільне ядро: для еталона x і кандидата x̂ достовірність і recall точного збігу — це частка n-грамів кандидата, знайдених в еталоні, і частка n-грамів еталона, знайдених у кандидаті [1, §2.1]. Усе у верхній половині таблиці — варіації цих двох дробів.

BLEU бере бік достовірності з трьома змінами: «кожен n-грам еталона може бути зіставлено щонайбільше один раз», підрахунки накопичують по всьому корпусу, а не по реченню, і «дуже короткі кандидати стримуються штрафом за стислість» [1, §2.1]. Чого це коштує, див. BLEU.

ROUGE бере бік recall. «ROUGE-n обчислює Exact-Rₙ (зазвичай n = 1, 2), тоді як ROUGE-L — варіант Exact-R₁, де чисельник замінено довжиною найдовшої спільної підпослідовності» [1, §2.1]. Заміна достовірності на recall — уся причина, чому вона належить реферуванню: реферат, що пропускає суть, має бути покараний, а реферат, що трохи додає, — ні.

METEOR послаблює те, що вважається збігом, «дозволяючи відступати від точного збігу уніграмів до збігу основ слів, синонімів і парафраз. Наприклад, running може збігтися з run, якщо точного збігу немає» [1, §2.1]. Це дає справжню стійкість і коштує переносності: вона «потребує зовнішніх ресурсів», тож «лише п’ять мов підтримано з повним набором можливостей, а одинадцять — частково» [1, §2.1].

chrF змінює одиницю, а не арифметику: вона «порівнює символьні n-грами в еталонному й кандидатському реченнях», а chrF++ «розширює chrF збігом словесних біграмів» [1, §2.1]. Робота із символами обходить проблему токенізації, через яку числа BLEU неможливо порівнювати між статтями [2, §2.2].

Відстань редагування ставить зовсім інше питання — TER «нормує відстань редагування кількістю слів еталона» [1, §2.2] — і її варто тримати, коли наступна робота — постредагування, бо тоді кількість правок і є величиною, що цікавить.

Чого не бачить жодна з них

Рисунок — це одна задача: маючи два речення й жодного навчання, сказати, чи є вони парафразами, де складні негативи побудовано перестановкою слів, тож Flights from New York to Florida треба відрізнити від Flights from Florida to New York [1, §6].

Три метрики на словесних n-грамах отримують 0.527, 0.532 і 0.536 [1, §6]. Випадковий рівень — 0.5. Хоч що вимірюють ці метрики, це майже ортогонально тому, чи каже речення те саме після обміну його аргументами, — а це саме та властивість, яку Zhang et al. передбачають з визначень, бо «з невеликим вікном розміру два BLEU лише м’яко штрафує перестановку клауз причини й наслідку» [1, §1].

Дві деталі роблять рисунок цікавішим, а не менш цікавим. По-перше, перехід до символів чи ембедингів справді допомагає — 0.608 для chrF++, 0.693 для BERTScore [1, §6], — тож це розв’язна проблема, а не закон природи. По-друге, і гостріше: класифікатор BERT, донавчений на самій задачі парафраз, отримує на цих змагальних парах 0.351 [1, §6] — набагато нижче випадкового рівня. Нагляд на звичайному розподілі цієї здатності теж не дає; він може активно вводити в оману.

Кореляція з людським судженням — не властивість метрики

Це властивість метрики і набору систем, на якому її обчислюють, і обидві статті на цю тему кажуть це з різних боків.

Між задачами: на змаганні з підписування зображень COCO 2015 року кореляція Пірсона BLEU з двома людськими мірами становить −0.019 і −0.005, тоді як METEOR сягає 0.606, а SPICE — 0.759 [1, §5]. Та сама метрика, що придатна для перекладу, тут нічого не варта, і в самій метриці нічого не змінилося.

Між рівнями якості систем: Mathur et al. повідомляють, що на великій когорті систем перекладу кореляції сягають «аж r = 0.9», але «якщо розглядати лише кілька найкращих систем, кореляція помітно знижувалася», з «від’ємними кореляціями в деяких випадках» серед чотирьох найкращих [3, §1]. Їхній підсумок — на метрики «можна покладатися лише для грубих розрізнень між поганими й добрими перекладами, але не для оцінювання виходів схожої якості» [3, §1], — а саме таке порівняння насправді робить майже кожна стаття й кожен A/B-тест.

А головні кореляції крихкі в конкретний спосіб: системи-викиди «можуть непропорційно впливати на обчислену кореляцію», аж до того, що «в найгіршому випадку викиди створюють високу кореляцію там, де для решти систем між метрикою і людськими оцінками немає жодного зв’язку» [3, §6].

Як користуватися таблицею

Звітуйте щонайменше два рядки з різних родин. Метрика на словесних n-грамах і символьна чи ембединґова ламаються по-різному, і їхня згода чогось варта, чого не варта жодна окремо.

Узгоджуйте режим зі збоєм, який вас хвилює. Достовірність для перекладу, де ризик — сказати щось хибне; recall для реферування, де ризик — пропустити; відстань редагування, коли вихід однаково виправлятиме людина.

Зафіксуйте попередню обробку й опублікуйте її. Це найбільше джерело непорівнюваних чисел у літературі [2, Abstract], і виправити його нічого не коштує.

Не налаштовуйтеся на метрику, яку не перевірили на власній задачі. Рядок COCO — застережний приклад [1, §5].

Тримайте людей у контурі для всього, що важить. Кожен автоматичний рядок — дублер, і рисунок вище показує, як далеко від ролі деякі з них. Зауважте також, що каже «Ламається, коли» в нижньому рядку: людське оцінювання теж не є автоматично еталоном — воно рівно таке добре, як інструктаж і стимули за ним.

І пам’ятайте про єдиний рядок, що не є порівнянням. Перплексія оцінює модель, а не вихід, тож це правильний інструмент під час навчання і хибний для оцінювання згенерованого тексту — де, як показує декодування, вихід із нижчою за людський текст перплексією гірший, а не кращий.