складність 3/5
BLEU
Оцінка точності за перекриттям n-грам з еталонним перекладом, помножена на штраф за короткість. Параметризоване сімейство, а не одне число.
Інтуїція
Породжений текст не має єдиної правильної відповіді, тож оцінити його рівністю не можна. Відповідь BLEU — порівняти з людським еталоном і порахувати, скільки з лексики й фразування кандидата в ньому трапляється: «у принципі, для будь-якої n-грами в передбаченій послідовності BLEU оцінює, чи трапляється ця n-грама в цільовій послідовності» [1, §10.7.8].
Два інстинкти взагалі роблять її робочою. Рахувати достовірність, а не recall, означає, що систему не карають за пропуск одного з багатьох правильних способів щось сказати. Рахувати довші n-грами так само, як окремі слова, означає, що порядок слів частково переживає порівняння: уніграми перевіряють, чи ви вжили правильні слова, 4-грами — чи поставили ви їх у правдоподібній послідовності.
Вона протрималася понад двадцять років на силі трьох практичних чеснот, які перелічує Post: «відносна мовна незалежність BLEU, легкість обчислення і розумна кореляція з людськими судженнями» [2, §1]. Решта цієї сторінки — про умови на третю з них, які суворіші, ніж усвідомлює більшість тих, хто цією метрикою користується.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Dive into Deep Learning — Sequence-to-Sequence Learningbook · звірено 2026-09-13https://d2l.ai/chapter_recurrent-modern/seq2seq.html
- A Call for Clarity in Reporting BLEU Scores (2018)paperhttps://ar5iv.labs.arxiv.org/html/1804.08771
- BERTScore: Evaluating Text Generation with BERT (2020)paperhttps://ar5iv.labs.arxiv.org/html/1904.09675
- Tangled up in BLEU — Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics (2020)paperhttps://ar5iv.labs.arxiv.org/html/2006.06264