складність 3/5
Named entity recognition
Мітка для кожного токена, прочитана як фрагменти — люди, місця, організації. Вихід структурований, тож один хибний токен псує цілу сутність, і точність перестає бути правильною метрикою.
Інтуїція
Більшість задач на цьому сайті повертає одну річ на один вхід: клас, число, речення. Розпізнавання іменованих сутностей повертає одну мітку на кожен токен, а потім ці мітки читають назад як фрагменти — Angela Merkel — це одна особа, а не два токени, які випадково є людьми.
Ця невелика зміна форми має наслідки, непропорційні їй самій. Вихід тепер структурований, тож мітки не незалежні одна від одної: деякі їхні послідовності не просто малоймовірні, а безглузді. А одиниця, яка вас цікавить, — це фрагмент, а не токен, тож модель може мати рацію щодо 95% токенів і помилятися щодо третини сутностей.
Lample et al. прямо називають глибинну складність: «у більшості мов і доменів доступна лише дуже невелика кількість навчальних даних із наглядом. З іншого боку, існує мало обмежень на те, які слова можуть бути іменами, тож узагальнювати з цієї невеликої вибірки даних складно» [1, §1]. Іменем може бути що завгодно. І модель має навчитися цього з дуже малого.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Neural Architectures for Named Entity Recognition (2016)paperhttps://ar5iv.labs.arxiv.org/html/1603.01360
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2019)paperhttps://ar5iv.labs.arxiv.org/html/1810.04805
- SentencePiece: A simple and language independent subword tokenizer and detokenizer (2018)paperhttps://ar5iv.labs.arxiv.org/html/1808.06226