складність 2/5
Tokenization
Розрізання тексту на одиниці, які модель справді споживає — де поділ за словами лишає кожне небачене слово дірою, а підслівні методи натомість заробляють свій словник із частоти.
Інтуїція
Перш ніж модель щось побачить, щось має вирішити, чим є ці шматки. Поділіть за пробілами — і ви маєте словник слів, що звучить природно і провалюється негайно, бо мова не має скінченного списку слів. Кожна власна назва, друкарська помилка, складне слово й словоформа, яких ви не бачили під час навчання, стають одним і тим самим: невідомим.
Поділіть натомість за символами — і невідомого не буде ніколи, але ви викинули кожну одиницю змісту, більшу за літеру, і зробили кожну послідовність уп’ятеро довшою.
Підслівна токенізація — це компроміс, і її трюк у тому, що шматки не обирає ніхто. Почніть із символів, порахуйте, яка сусідня пара трапляється в корпусі найчастіше, склейте цю пару, повторіть [1, §3.2]. Часті слова виходять одним токеном, бо заслужили це; рідкісні виходять кількома шматками, які самі є частими. Невідомого не буває ніколи, а звичний текст лишається коротким.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Neural Machine Translation of Rare Words with Subword Units (2016)paperhttps://ar5iv.labs.arxiv.org/html/1508.07909
- Dive into Deep Learningbook · звірено 2026-09-05https://d2l.ai/
- SentencePiece: A simple and language independent subword tokenizer and detokenizer (2018)paperhttps://ar5iv.labs.arxiv.org/html/1808.06226