складність 3/5
Word embeddings
Щільні вектори для слів, вивчені з того товариства, у якому слова тримаються — так, щоб слова, вжиті в подібних контекстах, опинялися поруч, і ніхто не визначав, що означає подібні.
Інтуїція
Ідентифікатор токена — це число без структури. Токен 4,812 і токен 4,813 такі самі непов’язані, як і будь-яка інша пара, тож модель, якій дали ідентифікатори, мусить вивчити все про кожне слово з нуля й нічого не дізнається про слово, яке бачила двічі.
Ембединг замінює ідентифікатор вектором, і вектори розкладено так, що відстань щось означає. Це розташування не сконструйоване — воно виведене з одного спостереження про мову: слова, що означають подібні речі, вживаються в подібних місцях. drank і ate оточені словами того самого штибу. Так само cat і dog. Порахуйте, що оточує кожне слово у великому корпусі, і ця подібність стає геометрією — word2vec оцінювали в очікуванні, що «подібні слова будуть близькими одне до одного» [1, §1.1].
Дивує те, скільки структури дістається задарма. Відношення не лише згруповані, а й почасти лінійні — настільки, що деякі аналогії можна зробити арифметикою.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Efficient Estimation of Word Representations in Vector Space (2013)paperhttps://ar5iv.labs.arxiv.org/html/1301.3781
- Dive into Deep Learningbook · звірено 2026-09-05https://d2l.ai/
- Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings (2016)paperhttps://arxiv.org/abs/1607.06520