складність 3/5
Sentence embeddings
Один вектор фіксованої довжини на речення, де косинусна подібність означає семантичну. Пошук, кластеризація й дедуплікація стають лінійними за розміром колекції, а не квадратичними.
Інтуїція
BERT скаже вам, наскільки схожі два речення, і зробить це дуже добре. Заковика в тому, як він це робить: обидва речення проходять через мережу разом, тож оцінка подібності коштує одного повного прямого проходу на кожну пару. Reimers і Gurevych формулюють наслідок одним реченням: «Пошук найсхожішої пари в колекції з 10,000 речень вимагає близько 50 мільйонів обчислень висновування (~65 годин) з BERT» [1, Abstract].
Виправлення — зробити одиницею роботи представлення, а не порівняння. Закодуйте кожне речення один раз, незалежно, у вектор; порівнюйте вектори косинусною подібністю. Тепер колекція з n речень коштує n прямих проходів, а кожне подальше попарне питання — це арифметика. Та сама стаття повідомляє про «близько 5 секунд із SBERT» для колекції, яка забирала 65 годин [1, Abstract].
Це модель векторного простору з кращим вектором. Manning et al. задають рамку — документи як вектори, подібність як косинус — і точно називають, що таке представлення викидає: «це представлення втрачає відносний порядок термів у кожному документі… документи Мері швидша за Джона і Джон швидший за Мері ідентичні в такому представленні “мішок слів”» [2, §6.3.1]. Ембединг речення — спроба зберегти геометрію і перестати втрачати порядок.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (2019)paperhttps://ar5iv.labs.arxiv.org/html/1908.10084
- Introduction to Information Retrieval (2008)bookhttps://nlp.stanford.edu/IR-book/html/htmledition/dot-products-1.html