складність 2/5
TF-IDF
Вага, що множить частоту терма в одному документі на те, наскільки він рідкісний деінде, тож слово, яке трапляється всюди, нічого не додає, а слово з небагатьох документів домінує.
Інтуїція
Мішок слів вважає кожен стовпець однаково інформативним, а це явно не так. У корпусі про автомобілі слово auto трапляється майже в кожному документі, тож не розрізняє жодного з них; слово carburettor трапляється в шести й багато що каже про ці шість. Підручник бере той самий приклад: колекція про автомобільну галузь «найімовірніше міститиме терм auto майже в кожному документі» [1, §6.2.1].
Тож зважуйте кожен терм за тим, наскільки він незвичний. Слово, що багато разів трапляється в цьому документі й рідко деінде, — саме те, що його характеризує. Слово, що трапляється всюди, не характеризує нічого, хоч яка його кількість.
Це вся ідея, і вона стара, проста і досі є тим, що варто спробувати перед будь-чим дорогим. Це також причина, чому списки стоп-слів вийшли з моди: схемі зважування, яка вже дає слову the вагу нуль, не потрібен підтримуваний вручну список, що велить їй ігнорувати the.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Introduction to Information Retrieval (2008)bookhttps://nlp.stanford.edu/IR-book/html/htmledition/irbook.html
- scikit-learn User Guide — Feature extraction from textdocs · звірено 2026-09-06https://scikit-learn.org/stable/modules/feature_extraction.html