складність 4/5
CLIP
Навчіть енкодер зображень і енкодер тексту разом, щоб картинка та її підпис лягали в одне місце. Набір міток стає тим, що ви пишете, а не тим, під що ви навчаєте.
Інтуїція
Кожен класифікатор на цьому сайті досі має фіксований список відповідей, вирішений до навчання. Radford та ін. починають рівно з цього: «найкращі системи комп’ютерного зору навчають передбачати фіксований набір наперед визначених категорій об’єктів. Ця обмежена форма нагляду звужує їхню загальність і придатність, бо, щоб задати будь-яке інше візуальне поняття, потрібні додаткові розмічені дані» [1, Abstract].
Хід CLIP — зробити мітку реченням. Навчайте енкодер зображень і енкодер тексту спільно так, щоб фото та його підпис лягали близько одне до одного, і список класів перестане бути властивістю ваг. Після цього «природну мову вживають, щоб посилатися на вивчені візуальні поняття (або описувати нові), що вмикає зеро-шот перенесення моделі на низхідні задачі» [1, Abstract].
Нагляд тут безкоштовний у тому сенсі, який важить: підписи вже існують поруч із зображеннями, в масштабі інтернету, і нікому не платили за те, щоб малювати рамки.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Learning Transferable Visual Models From Natural Language Supervision (2021)paperhttps://ar5iv.labs.arxiv.org/html/2103.00020
- An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (2021)paperhttps://ar5iv.labs.arxiv.org/html/2010.11929
- Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (2019)paperhttps://ar5iv.labs.arxiv.org/html/1908.10084