складність 4/5
Vision transformer
Трансформер, застосований до зображення, розрізаного на патчі фіксованого розміру, без жодної згортки. Вбудованого знання про зображення в нього набагато менше, ніж у CNN, і різницю він купує даними.
Інтуїція
Трансформер споживає послідовність токенів. Зображення — не послідовність, а очевидне виправлення — один токен на піксель — неможливе, бо увага коштує квадрата довжини послідовності, а зображення 224×224 має п’ятдесят тисяч пікселів.
Відповідь Vision Transformer майже соромно пряма: розрізати зображення на фіксовані квадрати, розгорнути кожен у вектор, спроєктувати в розмірність моделі й назвати це токеном. Dosovitskiy et al. описують результат як доказ того, «що ця залежність від CNN не є необхідною, і чистий трансформер, застосований безпосередньо до послідовностей патчів зображення, може дуже добре працювати на задачах класифікації зображень» [1, Abstract].
Цікаво на цій сторінці не те, що це працює, а те, коли це працює. CNN побудовано зі знанням кількох правдивих речей про зображення; ViT їх не повідомляють, і він мусить їх відкрити. Цей обмін — уся історія, і він має ціну, виражену в навчальних даних.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (2021)paperhttps://ar5iv.labs.arxiv.org/html/2010.11929
- Dive into Deep Learning — Transformers for Visionbook · звірено 2026-09-14https://d2l.ai/chapter_attention-mechanisms-and-transformers/vision-transformer.html
- Learning Transferable Visual Models From Natural Language Supervision (2021)paperhttps://arxiv.org/abs/2103.00020