Комп'ютерний зір · 5 у порівнянні
Computer vision architectures
Родовід мереж розпізнавання зображень від AlexNet до Vision Transformer і те, що кожна з них змінила у способі обробки зображень.
Порівняння
| Назва Що змінила | Глибина | Вхідна одиниця |
|---|---|---|
| AlexNet 2012 Показала, що глибока згорткова мережа, навчена на GPU, може впевнено виграти ImageNet, і зробила глибину типовою відповіддю. | 5 згорткових шарів | пікселі |
| VGG 2014 Замінила великі фільтри стосами згорток 3×3, показавши, що глибина важить більше за розмір фільтра. | 16–19 вагових шарів | пікселі |
| GoogLeNet (Inception) 2014 Запустила кілька розмірів фільтрів паралельно в одному блоці, розширивши мережу без зростання обчислень. | 22 шари | пікселі |
| ResNet 2015 Додала пропускні з’єднання, щоб шари вчили залишкову поправку, — саме це взагалі зробило дуже глибокі мережі придатними до навчання. | до 152 шарів | пікселі |
| ViT 2020 Повністю відмовилася від згортки: розрізає зображення на патчі й подає їх у трансформер як послідовність. | трансформерний енкодер | патчі зображення (16×16 у назві) |
Родовід
- 2012AlexNet Показала, що глибока згорткова мережа, навчена на GPU, може впевнено виграти ImageNet, і зробила глибину типовою відповіддю. ImageNet Classification with Deep Convolutional Neural Networks привела до VGG
- 2014VGG Замінила великі фільтри стосами згорток 3×3, показавши, що глибина важить більше за розмір фільтра. Very Deep Convolutional Networks for Large-Scale Image Recognition привела до ResNet
- 2014GoogLeNet (Inception) Запустила кілька розмірів фільтрів паралельно в одному блоці, розширивши мережу без зростання обчислень. Going Deeper with Convolutions привела до ResNet
- 2015ResNet Додала пропускні з’єднання, щоб шари вчили залишкову поправку, — саме це взагалі зробило дуже глибокі мережі придатними до навчання. Deep Residual Learning for Image Recognition привела до ViT
- 2020ViT Повністю відмовилася від згортки: розрізає зображення на патчі й подає їх у трансформер як послідовність. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale лінія завершується тут
Навіщо цей каталог
Між першим і останнім записом нижче — вісім років, і змінилося майже все, крім самої задачі. Прочитані по порядку, вони є одним аргументом, що поступово розгортається: зробити мережу глибшою, з’ясувати, що заважає йти глибше, виправити це, а потім запитати, чи взагалі потрібна була згортка.
Згорткові мережі — це родина, до якої вони належать, і спільна ідея полягає в тому, що просторову структуру слід вбудувати в модель, а не вчити з нуля [1, §9.4]. По суті ж згорткові мережі — це «просто нейронні мережі, які хоча б в одному зі своїх шарів використовують згортку замість загального множення матриць» [1, ch. 9, introduction].
Як читати таблицю
Глибина — це число, яке повідомляє сама стаття, а не похідний підрахунок: архітектури вимірюють себе по-різному, і зведення їх до спільної шкали вигадало б точність, якої немає. Вхідна одиниця — це те, що справді споживає перший шар, і саме тут останній запис ламає закономірність.
Свідомо пропущено показники точності. Результати на ImageNet залежать від кадрування, ансамблю та протоколу оцінювання, а цифри, які наводять в інтернеті, часто не збігаються зі статтями. Таблиця, що ставить їх поруч, натякає на порівняння, якого ніколи не проводили за рівних умов.
Два переломи
Усе до 2014 року говорить те саме різними словами: глибше — краще. Це твердження вперлося у стіну: після певної глибини додавання шарів робило мережі складнішими для оптимізації, а не кращими. ResNet — це виправлення. Переформулювавши шари як навчання «залишкових функцій відносно входів шару, замість навчання нереферентних функцій», вона зробила придатними до навчання глибини на кшталт 152 шарів [2, abstract].
ViT — другий перелом, і різкіший. Вона відкидає саму передумову родини. Замість вбудовувати просторову структуру в модель, вона ділить зображення на фіксовані патчі й передає їх трансформеру як послідовність токенів, показуючи, що «чистий трансформер, застосований безпосередньо до послідовностей патчів зображення, може дуже добре працювати в задачах класифікації зображень» [3, abstract].
Саме тому родовід нижче завершується, а не продовжується: остання стрілка веде за межі родини.
Що з цього взяти
Якщо ви обираєте архітектуру сьогодні, ця історія — контекст, а не короткий список: ви почали б із попередньо навченої моделі. Її користь у тому, щоб побачити закономірність: кожен запис прибирав одне рукотворне обмеження. Спочатку великі фільтри, потім межі глибини, потім саму згортку. Напрям руху послідовно веде до того, щоб масштаб і дані вирішували те, що попереднє покоління задавало вручну.
Джерела
- Deep Learning (2016)bookhttps://www.deeplearningbook.org/
- Deep Residual Learning for Image Recognition (2015)paperhttps://arxiv.org/abs/1512.03385
- An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (2020)paperhttps://arxiv.org/abs/2010.11929