складність 4/5
Self-supervised learning
Будувати мітки з самих даних — два аугментовані види одного зображення утворюють позитивну пару, — і представлення переноситься не гірше, ніж навчене з учителем.
Інтуїція
Перенесенню навчання потрібен розмічений набір даних для попереднього навчання. CLIP потрібні підписи. Самокерованому навчанню не потрібне ні те, ні інше: нагляд виготовляють із самого зображення.
Конструкція майже соромно проста. Візьміть одне зображення, аугментуйте його двічі й оголосіть два результати позитивною парою. Усе інше в батчі — негативи. Навчіть мережу притягувати пару одне до одного, а решту — відштовхувати.
Дивує те, як далеко це заводить. «Лінійний класифікатор, навчений на самокерованих представленнях, вивчених SimCLR, досягає top-1 точності 76.5%… що відповідає якості ResNet-50, навченої з учителем» [1, Abstract].
Тож цікаве питання не в тому, чи це працює, а в тому, що не дає їй шахраювати. Задачу, яку ви вигадали, зазвичай можна розв’язати трюком, якого ви не передбачали, і більша частина статті SimCLR — про те, як зачинити ці двері.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- A Simple Framework for Contrastive Learning of Visual Representations (2020)paperhttps://ar5iv.labs.arxiv.org/html/2002.05709
- Learning Transferable Visual Models From Natural Language Supervision (2021)paperhttps://ar5iv.labs.arxiv.org/html/2103.00020