складність 4/5
PointNet
Нейронна мережа, яка споживає сиру 3D-хмару точок напряму, шануючи те, що точки є множиною: переставте порядок у файлі — і відповідь не має змінитися.
Інтуїція
Сканування лідаром або камера глибини дає вам список 3D-координат. Цей список не є ні зображенням, ні послідовністю — він є множиною. Збережіть той самий об’єкт двічі, і точки можуть вийти в іншому порядку, а в кріслі не змінилося нічого.
Згорткові мережі такого спожити не можуть. Їм потрібна сітка, тож стандартним ходом до 2017 року було її збудувати: вокселізувати хмару або відрендерити її в зображення з кількох точок огляду. Обидва працюють, і обидва марнотратні в конкретний спосіб — власне формулювання статті полягає в тому, що перетворення хмар точок на «регулярні 3D-воксельні сітки чи набори зображень» «робить дані надміру об’ємними й спричиняє проблеми» [1, abstract]. Більша частина воксельної сітки порожня, а платите ви за всю.
Внесок PointNet — перестати перетворювати. Він «споживає хмари точок напряму, що добре шанує інваріантність точок на вході щодо перестановок» [1, abstract].
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation (2017)paperhttps://ar5iv.labs.arxiv.org/html/1612.00593
- Deep Sets (2017)paperhttps://arxiv.org/abs/1703.06114
- PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space (2017)paperhttps://arxiv.org/abs/1706.02413