складність 4/5
Diffusion model
Зруйнуйте зображення шумом за тисячу фіксованих кроків, а тоді навчіть мережу скасовувати їх по одному. Семплування проходить ланцюг у зворотному напрямку, починаючи з чистого шуму.
Інтуїція
GAN навчається створювати зображення одним стрибком під наглядом суперника. Дифузійна модель від стрибка відмовляється. Вона визначає процес, що поступово руйнує зображення, і навчається скасовувати лише один невеликий його крок.
Руйнування не навчається. «Дифузійні моделі відрізняє від інших типів моделей із латентними змінними те, що наближений апостеріорний розподіл q(x₁:T | x₀), який називають прямим процесом, або дифузійним процесом, зафіксовано як марковський ланцюг, що поступово додає до даних гаусовий шум відповідно до розкладу дисперсій β₁, …, βT» [1, §2]. Зафіксовано — жодних параметрів, нічого навчати, а отже, нічого дестабілізувати.
Навчається зворотний процес: ланцюг «навчених гаусових переходів, що починаються з p(xT) = N(0, I)» [1, §2]. Семплування починається з шуму й іде назад.
Прибрати трохи шуму — легка, коректно поставлена задача навчання з учителем. Прибрати тисячу невеликих порцій шуму одну за одною виявляється генерацією зображень.
Формальне визначення
Як це працює
Де застосовується
Чому і коли
Практичний приклад
Типові помилки
Перевірте себе
3 запитання
Запитання до цієї сторінки входять у доступ. Їх перевіряє сервер, тож відповіді лишаються там, доки ви не дасте свою.
Джерела
- Denoising Diffusion Probabilistic Models (2020)paperhttps://ar5iv.labs.arxiv.org/html/2006.11239
- Generative Adversarial Nets (2014)paperhttps://ar5iv.labs.arxiv.org/html/1406.2661
- U-Net: Convolutional Networks for Biomedical Image Segmentation (2015)paperhttps://ar5iv.labs.arxiv.org/html/1505.04597
- High-Resolution Image Synthesis with Latent Diffusion Models (2022)paperhttps://arxiv.org/abs/2112.10752