Модель скрытой диффузии

Глубокая генеративная модель

Модель скрытой диффузии ( LDM ) ^[1] представляет собой архитектуру модели диффузии, разработанную группой CompVis (Computer Vision & Learning) ^[2] в Университете Людвига-Максимилиана в Мюнхене . ^[3]

Представленные в 2015 году модели диффузии (DM) обучаются с целью удаления последовательных применений шума (обычно гауссовского ) на обучающих изображениях. LDM является улучшением стандартной DM за счет выполнения моделирования диффузии в скрытом пространстве и допуская кондиционирование собственного внимания и перекрестного внимания.

LDM широко используются в практических моделях диффузии. Например, версии Stable Diffusion 1.1–2.1 были основаны на архитектуре LDM. ^[4]

История версий

Модели диффузии были введены в 2015 году как метод обучения модели, которая может делать выборки из очень сложного распределения вероятностей. Они использовали методы из неравновесной термодинамики , особенно диффузии . ^[5] Это сопровождалось программной реализацией в Theano . ^[6]

В статье 2019 года была предложена сеть условной оценки шума (NCSN) или сопоставление оценок с динамикой Ланжевена (SMLD). ^[7] Статья сопровождалась программным пакетом, написанным на PyTorch , который был выпущен на GitHub. ^[8]

В статье 2020 года ^[9] была предложена вероятностная модель диффузии шумов (DDPM) , которая улучшает предыдущий метод с помощью вариационного вывода . Статья сопровождалась программным пакетом, написанным в TensorFlow, выпущенном на GitHub. ^[10] Она была повторно реализована в PyTorch компанией lucidrains. ^{[11] [12]}

20 декабря 2021 года статья LDM была опубликована на arXiv, ^[13] а репозитории Stable Diffusion ^[14] и LDM ^[15] были опубликованы на GitHub. Однако они остались примерно такими же. Существенная информация о Stable Diffusion v1 была добавлена ​​на GitHub только 10 августа 2022 года. ^[16]

Все версии Stable Diffusion (SD) от 1.1 до XL представляли собой частные реализации архитектуры LDM.

SD 1.1–1.4 были выпущены CompVis в августе 2022 года. «Версии 1.0» не существует. SD 1.1 была LDM, обученной на наборе данных laion2B-en. SD 1.1 была доработана до 1.2 для более эстетичных изображений. SD 1.2 была доработана до 1.3, 1.4 и 1.5, при этом 10% текстовой обработки было удалено для улучшения руководства без классификатора. ^{[17] [18]} SD 1.5 была выпущена RunwayML в октябре 2022 года. ^[18]

Архитектура

Хотя LDM может работать для генерации произвольных данных, зависящих от произвольных данных, для конкретности мы опишем его работу в условной генерации текста в изображение.

LDM состоит из вариационного автокодировщика (VAE), модифицированной U-Net и текстового кодировщика.

Кодер VAE сжимает изображение из пиксельного пространства в менее размерное скрытое пространство , захватывая более фундаментальное семантическое значение изображения. Гауссовский шум итеративно применяется к сжатому скрытому представлению во время прямой диффузии. Блок U-Net, состоящий из каркаса ResNet , удаляет шум с выходных данных прямой диффузии в обратном направлении для получения скрытого представления. Наконец, декодер VAE генерирует окончательное изображение, преобразуя представление обратно в пиксельное пространство. ^[4]

Шаг шумоподавления может быть обусловлен строкой текста, изображением или другой модальностью. Закодированные данные обусловливания подвергаются шумоподавляющим U-сетям через механизм перекрестного внимания . ^[4] Для обусловливания текста используется фиксированный, предварительно обученный текстовый кодер CLIP ViT-L/14 для преобразования текстовых подсказок в пространство внедрения. ^[3]

Вариационный автоэнкодер

Для сжатия данных изображения вариационный автоэнкодер (VAE) сначала обучается на наборе данных изображений. Часть кодировщика VAE принимает изображение в качестве входных данных и выводит скрытое представление изображения меньшей размерности. Затем это скрытое представление используется в качестве входных данных для U-Net. После обучения модели кодировщик используется для кодирования изображений в скрытые представления, а декодер используется для декодирования скрытых представлений обратно в изображения.

Пусть кодер и декодер VAE будут . ${\displaystyle E,D}$

Для кодирования изображения RGB его три канала делятся на максимальное значение, что приводит к тензору формы со всеми записями в диапазоне . Закодированный вектор равен , с формой , где 0,18215 — гиперпараметр, который первоначальные авторы выбрали для грубого отбеливания закодированного вектора до дисперсии, приблизительно равной единице. И наоборот, если задан скрытый тензор , декодированное изображение равно , затем обрезается до диапазона . ^{[19] [20]} ${\displaystyle x}$ ${\displaystyle (3,512,512)}$ ${\displaystyle [0,1]}$ ${\displaystyle 0.18215\times E(2x-1)}$ ${\displaystyle (4,64,64)}$ ${\displaystyle y}$ ${\displaystyle (D(y/0.18125)+1)/2}$ ${\displaystyle [0,1]}$

В реализованной версии ^{[3] : ldm/models/autoencoder.py} кодер представляет собой сверточную нейронную сеть (CNN) с одним механизмом самовнимания в конце. Он берет тензор формы и выводит тензор формы , являющийся конкатенацией предсказанного среднего значения и дисперсии скрытого вектора. Дисперсия используется при обучении, но после обучения обычно берется только среднее значение, а дисперсия отбрасывается. ${\displaystyle (3,H,W)}$ ${\displaystyle (8,H/8,W/8)}$

Декодер — это CNN также с одним механизмом самовнимания в конце. Он берет тензор формы и выдает тензор формы . ${\displaystyle (4,H/8,W/8)}$ ${\displaystyle (3,H,W)}$

U-Net

Магистраль U-Net принимает следующие типы входных данных:

• Массив скрытых изображений , созданный кодировщиком VAE. Он имеет размеры . Например, если он равен , то его можно визуализировать как изображение RGB размером 64 на 64. Однако скрытое изображение не предназначено для непосредственной визуализации. ${\displaystyle ({\text{channel}},{\text{width}},{\text{height}})}$ ${\displaystyle (3,64,64)}$
• Вектор внедрения временного шага , который указывает позвоночнику, насколько много шума в изображении. Например, внедрение временного шага будет означать, что входное изображение уже без шума, в то время как будет означать большое количество шума. ${\displaystyle t=0}$ ${\displaystyle t=100}$
• Последовательность векторов модальности , которая указывает магистрали о дополнительных условиях для шумоподавления. Например, при генерации текста в изображение текст делится на последовательность токенов, затем кодируется текстовым кодировщиком, таким как кодировщик CLIP , перед подачей в магистраль. В качестве другого примера, входное изображение может быть обработано Vision Transformer в последовательность векторов, которые затем могут использоваться для кондиционирования магистрали для таких задач, как генерация изображения в том же стиле.

Каждый прогон через магистраль UNet создает прогнозируемый вектор шума. Этот вектор шума уменьшается и вычитается из массива скрытого изображения, что приводит к немного менее шумному скрытому изображению. Шумоподавление повторяется в соответствии с графиком шумоподавления («графиком шума»), а выход последнего шага обрабатывается декодером VAE в готовое изображение.

Единый механизм перекрестного внимания, как он представлен в стандартной языковой модели Transformer.

Блок-схема полной архитектуры Transformer. Стек справа — это стандартный декодер pre-LN Transformer, который по сути такой же, как SpatialTransformer.

Подобно стандартной U-Net , магистраль U-Net, используемая в SD 1.5, по сути, состоит из слоев масштабирования вниз, за ​​которыми следуют слои масштабирования вверх. Однако магистраль UNet имеет дополнительные модули, позволяющие ей обрабатывать встраивание. В качестве иллюстрации мы описываем один слой масштабирования вниз в магистрали:

• Скрытый массив и временное внедрение обрабатываются с помощью ResBlock:
  • Скрытый массив обрабатывается свёрточным слоем .
  • Вектор внедрения во времени обрабатывается однослойной сетью прямой связи , затем добавляется к предыдущему массиву (транслируется по всем пикселям).
  • Это обрабатывается еще одним свёрточным слоем, а затем ещё одним временным вложением.
• Скрытый массив и последовательность векторов внедрения обрабатываются декодером SpatialTransformer, который по сути является стандартным декодером pre-LN Transformer без причинной маскировки.
  • В блоках перекрестного внимания сам скрытый массив служит последовательностью запроса, один вектор запроса на пиксель. Например, если на этом уровне в UNet скрытый массив имеет размеры , то последовательность запроса имеет векторы, каждый из которых имеет размеры. Последовательность векторов внедрения служит как ключевой последовательностью, так и последовательностью значений. ${\displaystyle (128,32,32)}$ ${\displaystyle 1024}$ ${\displaystyle 128}$
  • Если последовательность векторов внедрения не введена, блок перекрестного внимания по умолчанию принимает значение собственного внимания, а скрытый массив служит запросом, ключом и значением. ^{[21] : строка 251}

В псевдокоде,

def  ResBlock ( x ,  time ,  residual_channels ):  x_in  =  x  time_embedding  =  feedforward_network ( time )  x  =  concatenate ( x ,  residual_channels )  x  =  conv_layer_1 ( activate ( normalize_1 ( x )))  +  time_embedding  x  =  conv_layer_2 ( dropout ( activate ( normalize_2 ( x ))))  return  x_in  +  xdef  SpatialTransformer ( x ,  cond ):  x_in  =  x  x  =  normalize ( x )  x  =  proj_in ( x )  x  =  cross_attention ( x ,  cond )  x  =  proj_out ( x )  return  x_in  +  x def  unet ( x ,  time ,  cond ) :  residual_channels  =  [  ] для  resblock ,  spatialtransformer  в  downscaling_layers :  x  =  resblock ( x ,  time )  residual_channels.append ( x ) x = spatialtransformer ( x , cond )      x  =  средний_слой.resblock_1 ( x , время ) x = средний_слой.spacetransformer ( x , время ) x = средний_слой.resblock_2 ( x , время )​​​​​​           для  resblock ,  spatialtransformer  в  upscaling_layers :  residual  =  residual_channels.pop ( ) x = resblock ( concatenate ( x , residual ) , time ) x = spatialtransformer ( x , cond )           вернуть  х

Подробную архитектуру можно найти в ^{[22] [23]}

Обучение и вывод

LDM обучается с использованием цепи Маркова для постепенного добавления шума к обучающим изображениям. Затем модель обучается для обратного процесса, начиная с шумного изображения и постепенно удаляя шум, пока не восстановит исходное изображение. Более конкретно, процесс обучения можно описать следующим образом:

• Процесс прямой диффузии: при наличии реального изображения генерируется последовательность скрытых переменных путем постепенного добавления гауссовского шума к изображению в соответствии с заранее определенным «графиком шума». ${\displaystyle x_{0}}$ ${\displaystyle x_{1:T}}$
• Процесс обратной диффузии: начиная с образца гауссовского шума , модель учится предсказывать шум, добавляемый на каждом шаге, чтобы обратить процесс диффузии и получить реконструкцию исходного изображения . ${\displaystyle x_{T}}$ ${\displaystyle x_{0}}$

Модель обучается минимизировать разницу между прогнозируемым шумом и фактическим шумом, добавляемым на каждом шаге. Обычно это делается с использованием функции потерь среднеквадратической ошибки (MSE).

После обучения модели ее можно использовать для генерации новых изображений, просто запустив процесс обратной диффузии, начиная со случайного образца шума. Модель постепенно удаляет шум из образца, руководствуясь изученным распределением шума, пока не сгенерирует окончательное изображение.

Подробную информацию см . на странице модели диффузии .

Смотрите также

• Модель диффузии
• Генеративная состязательная сеть
• Вариационный автоэнкодер
• Стабильная диффузия

Ссылки

1. Ромбах, Робин; Блаттманн, Андреас; Лоренц, Доминик; Эссер, Патрик; Оммер, Бьёрн (2022). Синтез изображений высокого разрешения с использованием моделей скрытой диффузии. Конференция IEEE/CVF по компьютерному зрению и распознаванию образов (CVPR) 2022. С. 10684–10695.
2. "Главная". Computer Vision & Learning Group . Получено 2024-09-05 .
3. "Stable Diffusion Repository on GitHub". CompVis - Machine Vision and Learning Research Group, LMU Munich. 17 сентября 2022 г. Архивировано из оригинала 18 января 2023 г. Получено 17 сентября 2022 г.
4. Alammar, Jay. "The Illustrated Stable Diffusion". jalammar.github.io . Архивировано из оригинала 1 ноября 2022 г. Получено 31 октября 2022 г.
5. Соль-Дикштейн, Яша; Вайс, Эрик; Махешваранатан, Ниру; Гангули, Сурья (2015-06-01). «Глубокое неконтролируемое обучение с использованием неравновесной термодинамики» (PDF) . Труды 32-й Международной конференции по машинному обучению . 37. PMLR: 2256–2265. arXiv : 1503.03585 .
6. Золь-Дикштейн, Яша (1 сентября 2024 г.). «Золь-Дикштейн/Диффузионно-вероятностные модели» . Проверено 7 сентября 2024 г.
7. "ermongroup/ncsn". ermongroup. 2019 . Получено 2024-09-07 .
8. Сонг, Янг; Эрмон, Стефано (2019). «Генеративное моделирование путем оценки градиентов распределения данных». Достижения в области нейронных систем обработки информации . 32. Curran Associates, Inc. arXiv : 1907.05600 .
9. Хо, Джонатан; Джейн, Аджай; Аббель, Питер (2020). «Устранение шума в вероятностных моделях диффузии». Достижения в области нейронных систем обработки информации . 33. Curran Associates, Inc.: 6840–6851.
10. Хо, Джонатан (20 июня 2020 г.). «ходжонатанхо/диффузия» . Проверено 7 сентября 2024 г.
11. Ван, Фил (2024-09-07). "lucidrains/denoising-diffusion-pytorch" . Получено 2024-09-07 .
12. "Аннотированная модель диффузии". huggingface.co . Получено 2024-09-07 .
13. Ромбах, Робин; Блаттманн, Андреас; Лоренц, Доминик; Эссер, Патрик; Оммер, Бьорн (20 декабря 2021 г.). «Синтез изображений высокого разрешения с использованием моделей скрытой диффузии». arXiv : 2112.10752 [cs.CV].
14. "Обновить README.md · CompVis/stable-diffusion@17e64e3". GitHub . Получено 2024-09-07 .
15. "Обновить README.md · CompVis/latent-diffusion@17e64e3". GitHub . Получено 2024-09-07 .
16. "стабильная диффузия · CompVis/stable-diffusion@2ff270f". GitHub . Получено 2024-09-07 .
17. "CompVis (CompVis)". huggingface.co . 2023-08-23 . Получено 2024-03-06 .
18. "runwayml/stable-diffusion-v1-5 · Hugging Face". huggingface.co . Архивировано из оригинала 21 сентября 2023 г. Получено 17 августа 2023 г.
19. "Объяснение коэффициента 0,18215 в textual_inversion? · Выпуск № 437 · huggingface/diffusers". GitHub . Получено 2024-09-19 .
20. "diffusion-nbs/Stable Diffusion Deep Dive.ipynb в master · fastai/diffusion-nbs". GitHub . Получено 2024-09-19 .
21. "latent-diffusion/ldm/modules/attention.py в main · CompVis/latent-diffusion". GitHub . Получено 2024-09-09 .
22. "U-Net for Stable Diffusion". U-Net for Stable Diffusion . Получено 2024-08-31 .
23. "Трансформатор для стабильной диффузии U-Net". Трансформатор для стабильной диффузии U-Net . Получено 2024-09-07 .

Дальнейшее чтение

• Ван, Фил (2024-09-07). "lucidrains/denoising-diffusion-pytorch" . Получено 2024-09-07 .
• «Аннотированная модель диффузии». huggingface.co . Получено 2024-09-07 .
• "U-Net для стабильной диффузии". U-Net для стабильной диффузии . Получено 2024-08-31 .
• "Трансформатор для стабильной диффузии U-Net". Трансформатор для стабильной диффузии U-Net . Получено 2024-09-07 .