Передача нейронного стиля

Тип программного алгоритма манипуляции изображениями

Перенос нейронного стиля, примененный к Моне Лизе :

Передача нейронного стиля ( NST ) относится к классу программных алгоритмов, которые манипулируют цифровыми изображениями или видео, чтобы принять внешний вид или визуальный стиль другого изображения. Алгоритмы NST характеризуются использованием глубоких нейронных сетей для преобразования изображений. Обычно NST используется для создания искусственных произведений искусства из фотографий, например, путем переноса внешнего вида известных картин на фотографии, предоставленные пользователями. Несколько известных мобильных приложений используют для этой цели методы NST, включая DeepArt и Prisma . Этот метод использовался художниками и дизайнерами по всему миру для создания новых произведений искусства на основе существующих стилей.

Алгоритмы передачи более раннего стиля

NST — это пример стилизации изображения, проблемы, изучаемой более двух десятилетий в области нефотореалистичного рендеринга . Первыми двумя алгоритмами передачи стиля на основе примеров были аналогии изображений ^[1] и стегание изображений. ^[2] Оба эти метода были основаны на алгоритмах синтеза текстур на основе патчей .

Учитывая обучающую пару изображений — фотографию и изображение, изображающее эту фотографию, — можно изучить преобразование, а затем применить его для создания нового изображения из новой фотографии по аналогии. Если тренировочной фотографии не было, ее нужно было бы создать путем обработки входного изображения; стеганое изображение не требовало этого этапа обработки, хотя оно было продемонстрировано только на одном стиле.

НСТ

NST был впервые опубликован в статье Леона Гатиса и др. «Нейронный алгоритм художественного стиля», первоначально опубликованной на ArXiv 2015, ^[3] и впоследствии принятой рецензируемой конференцией CVPR в 2016 году. ^[4] Оригинальная статья использовал архитектуру VGG-19 ^[5] , которая была предварительно обучена распознаванию объектов с использованием набора данных ImageNet .

В 2017 году Google AI представила метод ^[6] , который позволяет одной глубокой сети передачи сверточных стилей одновременно изучать несколько стилей. Этот алгоритм позволяет интерполяцию стилей в режиме реального времени, даже если это делается на видео носителе.

Формулировка

Процесс NST предполагает наличие входного изображения и образца изображения в стиле . ${\displaystyle p}$ ${\displaystyle a}$

Изображение передается через CNN, а сетевые активации выбираются на уровне поздней свертки архитектуры VGG-19. Пусть будет результирующая выходная выборка, называемая «содержимым» входных данных . ${\displaystyle p}$ ${\displaystyle C(p)}$ ${\displaystyle p}$

Затем изображение стиля передается через ту же CNN, и сетевые активации выбираются на ранних и средних уровнях CNN. Эти активации закодированы в виде матрицы Грамиана , назовите ее для обозначения «стиля» . ${\displaystyle a}$ ${\displaystyle S(a)}$ ${\displaystyle a}$

Целью NST является синтез выходного изображения , отображающего содержимое в стиле , т. е. и . ${\displaystyle x}$ ${\displaystyle p}$ ${\displaystyle a}$ ${\displaystyle C(x)=C(p)}$ ${\displaystyle S(x)=S(a)}$

Итеративная оптимизация (обычно градиентный спуск ) затем постепенно обновляется , чтобы минимизировать ошибку функции потерь: ${\displaystyle x}$

${\displaystyle {\mathcal {L(x)}}=|C(x)-C(p)|+k|S(x)-S(a)|}$,

где расстояние L2 . Константа контролирует уровень эффекта стилизации. ${\displaystyle |.|}$ ${\displaystyle k}$

Обучение

Изображение первоначально аппроксимируется путем добавления небольшого количества белого шума к входному изображению и подачи его через CNN. Затем мы последовательно распространяем эту потерю по сети с фиксированными весами CNN, чтобы обновить пиксели . После нескольких тысяч эпох обучения появляется (надеюсь) тот, который соответствует стилю и содержанию . ${\displaystyle x}$ ${\displaystyle p}$ ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle a}$ ${\displaystyle p}$

Алгоритмы обычно реализуются для графических процессоров , поэтому обучение занимает несколько минут. ^{[ нужна цитата ]}

Расширения

NST также был распространен на видео. ^[7]

Последующая работа улучшила скорость NST для изображений. ^{[ нужны разъяснения ]}

В статье Фей-Фей Ли и др. принял другую регуляризованную метрику потерь и ускоренный метод обучения для получения результатов в реальном времени (на три порядка быстрее, чем Gatys). ^[8] Их идея заключалась в том, чтобы использовать не потерю пикселей , определенную выше, а скорее «перцепционную потерю», измеряющую различия между слоями более высокого уровня внутри CNN. Они использовали симметричный кодер-декодер CNN. При обучении используется функция потерь, аналогичная базовому методу NST, но также регуляризуется выходной сигнал для обеспечения гладкости с использованием потерь общей вариации (TV). После обучения сеть можно использовать для преобразования изображения в стиль, используемый во время обучения, используя один проход сети с прямой связью. Однако сеть ограничена единственным стилем, в котором она обучена. ^[9]

В работе Чэнь Дундуна и др. они исследовали объединение информации оптического потока в сети прямой связи , чтобы улучшить временную когерентность вывода. ^[10]

Совсем недавно были исследованы методы NST, основанные на преобразовании объектов , для быстрой стилизации, которые не привязаны к одному конкретному стилю и обеспечивают управляемое пользователем смешивание стилей, например преобразование отбеливания и окраски (WCT). ^[11]

Рекомендации

1. «Аналогии изображений» (PDF) . Mrl.nyu.edu . 2001 . Проверено 13 февраля 2019 г.
2. «Выстегивание изображений». Graphics.cs.cmu.edu . 2001 . Проверено 4 февраля 2021 г.
3. Гатис, Леон А.; Экер, Александр С.; Бетге, Матиас (26 августа 2015 г.). «Нейронный алгоритм художественного стиля». arXiv : 1508.06576 [cs.CV].
4. Бетге, Матиас; Экер, Александр С.; Гатис, Леон А. (2016). «Передача стиля изображения с использованием сверточных нейронных сетей». Cv-foundation.org . стр. 2414–2423 . Проверено 13 февраля 2019 г.
5. «Очень глубокая CNNS для крупномасштабного визуального распознавания». Robots.ox.ac.uk . 2014 . Проверено 13 февраля 2019 г.
6. Дюмулен, Винсент; Шленс, Джонатон С.; Кудлур, Манджунатх (9 февраля 2017 г.). «Ученое представление художественного стиля». arXiv : 1610.07629 [cs.CV].
7. Рудер, Мануэль; Досовицкий, Алексей; Брокс, Томас (2016). «Передача художественного стиля для видео». Распознавание образов . Конспекты лекций по информатике. Том. 9796. стр. 26–36. arXiv : 1604.08610 . дои : 10.1007/978-3-319-45886-1_3. ISBN 978-3-319-45885-4. S2CID  47476652.
8. Джонсон, Джастин; Алахи, Александр; Ли, Фей-Фей (2016). «Потери восприятия при передаче стиля в реальном времени и сверхвысоком разрешении». arXiv : 1603.08155 [cs.CV].
9. Джонсон, Джастин; Алахи, Александр; Ли, Фей-Фей (2016). «Потери восприятия при передаче стиля в реальном времени и сверхвысоком разрешении». arXiv : 1603.08155 [cs.CV].
10. Чен, Дундун; Ляо, Цзин; Юань, Лу; Ю, Нэнхай; Хуа, Банда (2017). «Последовательная передача стилей онлайн-видео». arXiv : 1703.09211 [cs.CV].
11. Ли, Ицзюнь; Фанг, Чен; Ян, Джимей; Ван, Чжаовэнь; Лу, Синь; Ян, Мин-Сюань (2017). «Передача универсального стиля посредством преобразования функций». arXiv : 1705.08086 [cs.CV].