Вассерштейн ГАН

Предложенный вариант генеративно-состязательной сети

Генеративно-состязательная сеть Вассерштейна (WGAN) — это вариант генеративно-состязательной сети (GAN), предложенный в 2017 году, целью которого является «повышение стабильности обучения, устранение таких проблем, как коллапс мод, и предоставление осмысленных кривых обучения, полезных для отладки и поиска гиперпараметров». ^{[1] [2]}

По сравнению с оригинальным дискриминатором GAN, дискриминатор Вассерштейна GAN обеспечивает лучший обучающий сигнал для генератора. Это позволяет обучению быть более стабильным, когда генератор изучает распределения в очень высокоразмерных пространствах.

Мотивация

Игра GAN

Оригинальный метод GAN основан на игре GAN, игре с нулевой суммой с 2 ​​игроками: генератором и дискриминатором. Игра определена на вероятностном пространстве , набор стратегий генератора — это набор всех вероятностных мер на , а набор стратегий дискриминатора — это набор измеримых функций . ${\displaystyle (\Omega ,{\mathcal {B}},\mu _{ref})}$ ${\displaystyle \mu _{G}}$ ${\displaystyle (\Omega ,{\mathcal {B}})}$ ${\displaystyle D:\Omega \to [0,1]}$

Цель игры: генератор стремится минимизировать его, а дискриминатор стремится максимизировать. $${\displaystyle L(\mu _{G},D):=\mathbb {E} _{x\sim \mu _{ref}}[\ln D(x)]+\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))].}$$

Основная теорема игры GAN гласит, что

Теорема  (оптимальный дискриминатор вычисляет расхождение Дженсена–Шеннона)  —  Для любой фиксированной стратегии генератора пусть оптимальный ответ будет , тогда ${\displaystyle \mu _{G}}$ ${\displaystyle D^{*}=\arg \max _{D}L(\mu _{G},D)}$

$${\displaystyle {\begin{aligned}D^{*}(x)&={\frac {d\mu _{ref}}{d(\mu _{ref}+\mu _{G})}}\\L(\mu _{G},D^{*})&=2D_{JS}(\mu _{ref};\mu _{G})-2\ln 2,\end{aligned}}}$$

где производная — производная Радона–Никодима , а — дивергенция Дженсена–Шеннона . ${\displaystyle D_{JS}}$

Повторите игру GAN много раз, каждый раз с генератором, движущимся первым, и дискриминатором, движущимся вторым. Каждый раз, когда генератор меняется, дискриминатор должен адаптироваться, приближаясь к идеалу Поскольку нас действительно интересует , функция дискриминатора сама по себе довольно неинтересна. Она просто отслеживает отношение правдоподобия между распределением генератора и эталонным распределением. В равновесии дискриминатор просто постоянно выдает данные, отказавшись от попыток воспринять какую-либо разницу. ^{[примечание 1]} ${\displaystyle \mu _{G}}$ $${\displaystyle D^{*}(x)={\frac {d\mu _{ref}}{d(\mu _{ref}+\mu _{G})}}.}$$ ${\displaystyle \mu _{ref}}$ ${\displaystyle D}$ ${\displaystyle {\frac {1}{2}}}$

Конкретно, в игре GAN давайте исправим генератор и улучшим дискриминатор шаг за шагом, причем дискриминатор будет на шаге . Тогда мы (в идеале) имеем так что мы видим, что дискриминатор на самом деле является нижнеграниченным . ${\displaystyle \mu _{G}}$ ${\displaystyle \mu _{D,t}}$ ${\displaystyle t}$ $${\displaystyle L(\mu _{G},\mu _{D,1})\leq L(\mu _{G},\mu _{D,2})\leq \cdots \leq \max _{\mu _{D}}L(\mu _{G},\mu _{D})=2D_{JS}(\mu _{ref}\|\mu _{G})-2\ln 2,}$$ ${\displaystyle D_{JS}(\mu _{ref}\|\mu _{G})}$

Расстояние Вассерштейна

Таким образом, мы видим, что роль дискриминатора в основном заключается в предоставлении критиком обратной связи для генератора о том, «насколько он далек от совершенства», где «далек» определяется как расхождение Дженсена–Шеннона.

Естественно, это дает возможность использовать другой критерий удалённости. Существует множество возможных расхождений , из которых можно выбирать, например, семейство f-расхождений , которое даст f-GAN. ^[3]

Сеть GAN Вассерштейна получается с использованием метрики Вассерштейна , которая удовлетворяет «теореме о двойственном представлении», что делает ее вычисления весьма эффективными:

Теорема  (двойственность Канторовича-Рубенштейна)  —  Когда вероятностное пространство является метрическим, то для любого фиксированного , где — норма Липшица . ${\displaystyle \Omega }$ ${\displaystyle K>0}$ $${\displaystyle W_{1}(\mu ,\nu )={\frac {1}{K}}\sup _{\|f\|_{L}\leq K}\mathbb {E} _{x\sim \mu }[f(x)]-\mathbb {E} _{y\sim \nu }[f(y)]}$$ ${\displaystyle \|\cdot \|_{L}}$

Доказательство можно найти на главной странице метрики Вассерштейна .

Определение

Согласно двойственности Канторовича-Рубенштейна, определение GAN Вассерштейна становится ясным:

Игра Вассерштейна GAN определяется вероятностным пространством , где — метрическое пространство , и константой . ${\displaystyle (\Omega ,{\mathcal {B}},\mu _{ref})}$ ${\displaystyle \Omega }$ ${\displaystyle K>0}$

Есть 2 игрока: генератор и дискриминатор (также называемый «критиком»).

Набор стратегий генератора представляет собой набор всех мер вероятности на . ${\displaystyle \mu _{G}}$ ${\displaystyle (\Omega ,{\mathcal {B}})}$

Набор стратегий дискриминатора представляет собой набор измеримых функций типа с ограниченной липшицевой нормой: . ${\displaystyle D:\Omega \to \mathbb {R} }$ ${\displaystyle \|D\|_{L}\leq K}$

Игра Вассерштейна GAN — это игра с нулевой суммой , с целевой функцией $${\displaystyle L_{WGAN}(\mu _{G},D):=\mathbb {E} _{x\sim \mu _{G}}[D(x)]-\mathbb {E} _{x\sim \mu _{ref}}[D(x)].}$$

Генератор идет первым, а дискриминатор — вторым. Генератор стремится минимизировать цель, а дискриминатор стремится максимизировать цель: $${\displaystyle \min _{\mu _{G}}\max _{D}L_{WGAN}(\mu _{G},D).}$$

Согласно двойственности Канторовича-Рубенштейна, для любой стратегии генератора оптимальным ответом дискриминатора является , такой что Следовательно, если дискриминатор хорош, генератор будет постоянно подталкиваться к минимизации , и оптимальной стратегией для генератора будет как раз , как и должно быть. ${\displaystyle \mu _{G}}$ ${\displaystyle D^{*}}$ $${\displaystyle L_{WGAN}(\mu _{G},D^{*})=K\cdot W_{1}(\mu _{G},\mu _{ref}).}$$ ${\displaystyle W_{1}(\mu _{G},\mu _{ref})}$ ${\displaystyle \mu _{G}=\mu _{ref}}$

Сравнение с GAN

В игре Вассерштейна GAN дискриминатор обеспечивает лучший градиент, чем в игре GAN.

Рассмотрим, например, игру на реальной линии, где и являются гауссовыми. Тогда оптимальный критик Вассерштейна и оптимальный дискриминатор GAN отображаются следующим образом: ${\displaystyle \mu _{G}}$ ${\displaystyle \mu _{ref}}$ ${\displaystyle D_{WGAN}}$ ${\displaystyle D}$

Оптимальный критик Вассерштейна и оптимальный дискриминатор GAN для фиксированного эталонного распределения и распределения генератора . Как критик Вассерштейна , так и дискриминатор GAN уменьшены для соответствия графику. ${\displaystyle D_{WGAN}}$ ${\displaystyle D}$ ${\displaystyle \mu _{ref}}$ ${\displaystyle \mu _{G}}$ ${\displaystyle D_{WGAN}}$ ${\displaystyle D}$

Для фиксированного дискриминатора генератор должен минимизировать следующие цели:

• Для GAN, . ${\displaystyle \mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))]}$
• Для Вассерштейн GAN, . ${\displaystyle \mathbb {E} _{x\sim \mu _{G}}[D_{WGAN}(x)]}$

Пусть параметризовано с помощью , тогда мы можем выполнить стохастический градиентный спуск , используя две несмещенные оценки градиента: где мы использовали прием репараметризации . ^{[примечание 2]} ${\displaystyle \mu _{G}}$ ${\displaystyle \theta }$ $${\displaystyle \nabla _{\theta }\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))]=\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))\cdot \nabla _{\theta }\ln \rho _{\mu _{G}}(x)]}$$ $${\displaystyle \nabla _{\theta }\mathbb {E} _{x\sim \mu _{G}}[D_{WGAN}(x)]=\mathbb {E} _{x\sim \mu _{G}}[D_{WGAN}(x)\cdot \nabla _{\theta }\ln \rho _{\mu _{G}}(x)]}$$

Тот же график, но дискриминатор GAN заменен на (и уменьшен для соответствия графику) ${\displaystyle D}$ ${\displaystyle \ln(1-D)}$

Как показано, генератор в GAN мотивирован позволить себе «скатиться с пика» . Аналогично для генератора в GAN Вассерштейна. ${\displaystyle \mu _{G}}$ ${\displaystyle \ln(1-D(x))}$

Для Вассерштейна GAN, имеет градиент 1 почти везде, в то время как для GAN, имеет плоский градиент в середине и крутой градиент в других местах. В результате дисперсия для оценки в GAN обычно намного больше, чем в Вассерштейне GAN. См. также Рисунок 3 из. ^[1] ${\displaystyle D_{WGAN}}$ ${\displaystyle \ln(1-D)}$

Проблема с гораздо более серьезна в реальных ситуациях машинного обучения. Рассмотрим обучение GAN для генерации ImageNet , коллекции фотографий размером 256 на 256. Пространство всех таких фотографий равно , а распределение изображений ImageNet, , концентрируется на многообразии гораздо меньшей размерности в нем. Следовательно, любая стратегия генератора почти наверняка будет полностью не пересекаться с , делая . Таким образом, хороший дискриминатор может почти идеально различать от , а также любые близкие к . Таким образом, градиент , не создавая обучающего сигнала для генератора. ${\displaystyle D_{JS}}$ ${\displaystyle \mathbb {R} ^{256^{2}}}$ ${\displaystyle \mu _{ref}}$ ${\displaystyle \mu _{G}}$ ${\displaystyle \mu _{ref}}$ ${\displaystyle D_{JS}(\mu _{G}\|\mu _{ref})=+\infty }$ ${\displaystyle \mu _{ref}}$ ${\displaystyle \mu _{G}}$ ${\displaystyle \mu _{G}'}$ ${\displaystyle \mu _{G}}$ ${\displaystyle \nabla _{\mu _{G}}L(\mu _{G},D)\approx 0}$

Подробные теоремы можно найти в ^{[4] .}

Обучение Вассерштейн GAN

Обучение генератора в Вассерштейновском GAN — это просто градиентный спуск , такой же, как в GAN (или большинстве методов глубокого обучения), но обучение дискриминатора отличается, поскольку дискриминатор теперь ограничен ограниченной нормой Липшица. Для этого есть несколько методов.

Верхняя граница нормы Липшица

Пусть функция дискриминатора реализуется многослойным персептроном : где , а — фиксированная функция активации с . Например, функция гиперболического тангенса удовлетворяет требованию. ${\displaystyle D}$ $${\displaystyle D=D_{n}\circ D_{n-1}\circ \cdots \circ D_{1}}$$ ${\displaystyle D_{i}(x)=h(W_{i}x)}$ ${\displaystyle h:\mathbb {R} \to \mathbb {R} }$ ${\displaystyle \sup _{x}|h'(x)|\leq 1}$ ${\displaystyle h=\tanh }$

Тогда для любого , пусть , по цепочке имеем : Таким образом, норма Липшица ограничена сверху величиной , где — операторная норма матрицы, то есть наибольшее сингулярное число матрицы, то есть спектральный радиус матрицы (эти понятия одинаковы для матриц, но различны для общих линейных операторов ). ${\displaystyle x}$ ${\displaystyle x_{i}=(D_{i}\circ D_{i-1}\circ \cdots \circ D_{1})(x)}$ $${\displaystyle dD(x)=diag(h'(W_{n}x_{n-1}))\cdot W_{n}\cdot diag(h'(W_{n-1}x_{n-2}))\cdot W_{n-1}\cdots diag(h'(W_{1}x))\cdot W_{1}\cdot dx}$$ ${\displaystyle D}$ $${\displaystyle \|D\|_{L}\leq \sup _{x}\|diag(h'(W_{n}x_{n-1}))\cdot W_{n}\cdot diag(h'(W_{n-1}x_{n-2}))\cdot W_{n-1}\cdots diag(h'(W_{1}x))\cdot W_{1}\|_{F}}$$ ${\displaystyle \|\cdot \|_{s}}$

Так как , то имеем , и, следовательно, верхнюю границу: Таким образом, если мы можем оценить сверху нормы операторов каждой матрицы, то мы можем оценить сверху норму Липшица . ${\displaystyle \sup _{x}|h'(x)|\leq 1}$ ${\displaystyle \|diag(h'(W_{i}x_{i-1}))\|_{s}=\max _{j}|h'(W_{i}x_{i-1,j})|\leq 1}$ $${\displaystyle \|D\|_{L}\leq \prod _{i=1}^{n}\|W_{i}\|_{s}}$$ ${\displaystyle \|W_{i}\|_{s}}$ ${\displaystyle D}$

Отсечение веса

Так как для любой матрицы , пусть , мы имеем , отсекая все элементы из в пределах некоторого интервала , мы можем ограничиться . ${\displaystyle m\times l}$ ${\displaystyle W}$ ${\displaystyle c=\max _{i,j}|W_{i,j}|}$ $${\displaystyle \|W\|_{s}^{2}=\sup _{\|x\|_{2}=1}\|Wx\|_{2}^{2}=\sup _{\|x\|_{2}=1}\sum _{i}\left(\sum _{j}W_{i,j}x_{j}\right)^{2}=\sup _{\|x\|_{2}=1}\sum _{i,j,k}W_{ij}W_{ik}x_{j}x_{k}\leq c^{2}ml^{2}}$$ ${\displaystyle W}$ ${\displaystyle [-c,c]}$ ${\displaystyle \|W\|_{s}}$

Это метод отсечения веса, предложенный в оригинальной статье. ^[1]

Спектральная нормализация

Спектральный радиус можно эффективно вычислить с помощью следующего алгоритма:

ВХОДНАЯ матрица и начальное предположение ${\displaystyle W}$ ${\displaystyle x}$

Итерация до сходимости . Это собственный вектор с собственным значением . ${\displaystyle x\mapsto {\frac {1}{\|Wx\|_{2}}}Wx}$ ${\displaystyle x^{*}}$ ${\displaystyle W}$ ${\displaystyle \|W\|_{s}}$

ВОЗВРАЩАТЬСЯ ${\displaystyle x^{*},\|Wx^{*}\|_{2}}$

Переназначая после каждого обновления дискриминатора, мы можем ограничить сверху , и, таким образом, ограничить сверху . ${\displaystyle W_{i}\leftarrow {\frac {W_{i}}{\|W_{i}\|_{s}}}}$ ${\displaystyle \|W_{i}\|_{s}\leq 1}$ ${\displaystyle \|D\|_{L}}$

Алгоритм можно еще больше ускорить с помощью мемоизации : на шаге сохранить . Затем на шаге использовать в качестве начального предположения для алгоритма. Поскольку очень близко к , поэтому близко к , поэтому это обеспечивает быструю сходимость. ${\displaystyle t}$ ${\displaystyle x_{i}^{*}(t)}$ ${\displaystyle t+1}$ ${\displaystyle x_{i}^{*}(t)}$ ${\displaystyle W_{i}(t+1)}$ ${\displaystyle W_{i}(t)}$ ${\displaystyle x_{i}^{*}(t)}$ ${\displaystyle x_{i}^{*}(t+1)}$

Это метод спектральной нормализации. ^[5]

Штраф за градиент

Вместо строгого ограничения мы можем просто добавить термин «градиентный штраф» для дискриминатора в форме, где — фиксированное распределение, используемое для оценки того, насколько дискриминатор нарушил требование нормы Липшица. Дискриминатор, пытаясь минимизировать новую функцию потерь, естественным образом приблизится к везде, таким образом сделав . ${\displaystyle \|D\|_{L}}$ $${\displaystyle \mathbb {E} _{x\sim {\hat {\mu }}}[(\|\nabla D(x)\|_{2}-a)^{2}]}$$ ${\displaystyle {\hat {\mu }}}$ ${\displaystyle \nabla D(x)}$ ${\displaystyle a}$ ${\displaystyle \|D\|_{L}\approx a}$

Это метод градиентного штрафа. ^[6]

Дальнейшее чтение

• От GAN к WGAN
• Вассерштейн GAN и двойственность Канторовича-Рубинштейна
• Глубокое обучение: Вассерштейн GAN

Смотрите также

• Генеративная состязательная сеть
• метрика Вассерштейна
• Расстояние землеройной машины
• Теория транспорта

Ссылки

1. Арджовски, Мартин; Чинтала, Сумит; Ботту, Леон (2017-07-17). «Генеративно-состязательные сети Вассерштейна». Международная конференция по машинному обучению . PMLR: 214–223.
2. Венг, Лилиан (18 апреля 2019 г.). «От ГАН до ВГАН». arXiv : 1904.08994 [cs.LG].
3. Новозин, Себастьян; Чеке, Ботонд; Томиока, Рёта (2016). "f-GAN: Обучение генеративных нейронных сэмплеров с использованием минимизации вариационной дивергенции". Достижения в области нейронных систем обработки информации . 29. Curran Associates, Inc. arXiv : 1606.00709 .
4. Арджовски, Мартин; Ботту, Леон (01.01.2017). «К принципиальным методам обучения генеративно-состязательных сетей». arXiv : 1701.04862 . {{cite journal}}: Цитировать журнал требует |journal=( помощь )
5. Миято, Такеру; Катаока, Тошики; Кояма, Масанори; Ёсида, Юичи (16 февраля 2018 г.). «Спектральная нормализация для генеративно-состязательных сетей». arXiv : 1802.05957 [cs.LG].
6. Гулраджани, Ишаан; Ахмед, Фарук; Арджовски, Мартин; Дюмулен, Винсент; Курвиль, Аарон С. (2017). «Улучшенное обучение сетей Вассерштейна GAN». Достижения в области нейронных систем обработки информации . 30. Curran Associates, Inc.

Примечания

1. На практике генератор никогда не сможет достичь идеальной имитации, поэтому у дискриминатора будет мотивация для восприятия разницы, что позволит использовать его для других задач, таких как выполнение классификации ImageNet без наблюдения .
2. На практике это делается не так, поскольку в общем случае это неразрешимо, но теоретически это поучительно. ${\displaystyle \nabla _{\theta }\ln \rho _{\mu _{G}}(x)}$