Обучение по сходству

Контролируемое обучение функции сходства

Обучение по подобию — это область контролируемого машинного обучения в области искусственного интеллекта . Он тесно связан с регрессией и классификацией , но цель состоит в том, чтобы изучить функцию сходства , которая измеряет, насколько похожи или связаны два объекта. Он имеет приложения для ранжирования , в системах рекомендаций , визуального отслеживания личности, проверки лица и проверки говорящего.

Настройка обучения

Существует четыре распространенных схемы дистанционного обучения по сходству и метрике.

Обучение сходству регрессии

В этой схеме пары объектов даны вместе с указанием меры их сходства . Цель состоит в том, чтобы изучить функцию, которая аппроксимирует каждый новый пример помеченного триплета . Обычно это достигается за счет минимизации регуляризованных потерь . ${\displaystyle (x_{i}^{1},x_{i}^{2})}$ ${\displaystyle y_{i}\in R}$ ${\displaystyle f(x_{i}^{1},x_{i}^{2})\sim y_{i}}$ ${\displaystyle (x_{i}^{1},x_{i}^{2},y_{i})}$ ${\displaystyle \min _{W}\sum _{i}loss(w;x_{i}^{1},x_{i}^{2},y_{i})+reg(w)}$

Обучение сходству классификации

Даны пары похожих и непохожих объектов . Эквивалентная формулировка заключается в том, что каждая пара дается вместе с двоичной меткой , которая определяет, похожи ли два объекта или нет. Цель снова состоит в том, чтобы изучить классификатор, который может решить, похожа ли новая пара объектов или нет. ${\displaystyle (x_{i},x_{i}^{+})}$ ${\displaystyle (x_{i},x_{i}^{-})}$ ${\displaystyle (x_{i}^{1},x_{i}^{2})}$ ${\displaystyle y_{i}\in \{0,1\}}$

Ранжирование обучения по сходству

Даны тройки объектов , относительное сходство которых подчиняется заранее определенному порядку: известно, что они больше похожи на , чем на . Цель состоит в том, чтобы изучить функцию , которая подчинялась бы любой новой тройке объектов ( контрастное обучение ). Эта схема предполагает более слабую форму контроля, чем при регрессии, поскольку вместо точного измерения сходства необходимо указать только относительный порядок сходства. По этой причине обучение по сходству на основе ранжирования легче применять в реальных крупномасштабных приложениях. ^[1] ${\displaystyle (x_{i},x_{i}^{+},x_{i}^{-})}$ ${\displaystyle x_{i}}$ ${\displaystyle x_{i}^{+}}$ ${\displaystyle x_{i}^{-}}$ ${\displaystyle f}$ ${\displaystyle (x,x^{+},x^{-})}$ ${\displaystyle f(x,x^{+})>f(x,x^{-})}$

Хеширование с учетом локальности (LSH) ^[2]

Хэширует входные элементы так, что похожие элементы с высокой вероятностью сопоставляются с одними и теми же «корзинами» в памяти (количество сегментов намного меньше, чем совокупность возможных входных элементов). Он часто применяется при поиске ближайших соседей для крупномасштабных многомерных данных, например, баз данных изображений, коллекций документов, баз данных временных рядов и баз данных геномов. ^[3]

Распространенный подход к изучению сходства заключается в моделировании функции сходства в виде билинейной формы . Например, в случае ранжирования обучения по сходству целью является изучение матрицы W, которая параметризует функцию сходства . Когда данных много, распространенным подходом является изучение сиамской сети — модели глубокой сети с общим доступом к параметрам. ${\displaystyle f_{W}(x,z)=x^{T}Wz}$

Метричное обучение

Обучение по подобию тесно связано с дистанционным метрическим обучением . Метрическое обучение — это задача изучения функции расстояния над объектами. Метрическая или дистанционная функция должна подчиняться четырем аксиомам: неотрицательности , тождественности неразличимых величин , симметрии и субаддитивности (или неравенству треугольника). На практике алгоритмы обучения метрике игнорируют условие идентичности неразличимых величин и изучают псевдометрику.

Когда объекты являются векторами в , то любая матрица в симметричном положительном полуопределенном конусе определяет псевдометрику расстояния пространства x через форму . Когда – симметричная положительно определенная матрица, – метрика. Более того, поскольку любую симметричную положительную полуопределенную матрицу можно разложить как где и , функцию расстояния можно переписать эквивалентно . Расстояние соответствует евклидову расстоянию между преобразованными векторами признаков и . ${\displaystyle x_{i}}$ ${\displaystyle R^{d}}$ ${\displaystyle W}$ ${\displaystyle S_{+}^{d}}$ ${\displaystyle D_{W}(x_{1},x_{2})^{2}=(x_{1}-x_{2})^{\top }W(x_{1}-x_{2})}$ ${\displaystyle W}$ ${\displaystyle D_{W}}$ ${\displaystyle W\in S_{+}^{d}}$ ${\displaystyle W=L^{\top }L}$ ${\displaystyle L\in R^{e\times d}}$ ${\displaystyle e\geq rank(W)}$ ${\displaystyle D_{W}}$ ${\displaystyle D_{W}(x_{1},x_{2})^{2}=(x_{1}-x_{2})^{\top }L^{\top }L(x_{1}-x_{2})=\|L(x_{1}-x_{2})\|_{2}^{2}}$ ${\displaystyle D_{W}(x_{1},x_{2})^{2}=\|x_{1}'-x_{2}'\|_{2}^{2}}$ ${\displaystyle x_{1}'=Lx_{1}}$ ${\displaystyle x_{2}'=Lx_{2}}$

Было предложено множество формулировок для метрического обучения. ^{[4] [5]} Некоторые хорошо известные подходы к обучению метрике включают обучение на основе относительных сравнений, ^[6] которое основано на триплетной потере , ближайшем соседе с большим запасом , ^[7] и теоретико-информационном метрическом обучении (ITML). ^[8]

В статистике ковариационная матрица данных иногда используется для определения метрики расстояния, называемой расстоянием Махаланобиса .

Приложения

Обучение по сходству используется при поиске информации для обучения ранжированию , при проверке лица или идентификации лица, ^{[9] [10]} и в рекомендательных системах . Кроме того, многие подходы к машинному обучению полагаются на некоторые метрики. Сюда входит обучение без учителя , такое как кластеризация , при которой группируются близкие или похожие объекты. Он также включает в себя контролируемые подходы, такие как алгоритм K-ближайшего соседа , который опирается на метки близлежащих объектов для принятия решения о метке нового объекта. Обучение метрике было предложено в качестве этапа предварительной обработки для многих из этих подходов. ^[11]

Масштабируемость

Обучение метрике и подобию наивно масштабируется квадратично в зависимости от размера входного пространства, что легко увидеть, когда изученная метрика имеет билинейную форму . Масштабирование до более высоких размерностей может быть достигнуто путем применения структуры разреженности к матричной модели, как это сделано в HDSL ^[12] и COMET. ^[13] ${\displaystyle f_{W}(x,z)=x^{T}Wz}$

Программное обеспечение

• metric-learn ^[14] — это бесплатная программная библиотека Python, которая предлагает эффективные реализации нескольких контролируемых и слабоконтролируемых алгоритмов обучения сходству и метрике. API metric-learn совместим с scikit-learn . ^[15]

• OpenMetricLearning ^[16] — это среда Python для обучения и проверки моделей, обеспечивающих высококачественное внедрение.

Дальнейшая информация

Для получения дополнительной информации по этой теме см. обзоры по метрическому и подобному обучению, проведенные Bellet et al. ^[4] и Кулис. ^[5]

Смотрите также

• Метод ядра
• Скрытый семантический анализ
• Учимся ранжировать

Рекомендации

1. Чечик, Г.; Шарма, В.; Шалит, У.; Бенджио, С. (2010). «Крупномасштабное онлайн-обучение сходству изображений посредством ранжирования» (PDF) . Журнал исследований машинного обучения . 11 : 1109–1135.
2. Гионис, Аристидес, Петр Индик и Раджив Мотвани. «Поиск сходства в больших измерениях посредством хеширования». ВЛДБ. Том. 99. № 6. 1999.
3. Раджараман, А.; Ульман, Дж. (2010). «Анализ огромных наборов данных, глава 3».
4. Беллет, А.; Хабрард, А.; Себбан, М. (2013). «Опрос по метрическому обучению векторов признаков и структурированных данных». arXiv : 1306.6709 [cs.LG].
5. Кулис, Б. (2012). «Метричное обучение: опрос». Основы и тенденции машинного обучения . 5 (4): 287–364. дои : 10.1561/2200000019.
6. Шульц, М.; Иоахимс, Т. (2004). «Изучение метрики расстояния на основе относительных сравнений» (PDF) . Достижения в области нейронных систем обработки информации . 16 : 41–48.
7. Вайнбергер, KQ; Блитцер, Джей Си; Саул, ЛК (2006). «Дистанционное метрическое обучение для классификации ближайших соседей с большим запасом» (PDF) . Достижения в области нейронных систем обработки информации . 18 : 1473–1480.
8. Дэвис, СП; Кулис, Б.; Джайн, П.; Сра, С.; Диллон, Исландия (2007). «Информационно-метрическое обучение». Международная конференция по машинному обучению (ICML) : 209–216.
9. Гийомен, М.; Вербек, Дж.; Шмид, К. (2009). «Это вы? Подходы к метрическому обучению для идентификации лиц» (PDF) . Международная конференция IEEE по компьютерному зрению (ICCV) .
10. Миньон, А.; Джури, Ф. (2012). «PCCA: новый подход к дистанционному обучению на основе разреженных парных ограничений» (PDF) . Конференция IEEE по компьютерному зрению и распознаванию образов .
11. Син, EP; Нг, АЙ; Джордан, Мичиган; Рассел, С. (2002). «Дистанционное метрическое обучение с применением к кластеризации с дополнительной информацией» (PDF) . Достижения в области нейронных систем обработки информации . 15 : 505–512.
12. Лю; Беллет; Ша (2015). «Обучение по подобию для многомерных разреженных данных» (PDF) . Международная конференция по искусственному интеллекту и статистике (AISTATS) . arXiv : 1411.2374 . Бибкод : 2014arXiv1411.2374L.
13. Ацмон; Шалит; Чечик (2015). «Изучение разреженных метрик, по одной функции за раз» (PDF) . Дж. Мах. Учиться. Исследования (JMLR) .
14. https://github.com/scikit-learn-contrib/metric-learn
15. Вазельес; Кэри; Тан; Вокье; Беллет (2020). «metric-learn: алгоритмы обучения метрикам в Python» (PDF) . Дж. Мах. Учиться. Исследования (JMLR) . arXiv : 1908.04710 .
16. https://github.com/OML-Team/open-metric-learning