Адаптация домена

Область, связанная с машинным обучением и трансферным обучением

Различие между обычным машинным обучением и трансферным обучением , а также позиционирование адаптации предметной области

Адаптация предметной области ^{[1] [2] [3]} — это область, связанная с машинным обучением и трансферным обучением . Этот сценарий возникает, когда мы стремимся изучить модель на основе распределения исходных данных и применить эту модель к другому (но связанному) целевому распределению данных. Например, одна из задач общей задачи фильтрации спама состоит в адаптации модели от одного пользователя (исходная рассылка) к новому пользователю, который получает существенно отличающиеся электронные письма (целевая рассылка). Также было показано, что адаптация предметной области полезна для изучения несвязанных источников. ^[4] Обратите внимание, что когда доступно более одного исходного дистрибутива, проблема называется адаптацией домена с несколькими источниками. ^[5]

Обзор

Адаптация предметной области — это способность применять алгоритм, обученный в одном или нескольких «исходных доменах», к другому (но связанному) «целевому домену». Адаптация предметной области — это подкатегория трансферного обучения. При адаптации предметной области исходный и целевой домены имеют одинаковое пространство объектов (но разные распределения); Напротив, трансферное обучение включает случаи, когда пространство признаков целевого домена отличается от пространства или пространств исходного объекта. ^[6]

Сдвиг домена

Сдвиг домена [ ^7] или сдвиг распределения [ ^8] — это изменение распределения данных между набором обучающих данных алгоритма и набором данных, с которым он сталкивается при развертывании. Эти сдвиги предметной области распространены в практических приложениях искусственного интеллекта. Традиционные алгоритмы машинного обучения часто плохо адаптируются к изменениям в предметной области. Современное сообщество машинного обучения имеет множество различных стратегий, направленных на лучшую адаптацию к предметной области. ^[7]

Примеры

• Алгоритму, обученному на новостных лентах, возможно, придется адаптироваться к новому набору данных биомедицинских документов. ^[9]
• Спам-фильтр, обученный в ходе обучения на определенной группе пользователей электронной почты, при развертывании должен адаптироваться к новому целевому пользователю. ^[10]
• Применение диагностических алгоритмов искусственного интеллекта, обученных на размеченных данных, связанных с предыдущими заболеваниями, к новым неразмеченным данным, связанным с пандемией COVID-19 . ^[11]
• Внезапные социальные изменения, такие как вспышка пандемии, могут представлять собой сдвиг в сфере деятельности и привести к сбою алгоритмов машинного обучения, обученных на уже устаревших данных о потребителях, и потребуется вмешательство. ^{[12] [13]}

Другие приложения включают обнаружение локализации Wi-Fi и многие аспекты компьютерного зрения . ^[6]

Формализация

Пусть это входное пространство (или пространство описания), и пусть это выходное пространство (или пространство меток). Цель алгоритма машинного обучения — изучить математическую модель (гипотезу), способную прикрепить метку от к примеру из . Эта модель изучается на обучающей выборке . ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle h:X\to Y}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle S=\{(x_{i},y_{i})\in (X\times Y)\}_{i=1}^{m}}$

Обычно при обучении с учителем (без адаптации предметной области) мы предполагаем, что примеры взяты из распределения поддержки (неизвестной и фиксированной). Цель состоит в том, чтобы научиться (из ) так, чтобы совершать как можно меньше ошибок при маркировке новых примеров, поступающих из дистрибутива . ${\displaystyle (x_{i},y_{i})\in S}$ ${\displaystyle D_{S}}$ ${\displaystyle X\times Y}$ ${\displaystyle h}$ ${\displaystyle S}$ ${\displaystyle D_{S}}$

Основное различие между обучением с учителем и адаптацией предметной области заключается в том, что в последней ситуации мы изучаем два разных (но связанных) распределения и на ^{[ нужна ссылка ]} . Задача адаптации предметной области тогда состоит в переносе знаний из исходной предметной области в целевую . Затем цель состоит в том, чтобы научиться ^{( на маркированных или немаркированных образцах , поступающих из двух доменов) так ,} чтобы в целевом домене совершалось как можно меньше ошибок . ${\displaystyle D_{S}}$ ${\displaystyle D_{T}}$ ${\displaystyle X\times Y}$ ${\displaystyle D_{S}}$ ${\displaystyle D_{T}}$ ${\displaystyle h}$ ${\displaystyle D_{T}}$

Основная проблема заключается в следующем: если модель изучается из исходной области, какова ее способность правильно маркировать данные, поступающие из целевой области?

Различные типы адаптации домена

Существует несколько контекстов адаптации предметной области. Они различаются информацией, учитываемой для целевой задачи.

1. Адаптация неконтролируемой области : обучающая выборка содержит набор помеченных исходных примеров, набор неразмеченных исходных примеров и набор неразмеченных целевых примеров.
2. Адаптация полуконтролируемой области : в этой ситуации мы также рассматриваем «маленький» набор помеченных целевых примеров.
3. Адаптация контролируемой области : все рассмотренные примеры должны быть помечены.

Четыре алгоритмических принципа

Алгоритмы повторного взвешивания

Цель состоит в том, чтобы повторно взвесить выборку с маркировкой источника так, чтобы она «выглядела» как целевая выборка (с точки зрения рассматриваемой меры ошибки). ^{[14] [15]}

Итерационные алгоритмы

Метод адаптации заключается в итеративном «автоматическом присвоении меток» целевым примерам. ^[16] Принцип прост:

1. модель изучается на размеченных примерах; ${\displaystyle h}$
2. ${\displaystyle h}$автоматически помечает некоторые целевые примеры;
3. новая модель изучается на основе новых помеченных примеров.

Обратите внимание, что существуют и другие итеративные подходы, но для них обычно нужны примеры с пометкой целей. ^{[17] [18]}

Поиск общего пространства представления

Цель состоит в том, чтобы найти или построить общее пространство представления для двух областей. Цель состоит в том, чтобы получить пространство, в котором домены будут расположены близко друг к другу, сохраняя при этом хорошие результаты при выполнении задачи маркировки источника. Этого можно достичь за счет использования методов состязательного машинного обучения , в которых представления функций из образцов в разных областях должны быть неотличимы. ^{[19] [20]}

Иерархическая байесовская модель

Цель состоит в том, чтобы построить байесовскую иерархическую модель , которая по сути является моделью факторизации для подсчетов , для получения зависимых от предметной области скрытых представлений, позволяющих использовать как специфичные для предметной области, так и глобально общие скрытые факторы. ^[4] ${\displaystyle p(n)}$ ${\displaystyle n}$

Программное обеспечение

За последние десятилетия было реализовано несколько компиляций алгоритмов адаптации предметной области и трансферного обучения:

• АДАПТ ^[21] (Python)
• TLlib ^[22] (Python)
• Панель инструментов адаптации предметной области ^[23] (Matlab)

Рекомендации

1. Редько, Евгений; Морвант, Эмили; Хабрар, Амори; Себбан, Марк; Беннани, Юнес (2019). Достижения в области теории адаптации. ИСТЭ Пресс - Эльзевир. п. 187. ИСБН 9781785482366.
2. Уздечка, Джон С.; Кокс, Стивен Дж (1990). «RecNorm: одновременная нормализация и классификация, применяемая к распознаванию речи» (PDF) . Конференция по нейронным системам обработки информации (NIPS) . стр. 234–240.
3. Бен-Давид, Шай; Блитцер, Джон; Краммер, Коби; Кулеша, Алекс; Перейра, Фернандо; Вортман Воан, Дженнифер (2010). «Теория обучения из разных областей» (PDF) . Машинное обучение . 79 (1–2): 151–175. дои : 10.1007/s10994-009-5152-4 .
4. Хаджирамезанали, Эхсан; Сиамак Замани Дадане; Карбалайгарех, Алиреза; Чжоу, Минъюань; Цянь, Сяонин (2018). «Байесовское многодоменное обучение для обнаружения подтипов рака на основе данных подсчета секвенирования следующего поколения». arXiv : 1810.09433 [stat.ML].
5. Краммер, Коби; Кернс, Майкл; Вортман, Дженифер (2008). «Обучение из нескольких источников» (PDF) . Журнал исследований машинного обучения . 9 : 1757–1774.
6. Сунь, Шилян; Ши, Хунлей; Ву, Юаньбинь (июль 2015 г.). «Обзор адаптации домена с несколькими источниками». Информационный синтез . 24 : 84–92. doi :10.1016/j.inffus.2014.12.003. S2CID  18385140.
7. Сунь, Баочен, Цзяши Фэн и Кейт Саенко. «Возвращение удручающе простой адаптации домена». На тридцатой конференции AAAI по искусственному интеллекту. 2016.
8. Амодей, Дарио, Крис Ола, Джейкоб Стейнхардт, Пол Кристиано, Джон Шульман и Дэн Мане. «Конкретные проблемы безопасности ИИ». Препринт arXiv arXiv:1606.06565 (2016).
9. Доме III, Хэл. «Ужасительно простая адаптация домена». Препринт arXiv arXiv:0907.1815 (2009).
10. Бен-Дэвид, Шай, Джон Блитцер, Коби Краммер и Фернандо Перейра. «Анализ представлений для адаптации предметной области». В книге «Достижения в области нейронных систем обработки информации», стр. 137–144. 2007.
11. Ху, Ипэн; Джейкоб, Джозеф; Паркер, Джеффри Дж. М.; Хоукс, Дэвид Дж.; Херст, Джон Р.; Стоянов, Данаил (июнь 2020 г.). «Проблемы внедрения моделей искусственного интеллекта в условиях быстро развивающейся пандемии». Природный машинный интеллект . 2 (6): 298–300. arXiv : 2005.12137 . дои : 10.1038/s42256-020-0185-2 . ISSN  2522-5839.
12. Мэтьюз, Дилан (26 марта 2019 г.). «Катастрофа с искусственным интеллектом не будет похожа на Терминатора. Она будет более жуткой». Вокс . Проверено 21 июня 2020 г.
13. «Наше странное поведение во время пандемии мешает моделям искусственного интеллекта» . Обзор технологий Массачусетского технологического института . 11 мая 2020 г. Проверено 21 июня 2020 г.
14. Хуан, Цзяюань; Смола, Александр Дж.; Греттон, Артур; Боргвардт, Карстер М.; Шёлкопф, Бернхард (2006). «Коррекция систематической ошибки отбора выборки с помощью немаркированных данных» (PDF) . Конференция по нейронным системам обработки информации (NIPS) . стр. 601–608.
15. Симодайра, Хидетоши (2000). «Улучшение прогнозирующего вывода при сдвиге ковариат путем взвешивания логарифмической функции правдоподобия». Журнал статистического планирования и выводов . 90 (2): 227–244. дои : 10.1016/S0378-3758(00)00115-4. S2CID  9238949.
16. Гальего, AJ; Кальво-Сарагоса, Дж.; Фишер, РБ (2020). «Поэтапное доменно-состязательное обучение нейронных сетей без присмотра» (PDF) . Транзакции IEEE в нейронных сетях и системах обучения . ПП (11): 4864–4878. дои : 10.1109/TNNLS.2020.3025954. hdl : 20.500.11820/72ba0443-8a7d-4cdd-8212-38682d4f0730 . PMID  33027004. S2CID  210164756.
17. Ариеф-Анг, IB; Салим, Флорида; Гамильтон, М. (08 ноября 2017 г.). DA-HOC: адаптация полуконтролируемой области для прогнозирования занятости помещений с использованием данных датчика CO2. 4-я Международная конференция ACM по системам энергоэффективной застроенной среды (BuildSys). Делфт, Нидерланды. стр. 1–10. дои : 10.1145/3137133.3137146. ISBN 978-1-4503-5544-5.
18. Ариеф-Анг, IB; Гамильтон, М.; Салим, федеральный округ (01 декабря 2018 г.). «Масштабируемый прогноз занятости помещения с переносимым разложением временных рядов данных датчика CO2». Транзакции ACM в сенсорных сетях . 14 (3–4): 21:1–21:28. дои : 10.1145/3217214. S2CID  54066723.
19. Ганин, Ярослав; Устинова, Евгения; Аджакан, Хана; Жермен, Паскаль; Ларошель, Хьюго; Лавиолетт, Франсуа; Маршан, Марио; Лемпицкий, Виктор (2016). «Доменно-состязательное обучение нейронных сетей» (PDF) . Журнал исследований машинного обучения . 17 :1–35.
20. Хаджирамезанали, Эхсан; Сиамак Замани Дадане; Карбалайгарех, Алиреза; Чжоу, Минъюань; Цянь, Сяонин (2017). «Решение проблемы изменения внешнего вида уличной робототехники с помощью состязательной адаптации домена». arXiv : 1703.01461 [cs.RO].
21. де Мателен, Антуан и Дехигер, Франсуа и Ришар, Гийом и Мужо, Матильда и Ваятис, Николя (2020) «ADAPT: потрясающий набор инструментов Python для адаптации домена»
22. Миншэн Лун Цзюньгуан Цзян, Бо Фу. (2020) «Библиотека трансферного обучения»
23. Ке Ян. (2016) «Инструментарий для адаптации предметной области»