stringtranslate.com

Трансферное обучение

Иллюстрация трансферного обучения

Трансферное обучение ( TL ) — это метод машинного обучения (ML), при котором знания, полученные в результате выполнения задачи, повторно используются для повышения производительности связанной задачи. [1] Например, для классификации изображений знания, полученные при обучении распознаванию автомобилей, можно применить при попытке распознавать грузовики. Эта тема связана с психологической литературой по передаче обучения , хотя практические связи между этими двумя областями ограничены. Повторное использование/перенос информации из ранее изученных задач в новые задачи может значительно повысить эффективность обучения. [2]

Поскольку в трансферном обучении используется обучение с множеством целевых функций, оно связано с экономически чувствительным машинным обучением и многоцелевой оптимизацией . [3]

История

В 1976 году Божиновский и Фулгози опубликовали статью, посвященную трансферному обучению при обучении нейронных сетей . [4] [5] В статье представлена ​​математическая и геометрическая модель темы. В 1981 году в отчете рассматривалось применение трансферного обучения к набору изображений, представляющих буквы компьютерных терминалов, экспериментально демонстрируя положительное и отрицательное трансферное обучение. [6]

В 1992 году Пратт сформулировал алгоритм передачи на основе различимости (DBT). [7]

В 1997 году Пратт и Трун выступили приглашенными редакторами специального выпуска журнала « Машинное обучение» , посвященного трансферному обучению [8] , а к 1998 году эта область продвинулась вперед и включила в себя многозадачное обучение [9] наряду с более формальными теоретическими основами. [10] «Учимся учиться» , [11] под редакцией Труна и Пратта, представляет собой обзор этой темы 1998 года.

Трансферное обучение применяется в когнитивной науке . Пратт был приглашенным редактором выпуска журнала Connection Science о повторном использовании нейронных сетей посредством передачи в 1996 году. [12]

В своем руководстве NIPS 2016 Нг сказал [13] [14] [15] , что TL станет следующим драйвером коммерческого успеха машинного обучения после обучения с учителем .

В статье 2020 года «Переосмысление предварительной подготовки и самоподготовки» [16] Zoph et al. сообщили, что предварительная тренировка может повредить точности, и вместо этого рекомендуют самообучение.

Приложения

Доступны алгоритмы трансферного обучения в логических сетях Маркова [17] и байесовских сетях . [18] Трансферное обучение применялось для обнаружения подтипов рака, [19] использования зданий , [20] [21] общих игр , [22] классификации текста , [23] [24] распознавания цифр, [25] медицинских изображений и фильтрация спама . [26]

В 2020 году было обнаружено, что из-за их схожей физической природы возможно перенос обучения между электромиографическими (ЭМГ) сигналами от мышц и классификацией поведения электроэнцефалографических (ЭЭГ) мозговых волн из области распознавания жестов в область распознавания психического состояния. . Было отмечено, что эта связь работает в обоих направлениях, показывая, что электроэнцефалографию также можно использовать для классификации ЭМГ. [27] В экспериментах было отмечено, что точность нейронных сетей и сверточных нейронных сетей была улучшена [28] за счет трансферного обучения как до любого обучения (по сравнению со стандартным случайным распределением весов), так и в конце процесса обучения (асимптота). То есть результаты улучшаются за счет воздействия на другую область. Более того, конечный пользователь предварительно обученной модели может изменить структуру полностью связанных слоев для повышения производительности. [29]

Программное обеспечение

Трансферное обучение и адаптация предметной области

Было реализовано несколько компиляций алгоритмов трансферного обучения и адаптации предметной области:

Смотрите также

Рекомендации

  1. ^ Уэст, Джереми; Вентура, Дэн; Варник, Шон (2007). «Презентация весеннего исследования: теоретическая основа индуктивного переноса». Университет Бригама Янга, Колледж физико-математических наук. Архивировано из оригинала 1 августа 2007 г. Проверено 5 августа 2007 г.
  2. ^ Джордж Каримпанал, Томмен; Буффанае, Роланд (2019). «Самоорганизующиеся карты для хранения и передачи знаний в обучении с подкреплением». Адаптивное поведение . 27 (2): 111–126. arXiv : 1811.08318 . дои : 10.1177/1059712318818568. ISSN  1059-7123. S2CID  53774629.
  3. ^ Экономически чувствительное машинное обучение. (2011). США: CRC Press, стр. 63, https://books.google.de/books?id=8TrNBQAAQBAJ&pg=PA63.
  4. ^ Стево. Божиновски и Анте Фулгоши (1976). «Влияние сходства шаблонов и трансферного обучения на обучение базового перцептрона B2». (оригинал на хорватском языке) Труды Symposium Informatica 3-121-5, Блед.
  5. ^ Стево Божиновски (2020) «Напоминание о первой статье о трансферном обучении в нейронных сетях, 1976 г.». Информатика 44: 291–302.
  6. ^ С. Божиновский (1981). «Обучающее пространство: концепция представления адаптивной классификации шаблонов». Технический отчет COINS, Массачусетский университет в Амхерсте, № 81-28 [доступно онлайн: UM-CS-1981-028.pdf]
  7. ^ Пратт, Л.Ю. (1992). «Передача между нейронными сетями на основе различимости» (PDF) . Конференция NIPS: Достижения в области нейронных систем обработки информации 5. Издательство Morgan Kaufmann. стр. 204–211.
  8. ^ Пратт, Луизиана; Трун, Себастьян (июль 1997 г.). «Машинное обучение — специальный выпуск об индуктивной передаче». ссылка.springer.com . Спрингер . Проверено 10 августа 2017 г.
  9. ^ Каруана, Р., «Многозадачное обучение», стр. 95–134 в Thrun & Pratt, 2012 г.
  10. ^ Бакстер, Дж., «Теоретические модели обучения обучению», стр. 71-95, Thrun & Pratt, 2012.
  11. ^ Трун и Пратт 2012.
  12. ^ Пратт, Л. (1996). «Специальный выпуск: повторное использование нейронных сетей посредством передачи». Наука о связях . 8 (2) . Проверено 10 августа 2017 г.
  13. ^ Учебное пособие NIPS 2016: «Основы создания приложений искусственного интеллекта с использованием глубокого обучения», Эндрю Нг, заархивировано из оригинала 19 декабря 2021 г. , получено 28 декабря 2019 г.
  14. ^ «Расписание NIPS 2016» . nips.cc. ​Проверено 28 декабря 2019 г.
  15. ^ Основы создания приложений искусственного интеллекта с использованием глубокого обучения, слайды.
  16. ^ Зоф, Баррет (2020). «Переосмысление предварительной тренировки и самотренировки» (PDF) . Достижения в области нейронных систем обработки информации . 33 : 3833–3845. arXiv : 2006.06882 . Проверено 20 декабря 2022 г.
  17. ^ Михалкова, Лилиана; Хюинь, Туен; Муни, Рэймонд Дж. (июль 2007 г.), «Картирование и пересмотр марковских логических сетей для передачи» (PDF) , Учебные материалы 22-й конференции AAAI по искусственному интеллекту (AAAI-2007) , Ванкувер, Британская Колумбия, стр. 608–614 , получено 5 августа 2007 г.{{citation}}: CS1 maint: отсутствует местоположение издателя ( ссылка )
  18. ^ Никулеску-Мизил, Александру; Каруана, Рич (21–24 марта 2007 г.), «Индуктивный перенос для обучения структуре байесовской сети» (PDF) , Материалы одиннадцатой Международной конференции по искусственному интеллекту и статистике (AISTATS 2007) , получено 5 августа 2007 г.
  19. ^ Хаджирамезанали, Э. и Дадане, С.З., Карбалайгарех, А., Чжоу, З. и Цянь, X. Байесовское многодоменное обучение для обнаружения подтипов рака на основе данных подсчета секвенирования следующего поколения. 32-я конференция по нейронным системам обработки информации (NeurIPS 2018), Монреаль, Канада. arXiv : 1810.09433
  20. ^ Ариеф-Анг, IB; Салим, Флорида; Гамильтон, М. (08 ноября 2017 г.). DA-HOC: адаптация полуконтролируемой области для прогнозирования занятости помещений с использованием данных датчика CO2. 4-я Международная конференция ACM по системам энергоэффективной застроенной среды (BuildSys). Делфт, Нидерланды. стр. 1–10. дои : 10.1145/3137133.3137146. ISBN 978-1-4503-5544-5.
  21. ^ Ариеф-Анг, IB; Гамильтон, М.; Салим, федеральный округ (01 декабря 2018 г.). «Масштабируемый прогноз занятости помещения с переносимым разложением временных рядов данных датчика CO2». Транзакции ACM в сенсорных сетях . 14 (3–4): 21:1–21:28. дои : 10.1145/3217214. S2CID  54066723.
  22. ^ Банерджи, Бикрамджит и Питер Стоун. «Общее игровое обучение с использованием передачи знаний». IJCAI. 2007.
  23. ^ До, Чуонг Б.; Нг, Эндрю Ю. (2005). «Перенос обучения для классификации текста». Фонд систем нейронной обработки информации, NIPS*2005 (PDF) . Проверено 5 августа 2007 г.
  24. ^ Раджат, Райна; Нг, Эндрю Ю.; Коллер, Дафна (2006). «Построение информативных априорных данных с использованием трансферного обучения». Двадцать третья международная конференция по машинному обучению (PDF) . Проверено 5 августа 2007 г.
  25. ^ Майтра, Д.С.; Бхаттачарья, У.; Паруи, СК (август 2015 г.). «Общий подход на основе CNN к распознаванию рукописных символов в нескольких сценариях». 2015 13-я Международная конференция по анализу и распознаванию документов (ICDAR) . стр. 1021–1025. дои : 10.1109/ICDAR.2015.7333916. ISBN 978-1-4799-1805-8. S2CID  25739012.
  26. ^ Бикель, Штеффен (2006). «Обзор ECML-PKDD Discovery Challenge 2006». Семинар ECML-PKDD Discovery Challenge (PDF) . Проверено 5 августа 2007 г.
  27. ^ Берд, Джордан Дж.; Кобыларз, Джонатан; Фариа, Диего Р.; Экарт, Анико; Рибейро, Эдуардо П. (2020). «Междоменное обучение MLP и CNN для обработки биологических сигналов: ЭЭГ и ЭМГ». Доступ IEEE . 8 . Институт инженеров по электротехнике и электронике (IEEE): 54789–54801. дои : 10.1109/access.2020.2979074 . ISSN  2169-3536.
  28. ^ Майтра, Дурджой Сен; Бхаттачарья, Уджвал; Паруи, Свапан К. (август 2015 г.). «Общий подход на основе CNN к распознаванию рукописных символов в нескольких сценариях». 2015 13-я Международная конференция по анализу и распознаванию документов (ICDAR) . стр. 1021–1025. дои : 10.1109/ICDAR.2015.7333916. ISBN 978-1-4799-1805-8. S2CID  25739012.
  29. ^ Кабир, Его Величество Дипу; Абдар, Молуд; Джалали, Сейед Мохаммад Джафар; Хосрави, Аббас; Атия, Амир Ф.; Нахаванди, Саид; Шринивасан, Дипти (7 января 2022 г.). «SpinalNet: глубокая нейронная сеть с постепенным вводом». Транзакции IEEE по искусственному интеллекту : 1–13. arXiv : 2007.03347 . дои : 10.1109/TAI.2022.3185179. S2CID  220381239.
  30. ^ де Мателин, Антуан и Дехигер, Франсуа и Ришар, Гийом и Мужо, Матильда и Ваятис, Николя (2020) «ADAPT: потрясающий набор инструментов Python для адаптации домена»
  31. ^ Миншэн Лун Цзюньгуан Цзян, Бо Фу. (2020) «Библиотека трансферного обучения»
  32. ^ Ке Ян. (2016) «Инструментарий для адаптации предметной области»

Источники