stringtranslate.com

Оптимизация многозадачности

Многозадачная оптимизация — это парадигма в литературе по оптимизации, которая фокусируется на решении нескольких автономных задач одновременно. [1] [2] Парадигма была вдохновлена ​​устоявшимися концепциями трансферного обучения [3] и многозадачного обучения [4] в предиктивной аналитике .

Основная мотивация многозадачной оптимизации заключается в том, что если задачи оптимизации связаны друг с другом с точки зрения их оптимальных решений или общих характеристик их функциональных ландшафтов [5] , то ход поиска может быть перенесен на другую задачу, что существенно ускорит поиск.

Успех парадигмы не обязательно ограничивается односторонними передачами знаний от более простых к более сложным задачам. На практике попытка заключается в намеренном решении более сложной задачи, которая может непреднамеренно решить несколько более мелких проблем. [6]

Существует прямая связь между многозадачной оптимизацией и многоцелевой оптимизацией . [7]

Методы

Существует несколько распространенных подходов к многозадачной оптимизации: байесовская оптимизация , эволюционные вычисления и подходы, основанные на теории игр . [1]

Многозадачная байесовская оптимизация

Многозадачная байесовская оптимизация — это современный подход на основе моделей, который использует концепцию передачи знаний для ускорения процесса автоматической оптимизации гиперпараметров алгоритмов машинного обучения. [8] Метод строит многозадачную модель гауссовского процесса на основе данных, полученных из различных поисков, выполняемых одновременно. [9] Полученные межзадачные зависимости затем используются для лучшего информирования о последующей выборке возможных решений в соответствующих поисковых пространствах.

Эволюционная многозадачность

Эволюционная многозадачность была исследована как средство использования неявного параллелизма алгоритмов поиска на основе популяции для одновременного выполнения нескольких отдельных задач оптимизации. Сопоставляя все задачи с единым пространством поиска, развивающаяся популяция возможных решений может использовать скрытые связи между ними посредством непрерывного генетического переноса. Это происходит, когда решения, связанные с различными задачами, пересекаются. [2] [10] Недавно были исследованы режимы передачи знаний, которые отличаются от прямого кроссовера решений. [11]

Оптимизация на основе теории игр

Теоретико-игровые подходы к оптимизации многозадачности предлагают рассматривать задачу оптимизации как игру, где каждая задача — это игрок. Все игроки соревнуются через матрицу вознаграждений игры и пытаются достичь решения, которое удовлетворяет всех игроков (все задачи). Этот взгляд дает представление о том, как строить эффективные алгоритмы на основе оптимизации градиентного спуска (GD), что особенно важно для обучения глубоких нейронных сетей . [12] В GD для MTL проблема заключается в том, что каждая задача обеспечивает свои собственные потери, и неясно, как объединить все потери и создать единый унифицированный градиент, что приводит к нескольким различным стратегиям агрегации. [13] [14] [15] Эту проблему агрегации можно решить, определив игровую матрицу, где вознаграждением каждого игрока является соглашение его собственного градиента с общим градиентом, а затем установив общий градиент как кооперативный торг Нэша [16] этой системы.

Приложения

Алгоритмы многозадачной оптимизации охватывают широкий спектр реальных приложений. Недавние исследования подчеркивают потенциал ускорения оптимизации параметров инженерного проектирования путем совместного проведения связанных проектов в многозадачном режиме. [10] В машинном обучении передача оптимизированных функций между связанными наборами данных может повысить эффективность процесса обучения, а также улучшить способность к обобщению изученных моделей. [17] [18] Кроме того, концепция многозадачности привела к достижениям в области автоматической оптимизации гиперпараметров моделей машинного обучения и ансамблевого обучения . [19] [20]

Также сообщалось о приложениях в области облачных вычислений [21], а будущие разработки направлены на облачные сервисы оптимизации по требованию, которые могут обслуживать нескольких клиентов одновременно. [2] [22] Недавние работы дополнительно продемонстрировали приложения в области химии. [23]

Смотрите также

Ссылки

  1. ^ ab Gupta, Abhishek; Ong, Yew-Soon; Feng, Liang (2018). «Insights on Transfer Optimization: Because Experience is the Best Teacher». IEEE Transactions on Emerging Topics in Computational Intelligence . 2 : 51–64. doi : 10.1109/TETCI.2017.2769104. hdl : 10356/147980 . S2CID  11510470.
  2. ^ abc Gupta, Abhishek; Ong, Yew-Soon; Feng, Liang (2016). «Многофакторная эволюция: к эволюционной многозадачности». IEEE Transactions on Evolutionary Computation . 20 (3): 343–357. doi : 10.1109/TEVC.2015.2458037. hdl : 10356/148174 . S2CID  13767012.
  3. ^ Пан, Синно Цзялинь; Ян, Цян (2010). «Обзор трансферного обучения». Труды IEEE по инжинирингу знаний и данных . 22 (10): 1345–1359. doi :10.1109/TKDE.2009.191. S2CID  740063.
  4. ^ Каруана, Р., «Многозадачное обучение», стр. 95-134 в Sebastian Thrun, Lorien Pratt (ред.) Learning to Learn , (1998) Springer ISBN 9780792380474 
  5. ^ Ченг, Мэй-Ин; Гупта, Абхишек; Онг, Ю-Сун; Ни, Чжи-Вэй (2017). «Коэволюционная многозадачность для параллельной глобальной оптимизации: с примерами из сложного инженерного проектирования». Инженерные приложения искусственного интеллекта . 64 : 13–24. doi : 10.1016/j.engappai.2017.05.008 . S2CID  13767210.
  6. ^ Каби, Серкан; Серхио Гомес Кольменарехо; Хоффман, Мэтью В.; Денил, Миша; Ван, Зию; Нандо де Фрейтас (2017). «Преднамеренный непреднамеренный агент: обучение решению множества непрерывных задач управления одновременно». arXiv : 1707.03300 [cs.AI].
  7. ^ J. -Y. Li, Z. -H. Zhan, Y. Li и J. Zhang, «Множественные задачи для множественных целей: новый метод многоцелевой оптимизации с помощью многозадачной оптимизации», в IEEE Transactions on Evolutionary Computation, doi :10.1109/TEVC.2023.3294307
  8. ^ Swersky, K., Snoek, J., & Adams, RP (2013). Многозадачная байесовская оптимизация. Достижения в области нейронных систем обработки информации (стр. 2004-2012).
  9. ^ Бонилла, Э. В., Чай, К. М. и Уильямс, К. (2008). Многозадачное предсказание гауссовского процесса. Достижения в области нейронных систем обработки информации (стр. 153-160).
  10. ^ ab Ong, YS, & Gupta, A. (2016). Эволюционная многозадачность: взгляд компьютерной науки на когнитивную многозадачность. Cognitive Computation, 8(2), 125-142.
  11. ^ Фэн, Лян; Чжоу, Лэй; Чжун, Цзинхуэй; Гупта, Абхишек; Онг, Ю-Сун; Тан, Кей-Чен; Цинь, АК (2019). «Эволюционная многозадачность с помощью явного автокодирования». Труды IEEE по кибернетике . 49 (9): 3457–3470. doi :10.1109/TCYB.2018.2845361. PMID  29994415. S2CID  51613697.
  12. ^ Гудфеллоу, Ян; Бенджио, Йошуа; Курвилль, Аарон (2016). Глубокое обучение . MIT Press. ISBN 978-0-262-03561-3.
  13. ^ Лю, Л.; Ли, Ю.; Куанг, З.; Сюэ, Дж.; Чен, Ю.; Ян, В.; Ляо, К.; Чжан, В. (04 мая 2021 г.). «На пути к беспристрастному многозадачному обучению». В: Материалы Международной конференции по обучению представлениям (ICLR 2021). ICLR: Виртуальное мероприятие. (2021) . Проверено 20 ноября 2022 г.
  14. ^ Тианхе, Ю; Саурабх, Кумар; Абишек, Гупта; Сергей , Левин; Кароль, Хаусман; Челси, Финн (2020). «Градиентная хирургия для многозадачного обучения». Достижения в области нейронных систем обработки информации . 33. arXiv : 2001.06782 .
  15. ^ Лю, Бо; Лю, Синчао; Цзинь, Сяоцзе; Стоун, Питер; Лю, Цян (2021-10-26). «Градиентный спуск, не допускающий конфликтов, для многозадачного обучения». arXiv : 2110.14048 [cs.LG].
  16. ^ Авив Навон, Авив Шамсян, Идан Ачитуве, Хаггай Марон, Кенджи Кавагути, Гал Чечик, Итан Фетая (2022). Многозадачное обучение как игра в торг. Международная конференция по машинному обучению.
  17. ^ Чандра, Р., Гупта, А., Онг, YS, и Го, CK (2016, октябрь). Эволюционное многозадачное обучение для модульного обучения нейронных сетей прямого распространения. На Международной конференции по обработке нейронной информации (стр. 37-46). Springer, Cham.
  18. ^ Йосински, Дж., Клун, Дж., Бенгио, Й. и Липсон, Х. (2014). Насколько переносимы признаки в глубоких нейронных сетях? В Advances in neural information processing systems (стр. 3320-3328).
  19. ^ Вэнь, Ю-Вэй; Тин, Чуан-Кан (2016). «Изучение ансамбля деревьев решений посредством многофакторного генетического программирования». Конгресс IEEE по эволюционным вычислениям (CEC) 2016 г. стр. 5293–5300. doi :10.1109/CEC.2016.7748363. ISBN 978-1-5090-0623-6. S2CID  2617811.
  20. ^ Чжан, Боюй; Цинь, АК; Селлис, Тимос (2018). «Генерация эволюционных подпространств признаков для классификации ансамблей». Труды конференции по генетическим и эволюционным вычислениям . стр. 577–584. doi :10.1145/3205455.3205638. ISBN 978-1-4503-5618-3. S2CID  49564862.
  21. ^ Бао, Лян; Ци, Ютао; Шен, Мэнцин; Бу, Сяосюань; Ю, Джушэн; Ли, Цянь; Чен, Пин (2018). «Эволюционный алгоритм многозадачности для построения сервисов облачных вычислений». Услуги – УСЛУГИ 2018 . Конспекты лекций по информатике. Том. 10975. стр. 130–144. дои : 10.1007/978-3-319-94472-2_10. ISBN 978-3-319-94471-5.
  22. ^ Тан, Дж., Чен, И., Дэн, З., Сян, И. и Джой, К. П. (2018). Групповой подход к улучшению многофакторного эволюционного алгоритма. В IJCAI (стр. 3870-3876).
  23. ^ Фелтон, Коби; Вай, Дэниел; Лапкин, Алексей (2021). «Многозадачная байесовская оптимизация химических реакций». chemRxiv . doi :10.26434/chemrxiv.13250216.v2.