stringtranslate.com

Самоорганизующаяся карта

Самоорганизующаяся карта ( SOM ) или самоорганизующаяся карта объектов ( SOFM ) — это метод машинного обучения без учителя , используемый для создания низкомерного (обычно двумерного) представления набора данных более высокой размерности при сохранении топологической структуры данные. Например, набор данных с переменными, измеренными в наблюдениях, может быть представлен как кластеры наблюдений со схожими значениями переменных. Эти кластеры затем можно визуализировать как двумерную «карту», ​​так что наблюдения в проксимальных кластерах имеют более схожие значения, чем наблюдения в дистальных кластерах. Это может облегчить визуализацию и анализ многомерных данных.

SOM — это тип искусственной нейронной сети , но она обучается с использованием конкурентного обучения, а не обучения с коррекцией ошибок (например, обратного распространения ошибки с градиентным спуском ), используемого другими искусственными нейронными сетями. SOM была представлена ​​финским профессором Теуво Кохоненом в 1980-х годах и поэтому иногда называется картой Кохонена или сетью Кохонена . [1] [2] Карта или сеть Кохонена представляет собой удобную в вычислительном отношении абстракцию, основанную на биологических моделях нейронных систем 1970-х годов [3] и моделях морфогенеза , восходящих к Алану Тьюрингу в 1950-х годах. [4] СОМ создают внутренние представления, напоминающие кортикального гомункула , [5] искаженное представление человеческого тела , основанное на неврологической «карте» областей и пропорций человеческого мозга , предназначенных для обработки сенсорных функций , для различных частей тело.

Самоорганизующаяся карта, показывающая схемы голосования в Конгрессе США . Входные данные представляли собой таблицу со строкой для каждого члена Конгресса и столбцами для определенных голосов, содержащими голоса «да», «нет» или «воздержался» каждого члена. Алгоритм SOM ​​расположил эти элементы в двумерной сетке, расположив похожие элементы ближе друг к другу. Первый график показывает группировку, когда данные разделены на два кластера. Второй график показывает среднее расстояние до соседей: чем больше расстояние, тем темнее. Третий график предсказывает членство в партии Республиканской (красный) или Демократической (синий). Остальные графики накладываются на результирующую карту с прогнозируемыми значениями входного измерения: красный цвет означает прогнозируемое голосование «за» по этому законопроекту, синий означает голосование «против». Сюжет создан в Synapse .

Обзор

Самоорганизующиеся карты, как и большинство искусственных нейронных сетей, работают в двух режимах: обучение и картирование. Во-первых, при обучении используется набор входных данных («входное пространство») для создания низкоразмерного представления входных данных («пространство карты»). Во-вторых, сопоставление классифицирует дополнительные входные данные с помощью сгенерированной карты.

В большинстве случаев цель обучения — представить входное пространство с p измерениями как пространство карты с двумя измерениями. В частности, говорят, что входное пространство с p переменными имеет p измерений. Пространство карты состоит из компонентов, называемых «узлами» или «нейронами», которые расположены в виде шестиугольной или прямоугольной сетки с двумя измерениями. [6] Количество узлов и их расположение определяются заранее, исходя из более крупных целей анализа и исследования данных .

Каждый узел в пространстве карты связан с вектором «веса», который является положением узла во входном пространстве. Пока узлы в пространстве карты остаются фиксированными, обучение заключается в перемещении весовых векторов к входным данным (уменьшение метрики расстояния, такой как евклидово расстояние ), без нарушения топологии, индуцированной из пространства карты. После обучения карту можно использовать для классификации дополнительных наблюдений для входного пространства путем нахождения узла с ближайшим весовым вектором (метрикой наименьшего расстояния) к вектору входного пространства.

Алгоритм обучения

Цель обучения на самоорганизующейся карте — заставить разные части сети одинаково реагировать на определенные входные шаблоны. Частично это мотивировано тем, как визуальная, слуховая или другая сенсорная информация обрабатывается в отдельных частях коры головного мозга человека . [7]

Иллюстрация обучения самоорганизующейся карты. Синяя капля — это распределение обучающих данных, а маленький белый диск — текущие данные обучения, полученные на основе этого распределения. Сначала (слева) узлы SOM произвольно расположены в пространстве данных. Выбирается узел (выделен желтым), ближайший к обучающим данным. Он перемещается к тренировочному элементу, как и (в меньшей степени) его соседи по сетке. После многих итераций сетка стремится аппроксимировать распределение данных (справа).

Веса нейронов инициализируются либо небольшими случайными значениями, либо равномерно выбираются из подпространства, охватываемого двумя крупнейшими собственными векторами главных компонент . В последнем варианте обучение происходит намного быстрее, поскольку начальные веса уже дают хорошее приближение к весам SOM. [8]

В сеть должно быть передано большое количество примеров векторов, которые как можно ближе представляют типы векторов, ожидаемые во время картирования. Примеры обычно выполняются несколько раз в виде итераций.

В обучении используется соревновательное обучение . Когда обучающий пример подается в сеть, вычисляется его евклидово расстояние до всех весовых векторов. Нейрон, весовой вектор которого наиболее похож на входной, называется единицей наилучшего соответствия (BMU). Веса BMU и близких к нему нейронов в сетке SOM подстраиваются под входной вектор. Величина изменения уменьшается со временем и по мере удаления от BMU. Формула обновления для нейрона v с весовым вектором W v (s) имеет вид

,

где s — индекс шага, t — индекс в обучающей выборке, u — индекс BMU для входного вектора D ( t ), α ( s ) — монотонно убывающий коэффициент обучения; θ ( u , v , s ) — функция окрестности , которая определяет расстояние между нейроном u и нейроном v на шаге s . [9] В зависимости от реализации t может систематически сканировать набор обучающих данных ( t равно 0, 1, 2... T -1, затем повторять, T — размер обучающей выборки), быть случайным образом выбранным из набора данных ( загрузочная выборка ) или реализовать какой-либо другой метод выборки (например, складной нож ).

Функция соседства θ ( u , v , s ) (также называемая функцией латерального взаимодействия ) зависит от расстояния в сетке между BMU (нейроном u ) и нейроном v . В простейшей форме это 1 для всех нейронов, достаточно близких к BMU, и 0 для остальных, но функции Гаусса и мексиканской шляпы [10] также являются распространенным выбором. Независимо от функциональной формы функция окрестности сжимается со временем. [7] Вначале, когда соседство широкое, самоорганизация происходит в глобальном масштабе. Когда окрестности сжимаются до пары нейронов, веса приближаются к локальным оценкам. В некоторых реализациях коэффициент обучения α и функция соседства θ постепенно уменьшаются с увеличением s , в других (в частности, в тех, где t сканирует набор обучающих данных) они уменьшаются ступенчато, через каждые T шагов.

Процесс обучения СОМ на двумерном наборе данных

Этот процесс повторяется для каждого входного вектора в течение (обычно большого) количества циклов λ . В конечном итоге сеть связывает выходные узлы с группами или шаблонами во входном наборе данных. Если этим шаблонам можно дать имена, эти имена можно присвоить соответствующим узлам в обученной сети.

Во время сопоставления будет один нейрон- победитель : нейрон, весовой вектор которого находится ближе всего к входному вектору. Это можно просто определить, вычислив евклидово расстояние между входным вектором и вектором веса.

Хотя в этой статье было подчеркнуто представление входных данных в виде векторов, любой тип объекта, который может быть представлен в цифровом виде, с которым связана соответствующая мера расстояния и в котором возможны необходимые операции для обучения, может быть использован для построения собственного -организация карты. Сюда входят матрицы, непрерывные функции и даже другие самоорганизующиеся карты.

Алгоритм

  1. Рандомизировать векторы весов узлов на карте
  2. Для
    1. Случайным образом выберите входной вектор
    2. Найдите узел на карте, ближайший к входному вектору. Этот узел является блоком наилучшего согласования (BMU). Обозначим его через
    3. Для каждого узла обновите его вектор, приблизив его к входному вектору:

Имена переменных означают следующее, векторы выделены жирным шрифтом:

Ключевыми решениями при проектировании являются форма SOM, функция соседства и график скорости обучения. Идея функции соседства состоит в том, чтобы сделать так, чтобы BMU обновлялся больше всего, его непосредственные соседи обновлялись немного меньше и так далее. Идея графика скорости обучения состоит в том, чтобы сделать так, чтобы обновления карт были большими в начале и постепенно прекращали обновление.

Например, если мы хотим изучить SOM, используя квадратную сетку, мы можем проиндексировать ее, используя, где оба . Функция соседства может сделать так, что BMU обновляется полностью, ближайшие соседи обновляются наполовину, а их соседи обновляются снова наполовину и т. д.

Обратите внимание, в частности, что скорость обновления не зависит от того, где находится точка в евклидовом пространстве, а только от того, где она находится в самой SOM. Например, точки расположены близко на SOM, поэтому они всегда будут обновляться одинаковым образом, даже если они находятся далеко друг от друга в евклидовом пространстве. Напротив, даже если точки в конечном итоге перекрывают друг друга (например, если SOM выглядит как сложенное полотенце), они все равно не обновляются одинаковым образом.

Альтернативный алгоритм

  1. Рандомизировать весовые векторы узлов карты
  2. Пройдите каждый входной вектор во входном наборе данных
    1. Обход каждого узла на карте
      1. Используйте формулу евклидова расстояния , чтобы найти сходство между входным вектором и весовым вектором узла карты.
      2. Отслеживайте узел, который дает наименьшее расстояние (этот узел является наиболее подходящей единицей, BMU).
    2. Обновите узлы в окрестностях BMU (включая сам BMU), подтянув их ближе к входному вектору.
  3. Увеличьте и повторите, начиная с шага 2, пока

Параметры инициализации

Выбор начальных весов как хороших аппроксимаций конечных весов является хорошо известной проблемой для всех итерационных методов искусственных нейронных сетей, включая самоорганизующиеся карты. Кохонен первоначально предложил случайное инициирование весов. [11] (Этот подход отражен в описанных выше алгоритмах.) В последнее время благодаря точной воспроизводимости результатов стала популярной инициализация главных компонентов, при которой начальные веса карты выбираются из пространства первых главных компонент. [12]

Картографическое представление самоорганизующейся карты ( U-Matrix ) на основе данных избранных статей Википедии (частота слов). Расстояние обратно пропорционально сходству. «Горы» — это края между кластерами. Красные линии — это ссылки между статьями.

Однако тщательное сравнение случайной инициализации с инициализацией главного компонента для одномерной карты показало, что преимущества инициализации главного компонента не универсальны. Лучший метод инициализации зависит от геометрии конкретного набора данных. Инициализация главного компонента была предпочтительнее (для одномерной карты), когда главная кривая, аппроксимирующая набор данных, могла быть однолистно и линейно спроецирована на первый главный компонент (квазилинейные множества). Однако для нелинейных наборов данных случайное инициирование работало лучше. [13]

Интерпретация

Одномерный SOM в сравнении с анализом главных компонентов (PCA) для аппроксимации данных. СОМ — красная ломаная линия с квадратами, 20 узлов. Первая главная компонента представлена ​​синей линией. Точки данных — это маленькие серые кружки. Для PCA необъяснимая в этом примере доля дисперсии составляет 23,23%, для SOM — 6,86%. [14]

Есть два способа интерпретировать SOM. Поскольку на этапе обучения веса всего окружения перемещаются в одном направлении, одинаковые элементы имеют тенденцию возбуждать соседние нейроны. Таким образом, SOM формирует семантическую карту, на которой похожие образцы отображаются близко друг к другу, а разнородные — друг от друга. Это можно визуализировать с помощью U-матрицы (евклидова расстояния между весовыми векторами соседних ячеек) SOM. [15] [16] [17]

Другой способ — думать о весах нейронов как об указателях на входное пространство. Они образуют дискретную аппроксимацию распределения обучающих выборок. Большее количество нейронов указывает на области с высокой концентрацией обучающей выборки и меньшее количество — на области с ее недостатком.

SOM можно рассматривать как нелинейное обобщение анализа главных компонентов (PCA). [18] С использованием как искусственных, так и реальных геофизических данных было показано, что SOM имеет много преимуществ [19] [20] по сравнению с традиционными методами извлечения признаков , такими как эмпирические ортогональные функции (EOF) или PCA.

Первоначально SOM не был сформулирован как решение задачи оптимизации. Тем не менее, было предпринято несколько попыток изменить определение SOM и сформулировать задачу оптимизации, которая дает аналогичные результаты. [21] Например, эластичные карты используют механическую метафору упругости для аппроксимации главных многообразий : [22] аналогия - эластичная мембрана и пластина.

Примеры

Альтернативные подходы

Смотрите также

дальнейшее чтение

Рекомендации

  1. ^ Кохонен, Теуво; Хонкела, Тимо (2007). «Сеть Кохонена». Схоларпедия . 2 (1): 1568. Бибкод : 2007SchpJ...2.1568K. doi : 10.4249/scholarpedia.1568 .
  2. ^ Кохонен, Теуво (1982). «Самоорганизованное формирование топологически правильных карт признаков». Биологическая кибернетика . 43 (1): 59–69. дои : 10.1007/bf00337288. S2CID  206775459.
  3. ^ Фон дер Мальсбург, C (1973). «Самоорганизация ориентационно-чувствительных клеток в полосатой коре». Кибернетик . 14 (2): 85–100. дои : 10.1007/bf00288907. PMID  4786750. S2CID  3351573.
  4. ^ Тьюринг, Алан (1952). «Химические основы морфогенеза». Фил. Пер. Р. Сок . 237 (641): 37–72. Бибкод : 1952RSPTB.237...37T. дои : 10.1098/rstb.1952.0012.
  5. ^ «Гомункул | Значение и определение в британском английском | Lexico.com» . Лексико-словари | Английский . Архивировано из оригинала 18 мая 2021 года . Проверено 6 февраля 2022 г.
  6. Яакко Холлмен (9 марта 1996 г.). «Самоорганизующаяся карта (СОМ)». Университет Аалто .
  7. ^ Аб Хайкин, Саймон (1999). «9. Самоорганизующиеся карты». Нейронные сети. Комплексная основа (2-е изд.). Прентис-Холл. ISBN 978-0-13-908385-3.
  8. ^ Кохонен, Теуво (2005). «Введение в СОМ». Панель инструментов СОМ . Проверено 18 июня 2006 г.
  9. ^ Кохонен, Теуво; Хонкела, Тимо (2011). «Сеть Кохонена». Схоларпедия . 2 (1): 1568. Бибкод : 2007SchpJ...2.1568K. doi : 10.4249/scholarpedia.1568 .
  10. ^ Вриз, О.Дж. (1995). «Сеть Кохонена» (PDF) . Искусственные нейронные сети . Конспекты лекций по информатике. Том. 931. Лимбургский университет, Маастрихт. стр. 83–100. дои : 10.1007/BFb0027024. ISBN 978-3-540-59488-8. Проверено 1 июля 2020 г. {{cite book}}: |website=игнорируется ( помощь )
  11. ^ Кохонен, Т. (2012) [1988]. Самоорганизация и ассоциативная память (2-е изд.). Спрингер. ISBN 978-3-662-00784-6.
  12. ^ Чампи, А.; Лешевалье, Ю. (2000). «Кластеризация больших многоуровневых наборов данных: подход, основанный на самоорганизующихся картах Кохонена». В Зигеде, DA; Коморовски Дж.; Зитков, Дж. (ред.). Принципы интеллектуального анализа данных и обнаружения знаний: 4-я Европейская конференция, PKDD 2000, Лион, Франция, 13–16 сентября 2000 г., материалы . Конспекты лекций по информатике. Том. 1910. Спрингер. стр. 353–358. дои : 10.1007/3-540-45372-5_36 . ISBN 3-540-45372-5.
  13. ^ Акиндуко, А.А.; Миркес, Э.М.; Горбань, АН (2016). «SOM: стохастическая инициализация в сравнении с главными компонентами». Информационные науки . 364–365: 213–221. doi :10.1016/j.ins.2015.10.013.
  14. ^ Иллюстрация подготовлена ​​с использованием бесплатного программного обеспечения: Миркес, Евгений М.; Анализ главных компонентов и самоорганизующиеся карты: апплет, Университет Лестера, 2011 г.
  15. ^ Ульч, Альфред; Симон, Х. Питер (1990). «Самоорганизующиеся карты признаков Кохонена для исследовательского анализа данных». В Уидроу, Бернард; Ангениол, Бернар (ред.). Материалы Международной конференции по нейронным сетям (INNC-90), Париж, Франция, 9–13 июля 1990 г. Vol. 1. Дордрехт, Нидерланды: Клувер. стр. 305–308. ISBN 978-0-7923-0831-7.
  16. ^ Ульч, Альфред (2003). U*-Matrix: инструмент для визуализации кластеров в многомерных данных (технический отчет). Кафедра компьютерных наук Марбургского университета. стр. 1–12. 36.
  17. ^ Саадатдуст, Робаб; Сим, Алекс Цзе Хианг; Джафаркарими, Хосейн (2011). «Применение самоорганизующейся карты для открытия знаний на основе данных высшего образования». Исследования и инновации в информационных системах (ICRIIS), Международная конференция 2011 г. по . IEEE. дои : 10.1109/ICRIIS.2011.6125693. ISBN 978-1-61284-294-3.
  18. ^ Инь, Худжун. «Изучение нелинейных главных многообразий с помощью самоорганизующихся отображений». Горбань и др. 2008 год .
  19. ^ Лю, Юнган; Вайсберг, Роберт Х (2005). «Закономерности изменчивости океанских течений на шельфе Западной Флориды с использованием самоорганизующейся карты». Журнал геофизических исследований . 110 (С6): C06003. Бибкод : 2005JGRC..110.6003L. дои : 10.1029/2004JC002786 .
  20. ^ Лю, Юнган; Вайсберг, Роберт Х.; Мурс, Кристофер НК (2006). «Оценка производительности самоорганизующейся карты для извлечения признаков». Журнал геофизических исследований . 111 (С5): C05018. Бибкод : 2006JGRC..111.5018L. дои : 10.1029/2005jc003117 .
  21. ^ Хескес, Том (1999). «Энергетические функции для самоорганизующихся карт». В Охе Эркки; Каски, Сэмюэл (ред.). Карты Кохонена . Эльзевир. стр. 303–315. дои : 10.1016/B978-044450270-4/50024-3. ISBN 978-044450270-4.
  22. ^ Горбань, Александр Н .; Кегль, Балаж; Вунш, Дональд К.; Зиновьев, Андрей, ред. (2008). Основные многообразия для визуализации данных и уменьшения размерности. Конспекты лекций по информатике и инженерии. Том. 58. Спрингер. ISBN 978-3-540-73749-0.
  23. ^ Чжэн, Г.; Вайшнави, В. (2011). «Многомерный подход к определению приоритетов и выбора проектов на основе карты восприятия». Транзакции AIS при взаимодействии человека и компьютера . 3 (2): 82–103. дои : 10.17705/1thci.00028 .
  24. ^ Танер, Монтана; Уоллс, Джей Ди; Смит, М.; Тейлор, Г.; Карр, МБ; Дюма, Д. (2001). «Характеристика резервуара путем калибровки самоорганизующихся кластеров карт». Расширенные тезисы технической программы SEG 2001 . Том. 2001. С. 1552–1555. дои : 10.1190/1.1816406. S2CID  59155082.
  25. ^ Чанг, Уи Ли; Панг, Ли Мэн; Тай, Кай Мэн (март 2017 г.). «Применение самоорганизующейся карты к методологии анализа видов и последствий отказов» (PDF) . Нейрокомпьютинг . 249 : 314–320. doi : 10.1016/j.neucom.2016.04.073.
  26. ^ Пак, Ён-Сык; Тисон, Джульетта; Лек, Сован; Жиродель, Жан-Люк; Косте, Мишель; Дельмас, Франсуа (1 ноября 2006 г.). «Применение самоорганизующейся карты для выбора репрезентативных видов в многомерном анализе: тематическое исследование, определяющее закономерности распространения диатомовых водорослей по Франции». Экологическая информатика . 4-я Международная конференция по экологической информатике. 1 (3): 247–257. doi :10.1016/j.ecoinf.2006.03.005. ISSN  1574-9541.
  27. ^ Йылмаз, Хасан Умиткан; Фуше, Эдуард; Денгиз, Томас; Краус, Лукас; Келес, Доган; Фихтнер, Вольф (01 апреля 2019 г.). «Сокращение временных рядов энергетики для моделей энергетических систем с помощью самоорганизующихся карт». Это – информационные технологии . 61 (2–3): 125–133. doi : 10.1515/itit-2019-0025. ISSN  2196-7032. S2CID  203160544.
  28. ^ Каски, Сэмюэл (1997). «Исследование данных с использованием самоорганизующихся карт». Acta Polytechnica Scandinavica . Серия «Математика, вычислительная техника и менеджмент в инженерном деле». 82 . Эспоо, Финляндия: Финская технологическая академия. ISBN 978-952-5148-13-8.
  29. ^ Алахакун, Д.; Хальгамуге, СК; Сиринивасан, Б. (2000). «Динамические самоорганизующиеся карты с контролируемым ростом для открытия знаний». Транзакции IEEE в нейронных сетях . 11 (3): 601–614. дои : 10.1109/72.846732. ПМИД  18249788.
  30. ^ Лиу, CY; Тай, В.-П. (2000). «Конформность в сети самоорганизации». Искусственный интеллект . 116 (1–2): 265–286. дои : 10.1016/S0004-3702(99)00093-4.
  31. ^ Лиу, CY; Куо, Ю.-Т. (2005). «Конформная самоорганизующаяся карта для многообразия нулевого рода». Визуальный компьютер . 21 (5): 340–353. дои : 10.1007/s00371-005-0290-6. S2CID  8677589.
  32. ^ Шах-Хосейни, Хамед; Сафабахш, Реза (апрель 2003 г.). «ТАСОМ: адаптивная самоорганизующаяся карта нового времени». Транзакции IEEE о системах, человеке и кибернетике. Часть B: Кибернетика . 33 (2): 271–282. дои : 10.1109/tsmcb.2003.810442. ПМИД  18238177.
  33. ^ Шах-Хосейни, Хамед (май 2011 г.). «Адаптивная самоорганизующаяся карта двоичного дерева». Нейрокомпьютинг . 74 (11): 1823–1839. doi : 10.1016/j.neucom.2010.07.037.
  34. ^ Горбань, АН; Зиновьев, А. (2010). «Основные многообразия и графы на практике: от молекулярной биологии к динамическим системам]». Международный журнал нейронных систем . 20 (3): 219–232. arXiv : 1001.1122 . дои : 10.1142/S0129065710002383. PMID  20556849. S2CID  2170982.
  35. ^ Хуа, Х (2016). «Обработка изображений и геометрии с помощью ориентированной и масштабируемой карты». Нейронные сети . 77 : 1–6. doi :10.1016/j.neunet.2016.01.009. ПМИД  26897100.

Внешние ссылки