Мультилинейное подпространственное обучение

Подход к снижению размерности

Видео или последовательность изображений, представленная в виде тензора третьего порядка столбец x строка x время для обучения в многолинейном подпространстве.

Мультилинейное подпространственное обучение — это подход к распутыванию причинного фактора формирования данных и выполнению понижения размерности. ^{[1] [2] [3] [4] [5]} Понижение размерности может быть выполнено на тензоре данных , содержащем набор наблюдений, которые были векторизованы, ^[1] или наблюдения, которые рассматриваются как матрицы и объединяются в тензор данных. ^{[6] [7]} Вот несколько примеров тензоров данных, наблюдения которых векторизованы или наблюдения которых представляют собой матрицы, объединенные в изображения тензора данных (2D/3D), видеопоследовательности (3D/4D) и гиперспектральные кубы (3D/4D).

Отображение из многомерного векторного пространства в набор многомерных векторных пространств представляет собой многолинейную проекцию. ^[4] Когда наблюдения сохраняются в той же организационной структуре, что и матрицы или тензоры более высокого порядка, их представления вычисляются путем выполнения линейных проекций в пространство столбцов, пространство строк и пространство волокон. ^[6]

Алгоритмы обучения на основе мультилинейных подпространств представляют собой обобщения более высокого порядка методов обучения на основе линейных подпространств , таких как анализ главных компонент (PCA), анализ независимых компонент (ICA), линейный дискриминантный анализ (LDA) и канонический корреляционный анализ (CCA).

Фон

Мультилинейные методы могут быть по своей природе причинными и выполнять причинно-следственные выводы, или они могут быть простыми методами регрессии, из которых не делается никаких причинно-следственных выводов.

Алгоритмы обучения линейного подпространства являются традиционными методами снижения размерности, которые хорошо подходят для наборов данных, являющихся результатом изменения одного причинного фактора. К сожалению, они часто становятся неадекватными при работе с наборами данных, являющимися результатом нескольких причинных факторов.

Мультилинейное обучение подпространства может быть применено к наблюдениям, измерения которых были векторизованы и организованы в тензор данных для снижения размерности с учетом причин. ^[1] Эти методы также могут быть использованы для снижения горизонтальной и вертикальной избыточности независимо от причинных факторов, когда наблюдения рассматриваются как «матрица» (т. е. набор независимых наблюдений столбцов/строк) и объединяются в тензор. ^{[8] [9]}

Алгоритмы

Многолинейный анализ главных компонент

Исторически многолинейный анализ главных компонент назывался «M-mode PCA», термин, который был придуман Питером Круненбергом. ^[10] В 2005 году Василеску и Терзопулос ввели терминологию многолинейного PCA ^[11] как способ лучше различать многолинейные тензорные разложения, которые вычисляли статистики 2-го порядка, связанные с каждой модой тензора данных, ^{[1] [2] [3] [12] [13]} и последующую работу по многолинейному независимому компонентному анализу ^[11] , которая вычисляла статистики более высокого порядка для каждой моды тензора. MPCA является расширением PCA .

Многолинейный независимый компонентный анализ

Многолинейный независимый компонентный анализ ^[11] является расширением ICA .

Многолинейный линейный дискриминантный анализ

• Многолинейное расширение LDA
  • На основе TTP: Дискриминантный анализ с тензорным представлением (DATER) ^[9]
  • На основе TTP: общий тензорный дискриминантный анализ (GTDA) ^[14]
  • На основе TVP: некоррелированный мультилинейный дискриминантный анализ (UMLDA) ^[15]

Мультилинейный канонический корреляционный анализ

• Многолинейное расширение CCA
  • На основе TTP: тензорный канонический корреляционный анализ (TCCA) ^[16]
  • На основе TVP: мультилинейный канонический корреляционный анализ (MCCA) ^[17]
  • На основе TVP: байесовский мультилинейный канонический корреляционный анализ (BMTF) ^[18]
• TTP — это прямая проекция тензора высокой размерности на тензор низкой размерности того же порядка с использованием N матриц проекций для тензора N -го порядка. Она может быть выполнена за N шагов, каждый из которых выполняет умножение тензора на матрицу (произведение). N шагов являются взаимозаменяемыми. ^[19] Эта проекция является расширением разложения по сингулярным значениям высшего порядка ^[19] (HOSVD) на обучение подпространствам. ^[13] Следовательно, ее происхождение прослеживается до разложения Такера ^[20] в 1960-х годах.

• TVP — это прямая проекция тензора высокой размерности на вектор низкой размерности, которая также называется проекциями ранга один. Поскольку TVP проецирует тензор на вектор, его можно рассматривать как несколько проекций тензора на скаляр. Таким образом, TVP тензора на P -мерный вектор состоит из P проекций тензора на скаляр. Проекция тензора на скаляр является элементарной мультилинейной проекцией (EMP). В EMP тензор проецируется на точку через N единичных векторов проекции. Это проекция тензора на одну линию (результирующая скаляр) с одним вектором проекции в каждой моде. Таким образом, TVP тензорного объекта на вектор в P -мерном векторном пространстве состоит из P EMP. Эта проекция является расширением канонического разложения ^[21], также известного как разложение на параллельные множители (PARAFAC). ^[22]

Типичный подход в MSL

Необходимо решить N наборов параметров, по одному в каждом режиме. Решение одного набора часто зависит от других наборов (за исключением случая N=1 , линейного случая). Поэтому применяется субоптимальная итерационная процедура из ^{[23] .}

1. Инициализация проекций в каждом режиме
2. Для каждого режима фиксируем проекцию во всех других режимах и решаем для проекции в текущем режиме.
3. Выполните оптимизацию по модам в течение нескольких итераций или до достижения сходимости.

Это произошло от метода наименьших квадратов с чередованием для многофакторного анализа данных. ^[10]

Код

• MATLAB Tensor Toolbox от Sandia National Laboratories .
• Алгоритм MPCA, написанный на Matlab (включая MPCA+LDA).
• Алгоритм UMPCA, написанный в Matlab (данные включены).
• Алгоритм UMLDA, написанный в Matlab (данные включены).

Наборы данных тензора

• Данные походки 3D (тензоры третьего порядка): 128x88x20(21,2M); 64x44x20(9,9M); 32x22x10(3,2M);

Смотрите также

• CP-разложение
• Уменьшение размеров
• Полилинейная алгебра
• Многолинейный главный компонентный анализ
• Тензор
• Разложение тензора
• Тензорное программное обеспечение
• разложение Такера

Ссылки

1. MAO Vasilescu, D. Terzopoulos (2003) "Мультилинейный подпространственный анализ ансамблей изображений", "Труды конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'03), Мэдисон, Висконсин, июнь 2003 г."
2. MAO Vasilescu, D. Terzopoulos (2002) "Мультилинейный анализ ансамблей изображений: TensorFaces", Труды 7-й Европейской конференции по компьютерному зрению (ECCV'02), Копенгаген, Дания, май 2002 г.
3. MAO Vasilescu, (2002) «Сигнатуры человеческого движения: анализ, синтез, распознавание», «Труды Международной конференции по распознаванию образов (ICPR 2002), том 3, Квебек, Канада, август 2002 г., 456–460».
4. Василеску, МАО; Терзопулос, Д. (2007). Мультилинейная проекция для распознавания на основе внешнего вида в тензорной структуре . IEEE 11-я Международная конференция по компьютерному зрению . стр. 1–8. doi :10.1109/ICCV.2007.4409067..
5. Лу, Хайпин; Платаниотис, КН; Венецанопулос, А.Н. (2013). Мультилинейное подпространственное обучение: снижение размерности многомерных данных. Chapman & Hall/CRC Press Серия «Машинное обучение и распознавание образов». Тейлор и Фрэнсис. ISBN 978-1-4398572-4-3.
6. Lu, Haiping; Plataniotis, KN; Venetsanopoulos, AN (2011). "Обзор обучения многолинейному подпространству для тензорных данных" (PDF) . Распознавание образов . 44 (7): 1540–1551. Bibcode : 2011PatRe..44.1540L. doi : 10.1016/j.patcog.2011.01.004.
7. X. He, D. Cai, P. Niyogi, Анализ тензорного подпространства, в: Достижения в области нейронных систем обработки информацииc 18 (NIPS), 2005.
8. «Будущие направления в тензорных вычислениях и моделировании» (PDF) . Май 2009 г.
9. S. Yan, D. Xu, Q. Yang, L. Zhang, X. Tang и H.-J. Zhang, «Дискриминантный анализ с тензорным представлением», в Трудах конференции IEEE по компьютерному зрению и распознаванию образов , т. I, июнь 2005 г., стр. 526–532.
10. PM Kroonenberg и J. de Leeuw, Анализ главных компонентов трехмодовых данных с помощью алгоритмов альтернативных наименьших квадратов, Psychometrika, 45 (1980), стр. 69–97.
11. MAO Vasilescu, D. Terzopoulos (2005) «Многолинейный независимый компонентный анализ», «Труды конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'05), Сан-Диего, Калифорния, июнь 2005 г., т. 1, 547–553».
12. MAO Vasilescu, D. Terzopoulos (2004) «TensorTextures: Multilinear Image-Based Rendering», MAO Vasilescu и D. Terzopoulos, Proc. ACM SIGGRAPH 2004 Conference Los Angeles, CA, August, 2004, в Computer Graphics Proceedings, Annual Conference Series, 2004, 336–342.
13. H. Lu, KN Plataniotis и AN Venetsanopoulos, «MPCA: многолинейный главный компонентный анализ тензорных объектов», IEEE Trans. Neural Netw., т. 19, № 1, стр. 18–39, январь 2008 г.
14. D. Tao, X. Li, X. Wu и SJ Maybank, «Общий тензорный дискриминантный анализ и признаки Габора для распознавания походки», IEEE Trans. Pattern Anal. Mach. Intell., т. 29, № 10, стр. 1700–1715, октябрь 2007 г.
15. H. Lu, KN Plataniotis и AN Venetsanopoulos, «Некоррелированный мультилинейный дискриминантный анализ с регуляризацией и агрегацией для распознавания тензорных объектов», IEEE Trans. Neural Netw., т. 20, № 1, стр. 103–123, январь 2009 г.
16. Т.-К. Ким и Р. Чиполла. «Канонический корреляционный анализ тензоров объема видео для категоризации и обнаружения действий», IEEE Trans. Pattern Anal. Mach. Intell., т. 31, № 8, стр. 1415–1428, 2009.
17. Х. Лу, «Изучение канонических корреляций парных тензорных наборов с помощью проекции тензора в вектор», Труды 23-й Международной совместной конференции по искусственному интеллекту (IJCAI 2013), Пекин, Китай, 3–9 августа 2013 г.
18. Хан, Сулейман А.; Каски, Самуэль (2014-09-15). "Байесовская многовидовая тензорная факторизация". В Calders, Toon; Esposito, Floriana ; Hüllermeier, Eyke; Meo, Rosa (ред.). Машинное обучение и обнаружение знаний в базах данных . Конспект лекций по информатике. Том 8724. Springer Berlin Heidelberg. стр. 656–671. doi :10.1007/978-3-662-44848-9_42. ISBN 9783662448472.
19. LD Lathauwer, BD Moor, J. Vandewalle, Мультилинейное сингулярное разложение, SIAM Journal of Matrix Analysis and Applications т. 21, № 4, стр. 1253–1278, 2000
20. Ледьярд Р. Такер (сентябрь 1966 г.). «Некоторые математические заметки о трехмодовом факторном анализе». Психометрика . 31 (3): 279–311. doi :10.1007/BF02289464. PMID  5221127. S2CID  44301099.
21. JD Carroll & J. Chang (1970). "Анализ индивидуальных различий в многомерном шкалировании посредством n -стороннего обобщения разложения "Эккарта–Юнга"". Psychometrika . 35 (3): 283–319. doi :10.1007/BF02310791. S2CID  50364581.
22. RA Harshman, Основы процедуры PARAFAC: Модели и условия для «объяснительного» мультимодального факторного анализа Архивировано 10 октября 2004 г. в Wayback Machine . Рабочие документы UCLA по фонетике, 16, стр. 1–84, 1970.
23. Л. Д. Латхауэр, Б. Д. Мур, Дж. Вандевалле, О наилучшем приближении ранга 1 и ранга (R1, R2, ..., RN ) тензоров высшего порядка, SIAM Journal of Matrix Analysis and Applications 21 (4) (2000) 1324–1342.