Неотрицательная матричная факторизация

Алгоритмы разложения матриц

Иллюстрация приближенной неотрицательной матричной факторизации: матрица V представлена ​​двумя меньшими матрицами W и H , которые при умножении приблизительно восстанавливают V.

Неотрицательная матричная факторизация ( NMF или NNMF ), также неотрицательная матричная аппроксимация ^{[1] [2]} — это группа алгоритмов в многомерном анализе и линейной алгебре , где матрица V факторизуется (обычно) на две матрицы W и H , со свойством, что все три матрицы не имеют отрицательных элементов. Эта неотрицательность делает полученные матрицы более простыми для проверки. Кроме того , в таких приложениях, как обработка аудиоспектрограмм или мышечной активности, неотрицательность присуща рассматриваемым данным. Поскольку задача в общем случае не является точно разрешимой, ее обычно аппроксимируют численно.

NMF находит применение в таких областях, как астрономия , ^{[3] [4]} компьютерное зрение , кластеризация документов , ^[1] импутация отсутствующих данных , ^[5] хемометрика , обработка аудиосигналов , рекомендательные системы , ^{[6] [7]} и биоинформатика . ^[8]

История

В хемометрике неотрицательная матричная факторизация имеет долгую историю под названием «разрешение самомоделирующейся кривой». ^[9] В этой структуре векторы в правой матрице являются непрерывными кривыми, а не дискретными векторами. Также ранняя работа по неотрицательной матричной факторизации была выполнена финской группой исследователей в 1990-х годах под названием положительная матричная факторизация . ^{[10] [11] [12]} Она стала более широко известна как неотрицательная матричная факторизация после того, как Ли и Сын исследовали свойства алгоритма и опубликовали несколько простых и полезных алгоритмов для двух типов факторизаций. ^{[13] [14]}

Фон

Пусть матрица V будет произведением матриц W и H ,

${\displaystyle \mathbf {V} =\mathbf {W} \mathbf {H} \,.}$

Умножение матриц может быть реализовано как вычисление векторов-столбцов V как линейных комбинаций векторов-столбцов W с использованием коэффициентов, предоставленных столбцами H. То есть каждый столбец V может быть вычислен следующим образом:

${\displaystyle \mathbf {v} _{i}=\mathbf {W} \mathbf {h} _{i}\,,}$

где v _i — это i -й вектор-столбец матрицы-произведения V, а h i _— это i -й вектор-столбец матрицы H.

При умножении матриц размеры матриц-факторов могут быть значительно меньше размеров матрицы-произведения, и именно это свойство лежит в основе NMF. NMF генерирует факторы со значительно уменьшенными размерами по сравнению с исходной матрицей. Например, если V — матрица размером m × n , W — матрица размером m × p , а H — матрица размером p × n , то p может быть значительно меньше как m, так и n .

Вот пример, основанный на приложении для интеллектуального анализа текста:

• Пусть входная матрица (матрица, которую нужно факторизовать) будет V с 10000 строк и 500 столбцов, где слова находятся в строках, а документы — в столбцах. То есть, у нас есть 500 документов, проиндексированных по 10000 слов. Из этого следует, что вектор-столбец v в V представляет собой документ.
• Предположим, мы просим алгоритм найти 10 признаков, чтобы сгенерировать матрицу признаков W с 10000 строк и 10 столбцов, а также матрицу коэффициентов H с 10 строками и 500 столбцами.
• Произведение W и H представляет собой матрицу с 10000 строк и 500 столбцов, такую ​​же форму, как и входная матрица V , и, если факторизация сработала, она является разумным приближением к входной матрице V.
• Из вышеприведенной обработки умножения матриц следует, что каждый столбец в матрице произведения WH представляет собой линейную комбинацию 10 векторов столбцов в матрице признаков W с коэффициентами , предоставленными матрицей коэффициентов H.

Этот последний пункт является основой NMF, поскольку мы можем рассматривать каждый исходный документ в нашем примере как созданный из небольшого набора скрытых признаков. NMF генерирует эти признаки.

Полезно думать о каждом признаке (векторе столбцов) в матрице признаков W как о архетипе документа, включающем набор слов, где значение ячейки каждого слова определяет ранг слова в признаке: Чем выше значение ячейки слова, тем выше ранг слова в признаке. Столбец в матрице коэффициентов H представляет собой исходный документ со значением ячейки, определяющим ранг документа для признака. Теперь мы можем реконструировать документ (вектор столбцов) из нашей входной матрицы с помощью линейной комбинации наших признаков (векторов столбцов в W ), где каждый признак взвешивается значением ячейки признака из столбца документа в H .

Кластерное свойство

NMF обладает свойством кластеризации, ^[15] т. е. он автоматически кластеризует столбцы входных данных . ${\displaystyle \mathbf {V} =(v_{1},\dots ,v_{n})}$

Более конкретно, приближение достигается путем нахождения и , которые минимизируют функцию ошибки (используя норму Фробениуса ) ${\displaystyle \mathbf {V} }$ ${\displaystyle \mathbf {V} \simeq \mathbf {W} \mathbf {H} }$ ${\displaystyle W}$ ${\displaystyle H}$

${\displaystyle \left\|V-WH\right\|_{F},}$при условии , ${\displaystyle W\geq 0,H\geq 0.}$

Если мы далее наложим ограничение ортогональности на , т.е. , то указанная выше минимизация математически эквивалентна минимизации кластеризации K-средних . ^[15] ${\displaystyle \mathbf {H} }$ ${\displaystyle \mathbf {H} \mathbf {H} ^{T}=I}$

Кроме того, вычисленное дает принадлежность к кластеру, т. е. если для всех i ≠ k , это предполагает, что входные данные принадлежат -му кластеру. Вычисленное дает центроиды кластера, т. е. -й столбец дает центроид кластера -го кластера. Это представление центроида может быть значительно улучшено с помощью выпуклого НМФ. ${\displaystyle H}$ ${\displaystyle \mathbf {H} _{kj}>\mathbf {H} _{ij}}$ ${\displaystyle v_{j}}$ ${\displaystyle k}$ ${\displaystyle W}$ ${\displaystyle k}$ ${\displaystyle k}$

Если ограничение ортогональности явно не наложено, ортогональность в значительной степени сохраняется, а также сохраняется свойство кластеризации. ${\displaystyle \mathbf {H} \mathbf {H} ^{T}=I}$

Когда функция ошибки, которая будет использоваться, представляет собой дивергенцию Кульбака-Лейблера , NMF идентичен вероятностному латентному семантическому анализу (PLSA), популярному методу кластеризации документов. ^[16]

Типы

Приблизительная неотрицательная матричная факторизация

Обычно число столбцов W и число строк H в NMF выбираются так, чтобы произведение WH стало приближением к V. Полное разложение V тогда сводится к двум неотрицательным матрицам W и H , а также к остатку U , таким образом: V = WH + U. Элементы остаточной матрицы могут быть как отрицательными, так и положительными.

Когда W и H меньше V, их легче хранить и манипулировать. Другая причина разложения V на меньшие матрицы W и H заключается в том, что если цель состоит в том, чтобы приблизительно представить элементы V с помощью значительно меньшего количества данных, то необходимо вывести некоторую скрытую структуру в данных.

Выпуклая неотрицательная матричная факторизация

В стандартном НМФ матричный фактор W ∈ R ₊ ^{m × k}， т.е. W может быть чем угодно в этом пространстве. Выпуклый НМФ ^[17] ограничивает столбцы W выпуклыми комбинациями векторов входных данных . Это значительно улучшает качество представления данных W . Кроме того, результирующий матричный фактор H становится более разреженным и ортогональным. ${\displaystyle (v_{1},\dots ,v_{n})}$

Неотрицательная ранговая факторизация

В случае, если неотрицательный ранг V равен его фактическому рангу, V = WH называется факторизацией неотрицательного ранга (NRF). ^{[18] [19]} [ ^20] Известно , что задача нахождения NRF для V , если она существует, является NP-трудной. ^[21]

Различные функции стоимости и регуляризации

Существуют различные типы неотрицательных матричных факторизаций. Различные типы возникают из-за использования различных функций стоимости для измерения расхождения между V и WH и, возможно, из-за регуляризации матриц W и/или H. ^[1]

Две простые функции расхождения, изученные Ли и Сыном, — это квадрат ошибки (или норма Фробениуса ) и расширение расхождения Кульбака–Лейблера на положительные матрицы (исходное расхождение Кульбака–Лейблера определено на распределениях вероятностей). Каждое расхождение приводит к разному алгоритму NMF, обычно минимизирующему расхождение с помощью итеративных правил обновления.

Проблему факторизации в версии квадратичной ошибки НМФ можно сформулировать следующим образом: для заданной матрицы найти неотрицательные матрицы W и H, которые минимизируют функцию ${\displaystyle \mathbf {V} }$

${\displaystyle F(\mathbf {W} ,\mathbf {H} )=\left\|\mathbf {V} -\mathbf {WH} \right\|_{F}^{2}}$

Другой тип НМФ для изображений основан на общей норме вариации . ^[22]

Когда регуляризация L1 (похожая на Лассо ) добавляется к НМФ с функцией стоимости среднеквадратической ошибки, результирующая проблема может быть названа неотрицательным разреженным кодированием из-за сходства с проблемой разреженного кодирования ^{[23] [24]} , хотя ее также можно называть НМФ. ^[25]

Онлайн НМФ

Многие стандартные алгоритмы NMF анализируют все данные вместе; т. е. вся матрица доступна с самого начала. Это может быть неудовлетворительным в приложениях, где слишком много данных для размещения в памяти или где данные предоставляются в потоковом режиме. Одним из таких применений является совместная фильтрация в системах рекомендаций , где может быть много пользователей и много элементов для рекомендации, и было бы неэффективно пересчитывать все, когда один пользователь или один элемент добавляется в систему. Функция стоимости для оптимизации в этих случаях может быть или не быть такой же, как для стандартного NMF, но алгоритмы должны быть довольно разными. ^{[26] [27]}

Сверточный NMF

Если столбцы V представляют данные, отобранные по пространственным или временным измерениям, например, сигналы времени, изображения или видео, признаки, которые являются эквивариантными относительно сдвигов по этим измерениям, могут быть изучены с помощью сверточного НМР. В этом случае W является разреженным со столбцами, имеющими локальные ненулевые весовые окна, которые являются общими для сдвигов по пространственно-временным измерениям V , представляя ядра свертки . С помощью пространственно-временного объединения H и многократного использования полученного представления в качестве входных данных для сверточного НМР можно изучить глубокие иерархии признаков. ^[28]

Алгоритмы

Существует несколько способов, с помощью которых можно найти W и H : Правило мультипликативного обновления Ли и Сына ^[14] стало популярным методом из-за простоты реализации. Этот алгоритм:

инициализация: W и H неотрицательны.

Затем обновите значения W и H , вычислив следующее, используя в качестве индекса итерации. ${\displaystyle n}$

${\displaystyle \mathbf {H} _{[i,j]}^{n+1}\leftarrow \mathbf {H} _{[i,j]}^{n}{\frac {((\mathbf {W} ^{n})^{T}\mathbf {V} )_{[i,j]}}{((\mathbf {W} ^{n})^{T}\mathbf {W} ^{n}\mathbf {H} ^{n})_{[i,j]}}}}$

и

${\displaystyle \mathbf {W} _{[i,j]}^{n+1}\leftarrow \mathbf {W} _{[i,j]}^{n}{\frac {(\mathbf {V} (\mathbf {H} ^{n+1})^{T})_{[i,j]}}{(\mathbf {W} ^{n}\mathbf {H} ^{n+1}(\mathbf {H} ^{n+1})^{T})_{[i,j]}}}}$

Пока W и H не станут стабильными.

Обратите внимание, что обновления выполняются поэлементно, а не путем умножения матриц.

Отметим, что мультипликативные множители для W и H , т.е. члены и , являются матрицами из единиц , когда . ${\textstyle {\frac {\mathbf {W} ^{\mathsf {T}}\mathbf {V} }{\mathbf {W} ^{\mathsf {T}}\mathbf {W} \mathbf {H} }}}$ ${\textstyle {\textstyle {\frac {\mathbf {V} \mathbf {H} ^{\mathsf {T}}}{\mathbf {W} \mathbf {H} \mathbf {H} ^{\mathsf {T}}}}}}$ ${\displaystyle \mathbf {V} =\mathbf {W} \mathbf {H} }$

Совсем недавно были разработаны другие алгоритмы. Некоторые подходы основаны на чередующихся неотрицательных наименьших квадратах : на каждом шаге такого алгоритма сначала H фиксируется, а W находится решателем неотрицательных наименьших квадратов, затем W фиксируется, а H находится аналогично. Процедуры, используемые для решения для W и H , могут быть одинаковыми ^[29] или разными, поскольку некоторые варианты NMF регуляризуют один из W и H. ^[23] Конкретные подходы включают методы спроецированного градиентного спуска , ^{[29] [30]} метод активного набора , ^{[6] [31]} метод оптимального градиента, ^[32] и метод блочного главного поворота ^[33] среди нескольких других. ^[34]

Текущие алгоритмы неоптимальны, поскольку они гарантируют только нахождение локального минимума, а не глобального минимума функции стоимости. Доказуемо оптимальный алгоритм вряд ли появится в ближайшем будущем, поскольку было показано, что эта проблема обобщает задачу кластеризации k-средних, которая, как известно, является NP-полной . ^[35] Однако, как и во многих других приложениях добычи данных, локальный минимум все еще может оказаться полезным.

В дополнение к шагу оптимизации, инициализация оказывает значительное влияние на NMF. Начальные значения, выбранные для W и H, могут влиять не только на скорость сходимости, но и на общую ошибку при сходимости. Некоторые варианты инициализации включают полную рандомизацию, SVD , кластеризацию k-средних и более продвинутые стратегии, основанные на этих и других парадигмах. ^[36]

Графики дробной остаточной дисперсии (FRV) для PCA и последовательного NMF; ^[4] для PCA теоретические значения являются вкладом остаточных собственных значений. Для сравнения, кривые FRV для PCA достигают плоского плато, где сигнал не улавливается эффективно; в то время как кривые FRV для NMF непрерывно снижаются, указывая на лучшую способность улавливать сигнал. Кривые FRV для NMF также сходятся к более высоким уровням, чем PCA, указывая на свойство меньшей переподгонки NMF.

Последовательный НМФ

Последовательное построение компонентов NMF ( W и H ) впервые было использовано для связи NMF с анализом главных компонент (PCA) в астрономии. ^[37] Вклад компонентов PCA ранжируется по величине соответствующих им собственных значений; для NMF его компоненты можно ранжировать эмпирически, когда они строятся один за другим (последовательно), т. е. узнать -й компонент с первыми построенными компонентами. ${\displaystyle (n+1)}$ ${\displaystyle n}$

Вклад последовательных компонентов NMF можно сравнить с теоремой Карунена–Лоэва , приложением PCA, с использованием графика собственных значений. Типичный выбор числа компонентов с PCA основан на точке «локтя», затем существование плоского плато указывает на то, что PCA не захватывает данные эффективно, и, наконец, существует внезапный спад, отражающий захват случайного шума и попадание в режим переобучения. ^{[38] [39]} Для последовательного NMF график собственных значений аппроксимируется графиком кривых дробной остаточной дисперсии, где кривые непрерывно уменьшаются и сходятся к более высокому уровню, чем PCA, ^[4] , что является показателем меньшей переобучения последовательного NMF.

Точный НМФ

Точные решения для вариантов NMF можно ожидать (за полиномиальное время), когда для матрицы V выполняются дополнительные ограничения . Полиномиальный алгоритм для решения неотрицательной ранговой факторизации, если V содержит мономиальную подматрицу ранга, равного ее рангу, был предложен Кэмпбеллом и Пулом в 1981 году. ^[40] Калофолиас и Галлопулос (2012) ^[41] решили симметричный аналог этой задачи, где V симметрична и содержит диагональную главную подматрицу ранга r. Их алгоритм работает за время O(rm ² ) в плотном случае. Арора, Ге, Халперн, Мимно, Мойтра, Зонтаг, Ву и Чжу (2013) предлагают полиномиальный алгоритм для точной NMF, который работает в случае, когда один из факторов W удовлетворяет условию разделимости. ^[42]

Связь с другими методами

В Learning the parts of objects by nonnegative matrix factorization Ли и Сын ^[43] предложили NMF в основном для разложения изображений на основе частей. Он сравнивает NMF с векторным квантованием и анализом главных компонент и показывает, что хотя эти три метода могут быть записаны как факторизации, они реализуют разные ограничения и, следовательно, дают разные результаты.

NMF как вероятностная графическая модель: видимые единицы ( V) связаны со скрытыми единицами (H) через веса W, так что V генерируется из распределения вероятностей со средним значением . [ 13 ] ^{: 5} ${\displaystyle \sum _{a}W_{ia}h_{a}}$

Позже было показано, что некоторые типы NMF являются примером более общей вероятностной модели, называемой «мультиномиальный PCA». ^[44] Когда NMF получается путем минимизации расхождения Кульбака–Лейблера , он фактически эквивалентен другому примеру мультиномиального PCA, вероятностному латентному семантическому анализу , ^[45] обученному методом максимального правдоподобия . Этот метод обычно используется для анализа и кластеризации текстовых данных и также связан с моделью латентных классов .

NMF с целью наименьших квадратов эквивалентна расслабленной форме кластеризации K-средних : матричный фактор W содержит центроиды кластера, а H содержит индикаторы принадлежности кластеру. ^{[15] [46]} Это обеспечивает теоретическую основу для использования NMF для кластеризации данных. Однако k-средние не обеспечивают неотрицательность своих центроидов, поэтому ближайшая аналогия фактически с «полу-NMF». ^[17]

NMF можно рассматривать как двухслойную направленную графическую модель с одним слоем наблюдаемых случайных величин и одним слоем скрытых случайных величин. ^[47]

НМФ распространяется за пределы матриц на тензоры произвольного порядка. ^{[48] [49] [50]} Это расширение можно рассматривать как неотрицательный аналог, например, модели PARAFAC .

Другие расширения NMF включают совместную факторизацию нескольких матриц данных и тензоров, где некоторые факторы являются общими. Такие модели полезны для слияния датчиков и реляционного обучения. ^[51]

NMF является примером неотрицательного квадратичного программирования , как и машина опорных векторов (SVM). Однако SVM и NMF связаны на более тесном уровне, чем NQP, что позволяет напрямую применять алгоритмы решения, разработанные для любого из двух методов, к проблемам в обеих областях. ^[52]

Уникальность

Факторизация не является уникальной: матрица и ее обратная могут быть использованы для преобразования двух матриц факторизации, например, ^[53]

${\displaystyle \mathbf {WH} =\mathbf {WBB} ^{-1}\mathbf {H} }$

Если две новые матрицы и неотрицательны , они образуют другую параметризацию факторизации. ${\displaystyle \mathbf {{\tilde {W}}=WB} }$ ${\displaystyle \mathbf {\tilde {H}} =\mathbf {B} ^{-1}\mathbf {H} }$

Неотрицательность и применяется по крайней мере, если B — неотрицательная мономиальная матрица . В этом простом случае это будет соответствовать масштабированию и перестановке . ${\displaystyle \mathbf {\tilde {W}} }$ ${\displaystyle \mathbf {\tilde {H}} }$

Больший контроль над неуникальностью NMF достигается с помощью ограничений разреженности. ^[54]

Приложения

Астрономия

В астрономии NMF является перспективным методом уменьшения размерности в том смысле, что астрофизические сигналы неотрицательны. NMF был применен к спектроскопическим наблюдениям ^{[55] [3]} и прямым наблюдениям изображений ^[4] как метод изучения общих свойств астрономических объектов и постобработки астрономических наблюдений. Достижения в области спектроскопических наблюдений Блэнтона и Роуайса (2007) ^[3] учитывают неопределенности астрономических наблюдений, которые позже были улучшены Чжу (2016) ^[37], где также учитываются отсутствующие данные и включены параллельные вычисления . Затем их метод был принят Реном и др. (2018) ^[4] в области прямых изображений как один из методов обнаружения экзопланет , особенно для прямых изображений околозвездных дисков .

Рен и др. (2018) ^[4] смогли доказать стабильность компонентов НМР, когда они строятся последовательно (т. е. один за другим), что обеспечивает линейность процесса моделирования НМР; свойство линейности используется для разделения звездного света и света, рассеянного экзопланетами и околозвездными дисками .

При прямой визуализации для выявления слабых экзопланет и околозвездных дисков на фоне яркого окружающего звездного света, который имеет типичный контраст от 10⁵ до 10¹⁰, были приняты различные статистические методы, ^{[56] [57] [38]} однако свет от экзопланет или околозвездных дисков обычно переобучен, где необходимо применять прямое моделирование для восстановления истинного потока. ^{[58] [39]} Прямое моделирование в настоящее время оптимизировано для точечных источников, ^[39] однако не для протяженных источников, особенно для структур неправильной формы, таких как околозвездные диски. В этой ситуации NMF оказался превосходным методом, будучи менее переобучен в смысле неотрицательности и разреженности коэффициентов моделирования NMF, поэтому прямое моделирование можно выполнять с несколькими коэффициентами масштабирования, ^[4] вместо того, чтобы выполнять вычислительно интенсивную повторную редукцию данных в сгенерированных моделях.

Вменение данных

Чтобы вменить пропущенные данные в статистику, NMF может брать пропущенные данные, минимизируя свою функцию стоимости, вместо того, чтобы рассматривать эти пропущенные данные как нули. ^[5] Это делает его математически проверенным методом вменения данных в статистике. ^[5] Сначала доказав, что пропущенные данные игнорируются в функции стоимости, а затем доказав, что влияние пропущенных данных может быть столь же малым, как эффект второго порядка, Рен и др. (2020) ^[5] изучили и применили такой подход в области астрономии. Их работа сосредоточена на двумерных матрицах, в частности, она включает математический вывод, смоделированное вменение данных и применение к данным на небе.

Процедура вменения данных с помощью NMF может состоять из двух этапов. Во-первых, когда известны компоненты NMF, Рен и др. (2020) доказали, что влияние отсутствующих данных во время вменения данных («целевое моделирование» в их исследовании) является эффектом второго порядка. Во-вторых, когда неизвестны компоненты NMF, авторы доказали, что влияние отсутствующих данных во время построения компонентов является эффектом первого-второго порядка.

В зависимости от способа получения компонентов NMF, первый шаг выше может быть как независимым, так и зависимым от последнего. Кроме того, качество импутации может быть повышено при использовании большего количества компонентов NMF, см. Рисунок 4 Ren et al. (2020) для их иллюстрации. ^[5]

Текстовая добыча

NMF можно использовать для приложений текстовой добычи . В этом процессе матрица документ-термин строится с весами различных терминов (обычно взвешенная информация о частоте слов) из набора документов. Эта матрица разлагается на матрицы термин-признак и признак-документ . Признаки выводятся из содержимого документов, а матрица признак-документ описывает кластеры данных связанных документов.

Одно конкретное приложение использовало иерархический NMF для небольшого подмножества научных аннотаций из PubMed . ^[59] Другая исследовательская группа кластеризовала части набора данных электронной почты Enron ^[60] с 65 033 сообщениями и 91 133 терминами в 50 кластеров. ^[61] NMF также применялся к данным цитирований, с одним примером кластеризации статей английской Википедии и научных журналов на основе исходящих научных цитирований в английской Википедии. ^[62]

Arora, Ge, Halpern, Mimno, Moitra, Sontag, Wu, & Zhu (2013) предоставили полиномиальные алгоритмы для изучения тематических моделей с использованием NMF. Алгоритм предполагает, что тематическая матрица удовлетворяет условию разделимости, которое часто оказывается выполненным в этих условиях. ^[42]

Хассани, Иранманеш и Мансури (2019) предложили метод агломерации признаков для матриц термин-документ, который работает с использованием NMF. Алгоритм уменьшает матрицу термин-документ до меньшей матрицы, более подходящей для кластеризации текста. ^[63]

Спектральный анализ данных

NMF также используется для анализа спектральных данных; одним из таких применений является классификация космических объектов и мусора. ^[64]

Масштабируемое прогнозирование расстояния в Интернете

NMF применяется для масштабируемого прогнозирования расстояний Интернета (время прохождения сигнала туда и обратно). Для сети с хостами с помощью NMF можно прогнозировать расстояния всех сквозных соединений после проведения только измерений. Этот вид метода был впервые представлен в Internet Distance Estimation Service (IDES). ^[65] Впоследствии, в качестве полностью децентрализованного подхода, предлагается сетевая система координат Phoenix ^[66] . Она достигает лучшей общей точности прогнозирования за счет введения концепции веса. ${\displaystyle N}$ ${\displaystyle N^{2}}$ ${\displaystyle O(N)}$

Нестационарное шумоподавление речи

Шумоподавление речи было давней проблемой в обработке аудиосигналов . Существует множество алгоритмов для шумоподавления, если шум стационарный. Например, фильтр Винера подходит для аддитивного гауссовского шума . Однако, если шум нестационарный, классические алгоритмы шумоподавления обычно имеют низкую производительность, поскольку статистическую информацию о нестационарном шуме трудно оценить. Шмидт и др. ^[67] используют NMF для шумоподавления речи в условиях нестационарного шума, что полностью отличается от классических статистических подходов. Основная идея заключается в том, что чистый речевой сигнал может быть разреженно представлен речевым словарем, но нестационарный шум не может. Аналогично, нестационарный шум также может быть разреженно представлен шумовым словарем, но речь не может.

Алгоритм шумоподавления NMF выглядит следующим образом. Два словаря, один для речи и один для шума, должны быть обучены в автономном режиме. После того, как дана шумная речь, мы сначала вычисляем величину кратковременного преобразования Фурье. Затем разделяем ее на две части с помощью NMF, одна может быть разреженно представлена ​​речевым словарем, а другая часть может быть разреженно представлена ​​шумовым словарем. В-третьих, часть, представленная речевым словарем, будет оценочной чистой речью.

Популяционная генетика

Разреженный NMF используется в популяционной генетике для оценки индивидуальных коэффициентов примеси, обнаружения генетических кластеров индивидуумов в выборке популяции или оценки генетической примеси в выборочных геномах. В генетической кластеризации человека алгоритмы NMF предоставляют оценки, аналогичные оценкам компьютерной программы STRUCTURE, но алгоритмы более эффективны в вычислительном отношении и позволяют анализировать большие наборы геномных данных популяции. ^[68]

Биоинформатика

NMF успешно применялся в биоинформатике для кластеризации данных по экспрессии генов и метилированию ДНК , а также для поиска генов, наиболее репрезентативных для кластеров. ^{[24] [69] [70] [71]} При анализе мутаций рака он использовался для выявления общих закономерностей мутаций, которые возникают при многих видах рака и, вероятно, имеют различные причины. ^[72] Методы NMF могут определять источники вариаций, такие как типы клеток, подтипы заболеваний, стратификация популяции, состав тканей и клональность опухолей. ^[73]

Конкретный вариант NMF, а именно неотрицательная матричная три-факторизация (NMTF) ^[74], использовался для задач повторного использования лекарств с целью прогнозирования новых белковых мишеней и терапевтических показаний для одобренных лекарств ^[75] , а также для выведения пары синергических противораковых препаратов. ^[76]

Ядерная визуализация

NMF, также называемый в этой области факторным анализом, использовался с 1980-х годов ^[77] для анализа последовательностей изображений в динамической медицинской визуализации SPECT и PET . Неуникальность NMF была устранена с помощью ограничений разреженности. ^{[78] [79] [80]}

Текущие исследования

Текущие исследования (с 2010 года) в области неотрицательной матричной факторизации включают, помимо прочего,

1. Алгоритмический: поиск глобальных минимумов факторов и инициализация факторов. ^[81]
2. Масштабируемость: как факторизовать матрицы размером миллион на миллиард, которые являются обычным явлением в интеллектуальном анализе данных в масштабе Интернета, например, см. Распределенная неотрицательная матричная факторизация (DNMF), ^[82] Масштабируемая неотрицательная матричная факторизация (ScalableNMF), ^[83] Распределенное стохастическое сингулярное разложение. ^[84]
3. Онлайн: как обновить факторизацию при поступлении новых данных без пересчета с нуля, например, см. онлайн CNSC ^[85]
4. Коллективная (совместная) факторизация: факторизация нескольких взаимосвязанных матриц для многовидового обучения, например, многовидовая кластеризация, см. CoNMF ^[86] и MultiNMF ^[87]
5. Проблема Коэна и Ротблума 1993 года: всегда ли рациональная матрица имеет НМФ минимальной внутренней размерности, факторы которой также рациональны. Недавно на эту проблему дали отрицательный ответ. ^[88]

Смотрите также

• Полилинейная алгебра
• Мультилинейное подпространственное обучение
• Тензор
• Разложение тензора
• Тензорное программное обеспечение

Источники и внешние ссылки

Примечания

1. Dhillon, Inderjit S.; Sra, Suvrit (2005). «Обобщенные неотрицательные матричные аппроксимации с расходимостями Брегмана». Достижения в области нейронных систем обработки информации 18 [Neural Information Processing Systems, NIPS 2005, 5–8 декабря 2005 г., Ванкувер, Британская Колумбия, Канада] . стр. 283–290.
2. Тандон, Рашиш; Сра, Суврит (13 сентября 2010 г.). Аппроксимация разреженных неотрицательных матриц: новые формулировки и алгоритмы (PDF) (Отчет). Институт биологической кибернетики общества Макса Планка. Технический отчет № 193.
3. Blanton, Michael R.; Roweis, Sam (2007). «K-коррекции и преобразования фильтров в ультрафиолетовом, оптическом и ближнем инфракрасном диапазонах». The Astronomical Journal . 133 (2): 734–754. arXiv : astro-ph/0606170 . Bibcode : 2007AJ....133..734B. doi : 10.1086/510127. S2CID  18561804.
4. Рен, Бин; Пуэйо, Лоран; Чжу, Гуантунь Б.; Дюшен, Гаспар (2018). «Неотрицательная матричная факторизация: надежное извлечение расширенных структур». Астрофизический журнал . 852 (2): 104. arXiv : 1712.10317 . Бибкод : 2018ApJ...852..104R. дои : 10.3847/1538-4357/aaa1f2 . S2CID  3966513.
5. Ren, Bin; Pueyo, Laurent; Chen, Christine; Choquet, Elodie; Debes, John H; Duechene, Gaspard; Menard, Francois; Perrin, Marshall D. (2020). «Использование подстановки данных для разделения сигналов в высококонтрастных изображениях». The Astrophysical Journal . 892 (2): 74. arXiv : 2001.00563 . Bibcode :2020ApJ...892...74R. doi : 10.3847/1538-4357/ab7024 . S2CID  209531731.
6. Райнер Гемулла; Эрик Нийкамп; Питер Дж. Хаас ; Яннис Сисманис (2011). Крупномасштабная матричная факторизация с распределенным стохастическим градиентным спуском . Труды ACM SIGKDD Int'l Conf. по обнаружению знаний и добыче данных. С. 69–77.
7. Ян Бао и др. (2014). TopicMF: Одновременное использование рейтингов и обзоров для рекомендаций. AAAI.
8. Бен Мюррелл и др. (2011). «Неотрицательная матричная факторизация для изучения моделей эволюции белков, специфичных для выравнивания». PLOS ONE . 6 (12): e28898. Bibcode : 2011PLoSO...628898M. doi : 10.1371/journal.pone.0028898 . PMC 3245233. PMID  22216138 . 
9. Уильям Х. Лоутон; Эдвард А. Сильвестр (1971). «Разрешение кривой самомоделирования». Technometrics . 13 (3): 617–633. doi :10.2307/1267173. JSTOR  1267173.
10. Пентти Паатеро; У Таппера; Паси Аалто; Маркку Кулмала (1991). «Методы матричной факторизации для анализа данных диффузионных батарей». Журнал аэрозольной науки . 22 : С273–С276. дои : 10.1016/S0021-8502(05)80089-8. ISSN  0021-8502. Викиданные  Q58065673.
11. Pentti Paatero; Unto Tapper (июнь 1994 г.). «Положительная матричная факторизация: неотрицательная факторная модель с оптимальным использованием оценок ошибок значений данных». Environmetrics . 5 (2): 111–126. doi :10.1002/ENV.3170050203. ISSN  1180-4009. Wikidata  Q29308406.
12. Пиа Анттила; Пентти Паатеро; У Таппера; Олли Ярвинен (1995). «Идентификация источника массовых влажных осаждений в Финляндии путем факторизации положительной матрицы». Атмосферная среда . 29 (14): 1705–1718. Бибкод : 1995AtmEn..29.1705A. дои : 10.1016/1352-2310(94)00367-Т.
13. Daniel D. Lee & H. Sebastian Seung (1999). «Изучение частей объектов с помощью неотрицательной матричной факторизации». Nature . 401 (6755): 788–791. Bibcode :1999Natur.401..788L. doi :10.1038/44565. PMID  10548103. S2CID  4428232.
14. Daniel D. Lee & H. Sebastian Seung (2001). Алгоритмы для неотрицательной матричной факторизации (PDF) . Достижения в области нейронных систем обработки информации 13: Труды конференции 2000 года. MIT Press . стр. 556–562.
15. C. Ding, X. He, HD Simon (2005). "Об эквивалентности неотрицательной матричной факторизации и спектральной кластеризации". Proc. SIAM Int'l Conf. Data Mining, стр. 606-610. Май 2005 г.
16. Ding C, Li Y, Peng W (2008). "Об эквивалентности между неотрицательной матричной факторизацией и вероятностной скрытой семантической индексацией" (PDF) . Computational Statistics & Data Analysis . 52 (8): 3913–3927. doi :10.1016/j.csda.2008.01.011. Архивировано из оригинала (PDF) 2016-03-04.
17. C Ding, T Li, MI Jordan, Выпуклые и полунеотрицательные матричные факторизации, IEEE Transactions on Pattern Analysis and Machine Intelligence, 32, 45-55, 2010
18. Берман, А.; Р. Дж. Племмонс (1974). «Обратные неотрицательные матрицы». Линейная и полилинейная алгебра . 2 (2): 161–172. doi :10.1080/03081087408817055.
19. А. Берман; Р. Дж. Племмонс (1994). Неотрицательные матрицы в математических науках . Филадельфия: SIAM.
20. Томас, Л. Б. (1974). «Проблема 73-14, Ранговая факторизация неотрицательных матриц». SIAM Rev. 16 ( 3): 393–394. doi :10.1137/1016064.
21. Vavasis, SA (2009). «О сложности неотрицательной матричной факторизации». SIAM J. Optim . 20 (3): 1364–1377. arXiv : 0708.4149 . doi : 10.1137/070709967. S2CID  7150400.
22. Чжан, Т.; Фан, Б.; Лю, В.; Тан, YY; Хэ, Г.; Вэнь, Дж. (2008). «Неотрицательная матричная факторизация на основе нормы полной вариации для определения дискриминантного представления шаблонов изображений». Neurocomputing . 71 (10–12): 1824–1831. doi :10.1016/j.neucom.2008.01.022.
23. Hoyer, Patrik O. (2002). Неотрицательное разреженное кодирование . Proc. IEEE Workshop on Neural Networks for Signal Processing. arXiv : cs/0202009 .
24. Leo Taslaman & Björn Nilsson (2012). "Структура для регуляризованной неотрицательной матричной факторизации с применением к анализу данных по экспрессии генов". PLOS One . 7 (11): e46331. Bibcode :2012PLoSO...746331T. doi : 10.1371/journal.pone.0046331 . PMC 3487913 . PMID  23133590. 
25. Hsieh, CJ; Dhillon, IS (2011). Методы быстрого спуска по координатам с выбором переменной для неотрицательной матричной факторизации (PDF) . Труды 17-й международной конференции ACM SIGKDD по обнаружению знаний и добыче данных - KDD '11. стр. 1064. doi :10.1145/2020408.2020577. ISBN 9781450308137.
26. Фунг, Йик-Хинг; Ли, Чун-Хунг; Чунг, Уильям К. (2 ноября 2007 г.). Прогнозирование участия в онлайн-обсуждении с использованием неотрицательной матричной факторизации. Wi-Iatw '07. IEEE Computer Society. стр. 284–287. ISBN 9780769530284– через dl.acm.org.
27. Найян Гуань; Дачэн Тао; Чжиган Ло и Бо Юань (июль 2012 г.). «Онлайн-факторизация неотрицательных матриц с надежной стохастической аппроксимацией». Труды IEEE по нейронным сетям и системам обучения . 23 (7): 1087–1099. doi :10.1109/TNNLS.2012.2197827. PMID  24807135. S2CID  8755408.
28. Behnke, S. (2003). «Обнаружение иерархических признаков речи с использованием сверточной неотрицательной матричной факторизации». Труды Международной объединенной конференции по нейронным сетям, 2003. Том 4. Портленд, Орегон, США: IEEE. стр. 2758–2763. doi :10.1109/IJCNN.2003.1224004. ISBN 978-0-7803-7898-8. S2CID  3109867.
29. Lin, Chih-Jen (2007). "Методы проекционного градиента для неотрицательной матричной факторизации" (PDF) . Neural Computation . 19 (10): 2756–2779. CiteSeerX 10.1.1.308.9135 . doi :10.1162/neco.2007.19.10.2756. PMID  17716011. S2CID  2295736. 
30. Лин, Чи-Джен (2007). «О сходимости алгоритмов мультипликативного обновления для неотрицательной матричной факторизации». Труды IEEE по нейронным сетям . 18 (6): 1589–1596. CiteSeerX 10.1.1.407.318 . doi :10.1109/TNN.2007.895831. S2CID  2183630. 
31. Hyunsoo Kim & Haesun Park (2008). «Неотрицательная матричная факторизация на основе метода наименьших квадратов с ограничениями неотрицательности и метода активного множества» (PDF) . Журнал SIAM по матричному анализу и приложениям . 30 (2): 713–730. CiteSeerX 10.1.1.70.3485 . doi :10.1137/07069239x. 
32. Найян Гуань; Дачэн Тао; Чжиган Ло; Бо Юань (июнь 2012 г.). «NeNMF: оптимальный градиентный метод для неотрицательной матричной факторизации». Труды IEEE по обработке сигналов . 60 (6): 2882–2898. Bibcode : 2012ITSP...60.2882G. doi : 10.1109/TSP.2012.2190406. S2CID  8143231.
33. Джингу Ким и Хэсун Парк (2011). «Быстрая неотрицательная матричная факторизация: метод и сравнения, подобные активным множествам». Журнал SIAM по научным вычислениям . 58 (6): 3261–3281. Bibcode : 2011SJSC...33.3261K. CiteSeerX 10.1.1.419.798 . doi : 10.1137/110821172. 
34. Джингу Ким; Юньлонг Хе и Хэсун Парк (2013). «Алгоритмы для неотрицательных матричных и тензорных факторизаций: унифицированный взгляд на основе структуры блочного координатного спуска» (PDF) . Журнал глобальной оптимизации . 33 (2): 285–319. doi : 10.1007/s10898-013-0035-4 . S2CID  11197117.
35. Ding, C.; He, X. & Simon, HD (2005). «Об эквивалентности неотрицательной матричной факторизации и спектральной кластеризации». Proc. SIAM Data Mining Conf . Vol. 4. pp. 606–610. doi :10.1137/1.9781611972757.70. ISBN 978-0-89871-593-4.
36. Хафшеджани, Саджад Фатхи; Моаберфард, Захра (ноябрь 2022 г.). «Инициализация для неотрицательной матричной факторизации: всесторонний обзор». Международный журнал по науке о данных и аналитике . 16 (1): 119–134. arXiv : 2109.03874 . doi : 10.1007/s41060-022-00370-9. ISSN  2364-415X.
37. Zhu, Guangtun B. (2016-12-19). «Неотрицательная матричная факторизация (NMF) с гетероскедастическими неопределенностями и пропущенными данными». arXiv : 1612.06037 [astro-ph.IM].
38. Soummer, Rémi; Pueyo, Laurent; Larkin, James (2012). «Обнаружение и характеристика экзопланет и дисков с использованием проекций на собственные изображения Карунена-Лоэва». The Astrophysical Journal Letters . 755 (2): L28. arXiv : 1207.4197 . Bibcode : 2012ApJ...755L..28S. doi : 10.1088/2041-8205/755/2/L28. S2CID  51088743.
39. Pueyo, Laurent (2016). «Обнаружение и характеристика экзопланет с использованием проекций на собственные изображения Карунена-Лёве: прямое моделирование». The Astrophysical Journal . 824 (2): 117. arXiv : 1604.06097 . Bibcode :2016ApJ...824..117P. doi : 10.3847/0004-637X/824/2/117 . S2CID  118349503.
40. Кэмпбелл, С. Л.; Г. Д. Пул (1981). «Вычисление неотрицательных ранговых факторизаций». Linear Algebra Appl . 35 : 175–182. doi : 10.1016/0024-3795(81)90272-x .
41. Калофолиас, В.; Галлопулос, Э. (2012). «Вычисление симметричных неотрицательных ранговых факторизаций» (PDF) . Linear Algebra Appl . 436 (2): 421–435. doi :10.1016/j.laa.2011.03.016.
42. Арора, Санджив; Ге, Ронг; Халперн, Йони; Мимно, Дэвид; Мойтра, Анкур; Зонтаг, Дэвид; Ву, Ичен; Чжу, Майкл (2013). Практический алгоритм тематического моделирования с доказуемыми гарантиями. Труды 30-й Международной конференции по машинному обучению. arXiv : 1212.4777 . Bibcode :2012arXiv1212.4777A.
43. Ли, Дэниел Д.; Себастьян, Сын, Х. (1999). «Изучение частей объектов с помощью неотрицательной матричной факторизации» (PDF) . Nature . 401 (6755): 788–791. Bibcode :1999Natur.401..788L. doi :10.1038/44565. PMID  10548103. S2CID  4428232.{{cite journal}}: CS1 maint: multiple names: authors list (link)
44. Wray Buntine (2002). Вариационные расширения EM и мультиномиального PCA (PDF) . Proc. Европейская конференция по машинному обучению (ECML-02). LNAI. Том 2430. С. 23–34.
45. Эрик Гауссье и Сирил Гутте (2005). Связь между PLSA и NMF и последствия (PDF) . Труды 28-й международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска (SIGIR-05). стр. 601–602. Архивировано из оригинала (PDF) 28-09-2007 . Получено 29-01-2007 .
46. Рон Засс и Амнон Шашуа (2005). «Унифицированный подход к жесткой и вероятностной кластеризации». Международная конференция по компьютерному зрению (ICCV), Пекин, Китай, октябрь 2005 г.
47. Макс Уэллинг и др. (2004). Экспоненциальные семейные фисгармонии с применением к информационному поиску. NIPS.
48. Пентти Паатеро (1999). «Мультилинейная машина: таблично-управляемая программа наименьших квадратов для решения многолинейных задач, включая модель n-стороннего параллельного факторного анализа». Журнал вычислительной и графической статистики . 8 (4): 854–888. doi :10.2307/1390831. JSTOR  1390831.
49. Макс Уэллинг и Маркус Вебер (2001). «Положительная тензорная факторизация». Pattern Recognition Letters . 22 (12): 1255–1261. Bibcode : 2001PaReL..22.1255W. CiteSeerX 10.1.1.21.24 . doi : 10.1016/S0167-8655(01)00070-8. 
50. Джингу Ким и Хэсун Парк (2012). Быстрая неотрицательная тензорная факторизация с использованием метода, подобного активному множеству (PDF) . Высокопроизводительные научные вычисления: алгоритмы и приложения. Springer. С. 311–326.
51. Кенан Йылмаз; А. Тайлан Джемгил и Умут Симсекли (2011). Обобщенная связанная тензорная факторизация (PDF) . НИПС.
52. Вамси К. Потлуру; Сергей М. Плис; Мортен Моруп; Винс Д. Калхун и Терран Лейн (2009). Эффективные мультипликативные обновления для опорных векторных машин . Труды конференции SIAM 2009 года по интеллектуальному анализу данных (SDM). стр. 1218–1229.
53. Вэй Сюй; Синь Лю и Ихонг Гун (2003). Кластеризация документов на основе неотрицательной матричной факторизации. Труды 26-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска. Нью-Йорк: Ассоциация вычислительной техники . С. 267–273.
54. Эггерт, Дж.; Корнер, Э. (2004). «Разреженное кодирование и NMF». Международная объединенная конференция IEEE по нейронным сетям 2004 г. (IEEE Cat. No.04CH37541) . Том 4. стр. 2529–2533. doi :10.1109/IJCNN.2004.1381036. ISBN 978-0-7803-8359-3. S2CID  17923083.
55. Берне, О.; Джоблин, К .; Девиль, И.; Смит, Дж. Д.; Рапачоли, М.; Бернард, Дж. П.; Томас, Дж.; Рич, В.; Абергель, А. (2007-07-01). «Анализ излучения очень мелких пылевых частиц из данных спектроскопии Spitzer с использованием методов слепого разделения сигналов». Астрономия и астрофизика . 469 (2): 575–586. arXiv : astro-ph/0703072 . Bibcode : 2007A&A...469..575B. doi : 10.1051/0004-6361:20066282 . ISSN  0004-6361.
56. Лафреньер, Дэвид; Мароид, Кристиан; Дойон, Рене; Барман, Трэвис (2009). "Обнаружение HR 8799 b с помощью HST/NICMOS в 1998 году". The Astrophysical Journal Letters . 694 (2): L148. arXiv : 0902.3247 . Bibcode : 2009ApJ...694L.148L. doi : 10.1088/0004-637X/694/2/L148. S2CID  7332750.
57. Амара, Адам; Куанц, Саша П. (2012). "PYNPOINT: пакет обработки изображений для поиска экзопланет". Monthly Notices of the Royal Astronomical Society . 427 (2): 948. arXiv : 1207.6637 . Bibcode : 2012MNRAS.427..948A. doi : 10.1111/j.1365-2966.2012.21918.x . S2CID  119200505.
58. Wahhaj, Zahed; Cieza, Lucas A.; Mawet, Dimitri; Yang, Bin; Canovas, Hector; de Boer, Jozua; Casassus, Simon; Ménard, François; Schreiber, Matthias R.; Liu, Michael C.; Biller, Beth A.; Nielsen, Eric L.; Hayward, Thomas L. (2015). «Улучшение отношения сигнал-шум при прямой визуализации экзопланет и околозвездных дисков с помощью MLOCI». Astronomy & Astrophysics . 581 (24): A24. arXiv : 1502.03092 . Bibcode :2015A&A...581A..24W. doi :10.1051/0004-6361/201525837. S2CID  20174209.
59. Нильсен, Финн Аруп; Балслев, Даниэла; Хансен, Ларс Кай (2005). «Изучение задней поясной извилины: разделение между компонентами памяти и боли» (PDF) . НейроИмидж . 27 (3): 520–522. doi :10.1016/j.neuroimage.2005.04.034. PMID  15946864. S2CID  18509039.
60. Коэн, Уильям (2005-04-04). "Enron Email Dataset" . Получено 2008-08-26 .
61. Берри, Майкл В.; Браун, Мюррей (2005). «Наблюдение за электронной почтой с использованием неотрицательной матричной факторизации». Computational and Mathematical Organization Theory . 11 (3): 249–264. doi :10.1007/s10588-005-5380-5. S2CID  16249147.
62. Нильсен, Финн Аруп (2008). Кластеризация научных цитат в Википедии. Викимания . arXiv : 0805.1154 .
63. Хассани, Али; Иранманеш, Амир; Мансури, Наджме (12.11.2019). «Изучение текста с использованием неотрицательной матричной факторизации и латентного семантического анализа». arXiv : 1911.04705 [cs.LG].
64. Берри, Майкл В.; Браун, Мюррей; Лангвилл, Эми Н.; Паукац, В. Пол; Племмонск, Роберт Дж. (15 сентября 2007 г.). «Алгоритмы и приложения для приближенной неотрицательной матричной факторизации». Computational Statistics & Data Analysis . 52 (1): 155–173. doi :10.1016/j.csda.2006.11.006.
65. Юнь Мао; Лоуренс Сол и Джонатан М. Смит (2006). «IDES: служба оценки расстояний в Интернете для больших сетей». Журнал IEEE по избранным областям в коммуникациях . 24 (12): 2273–2284. CiteSeerX 10.1.1.136.3837 . doi :10.1109/JSAC.2006.884026. S2CID  12931155. 
66. Ян Чэнь; Сяо Ван; Конг Ши; и др. (2011). «Phoenix: система координат сети на основе весов с использованием матричной факторизации» (PDF) . Труды IEEE по управлению сетями и службами . 8 (4): 334–347. CiteSeerX 10.1.1.300.2851 . doi :10.1109/tnsm.2011.110911.100079. S2CID  8079061. Архивировано из оригинала (PDF) 2011-11-14. 
67. Шмидт, М. Н., Дж. Ларсен и Ф. Т. Сяо. (2007). «Снижение шума ветра с помощью неотрицательного разреженного кодирования», Машинное обучение для обработки сигналов, Семинар IEEE по , 431–436
68. Frichot E, Mathieu F, Trouillon T, Bouchard G, Francois O (2014). «Быстрая и эффективная оценка коэффициентов индивидуального происхождения». Genetics . 196 (4): 973–983. doi :10.1534/genetics.113.160572. PMC 3982712 . PMID  24496008. 
69. Devarajan, K. (2008). "Неотрицательная матричная факторизация: аналитический и интерпретативный инструмент в вычислительной биологии". PLOS Computational Biology . 4 (7): e1000029. Bibcode : 2008PLSCB...4E0029D. doi : 10.1371/journal.pcbi.1000029 . PMC 2447881. PMID  18654623 . 
70. Hyunsoo Kim & Haesun Park (2007). «Разреженные неотрицательные матричные факторизации с помощью чередующихся наименьших квадратов с ограничением неотрицательности для анализа данных микрочипов». Биоинформатика . 23 (12): 1495–1502. doi : 10.1093/bioinformatics/btm134 . PMID  17483501.
71. Швальбе, Э. (2013). «Профилирование метилирования ДНК медуллобластомы позволяет проводить надежную подклассификацию и улучшать прогнозирование результатов с использованием биопсий, фиксированных формалином». Acta Neuropathologica . 125 (3): 359–371. doi :10.1007/s00401-012-1077-2. PMC 4313078 . PMID  23291781. 
72. Александров, Людмил Б.; Ник-Зайнал, Серена; Ведж, Дэвид К.; Кэмпбелл, Питер Дж.; Страттон, Майкл Р. (2013-01-31). «Расшифровка сигнатур мутационных процессов, действующих при раке человека». Cell Reports . 3 (1): 246–259. doi :10.1016/j.celrep.2012.12.008. ISSN  2211-1247. PMC 3588146 . PMID  23318258. 
73. Stein-O'Brien, Genevieve L.; Arora, Raman; Culhane, Aedin C.; Favorov, Alexander V.; Garmire, Lana X.; Greene, Casey S.; Goff, Loyal A.; Li, Yifeng; Ngom, Aloune; Ochs, Michael F.; Xu, Yanxun (2018-10-01). «Enter the Matrix: Factorization Uncovers Knowledge from Omics». Trends in Genetics . 34 (10): 790–805. doi :10.1016/j.tig.2018.07.003. ISSN  0168-9525. PMC 6309559. PMID 30143323  . 
74. Дин; Ли; Пэн; Парк (2006). «Ортогональные неотрицательные матричные t-факторизации для кластеризации». Труды 12-й международной конференции ACM SIGKDD по обнаружению знаний и добыче данных . С. 126–135. doi :10.1145/1150402.1150420. ISBN 1595933395. S2CID  165018.
75. Ceddia; Pinoli; Ceri; Masseroli (2020). «Методика матричной факторизации для прогнозирования повторного использования лекарств». IEEE Journal of Biomedical and Health Informatics . 24 (11): 3162–3172. doi : 10.1109/JBHI.2020.2991763. PMID  32365039. S2CID  218504587.
76. Пиноли; Седдиа; Чери; Массероли (2021). «Прогнозирование синергизма лекарств с помощью неотрицательной матричной трифакторизации». Труды IEEE/ACM по вычислительной биологии и биоинформатике . PP (4): 1956–1967. doi : 10.1109/TCBB.2021.3091814. PMID  34166199. S2CID  235634059.
77. ДиПаола; Базен; Обри; Ауренго; Кавайолес; Херри; Кан (1982). «Обработка динамических последовательностей в ядерной медицине». IEEE Trans Nucl Sci . 29 (4): 1310–21. Bibcode :1982ITNS...29.1310D. doi :10.1109/tns.1982.4332188. S2CID  37186516.
78. Sitek; Gullberg; Huesman (2002). «Исправление неоднозначных решений в факторном анализе с использованием штрафной цели наименьших квадратов». IEEE Trans Med Imaging . 21 (3): 216–25. doi :10.1109/42.996340. PMID  11989846. S2CID  6553527.
79. Boutchko; Mitra; Baker; Jagust; Gullberg (2015). «Применение факторного анализа, инициированного кластеризацией (CIFA), для классификации тканей в динамической ПЭТ мозга». Журнал мозгового кровотока и метаболизма . 35 (7): 1104–11. doi : 10.1038 /jcbfm.2015.69. PMC 4640278. PMID  25899294. 
80. Абдалах; Бучко; Митра; Гуллберг (2015). «Реконструкция 4-мерных динамических изображений SPECT из несогласованных проекций с использованием алгоритма FADS, инициализированного сплайном (SIFADS)». IEEE Trans Med Imaging . 34 (1): 216–18. doi :10.1109/TMI.2014.2352033. PMID  25167546. S2CID  11060831.
81. C. Boutsidis & E. Gallopoulos (2008). "Инициализация на основе SVD: фора для неотрицательной матричной факторизации". Pattern Recognition . 41 (4): 1350–1362. Bibcode :2008PatRe..41.1350B. CiteSeerX 10.1.1.137.8281 . doi :10.1016/j.patcog.2007.09.010. 
82. Чао Лю; Хун-Чи Ян; Цзиньлян Фань; Ли-Вэй Хе и И-Мин Ван (2010). "Распределенная неотрицательная матричная факторизация для анализа диадических данных в масштабе веб-сайта на MapReduce" (PDF) . Труды 19-й Международной конференции World Wide Web .
83. Цзянтао Инь; Лисинь Гао и Чжунфэй (Марк) Чжан (2014). "Масштабируемая неотрицательная матричная факторизация с блочными обновлениями" (PDF) . Труды Европейской конференции по машинному обучению и принципам и практике обнаружения знаний в базах данных .
84. "Apache Mahout". mahout.apache.org . Получено 14.12.2019 .
85. Dong Wang; Ravichander Vipperla; Nick Evans; Thomas Fang Zheng (2013). "Online Non-Negative Convolutive Pattern Learning for Speech Signals" (PDF) . IEEE Transactions on Signal Processing . 61 (1): 44–56. Bibcode :2013ITSP...61...44W. CiteSeerX 10.1.1.707.7348 . doi :10.1109/tsp.2012.2222381. S2CID  12530378. Архивировано из оригинала (PDF) 2015-04-19 . Получено 2015-04-19 . 
86. Xiangnan He; Min-Yen Kan; Peichu Xie & Xiao Chen (2014). "Комментарии-ориентированная многовидовая кластеризация элементов Web 2.0" (PDF) . Труды 23-й Международной конференции World Wide Web . Архивировано из оригинала (PDF) 2015-04-02 . Получено 2015-03-22 .
87. Jialu Liu; Chi Wang; Jing Gao & Jiawei Han (2013). "Multi-View Clustering via Joint Nonnegative Matrix Factorization". Труды Международной конференции SIAM 2013 года по интеллектуальному анализу данных (PDF) . стр. 252–260. CiteSeerX 10.1.1.301.1771 . doi :10.1137/1.9781611972832.28. ISBN  978-1-61197-262-7. S2CID  4968.
88. Чистиков, Дмитрий; Кифер, Стефан; Марушич, Инес; Ширмохаммади, Махса; Уоррелл, Джеймс (2016-05-22). «Неотрицательная матричная факторизация требует иррациональности». arXiv : 1605.06848 [cs.CC].

Другие

• J. Shen; GW Israël (1989). «Модель рецептора, использующая специфическую технику неотрицательного преобразования для окружающего аэрозоля». Atmospheric Environment . 23 (10): 2289–2298. Bibcode : 1989AtmEn..23.2289S. doi : 10.1016/0004-6981(89)90190-X .
• Пентти Паатеро (1997). «Формулировка наименьших квадратов надежного неотрицательного факторного анализа». Хемометрика и интеллектуальные лабораторные системы . 37 (1): 23–35. doi :10.1016/S0169-7439(96)00044-5.
• Рауль Компасс (2007). «Обобщенная мера расхождения для неотрицательной матричной факторизации». Neural Computation . 19 (3): 780–791. doi :10.1162/neco.2007.19.3.780. PMID  17298233. S2CID  5337451.
• Liu, WX; Zheng, NN & You, QB (2006). «Неотрицательная матричная факторизация и ее применение в распознавании образов». Chinese Science Bulletin . 51 (17–18): 7–18. Bibcode : 2006ChSBu..51....7L. doi : 10.1007/s11434-005-1109-6. S2CID  15445516.
• Нгок-Дьеп Хо; Пол Ван Доорен и Винсент Блондель (2008). «Методы спуска для факторизации неотрицательных матриц». arXiv : 0801.3199 [cs.NA].
• Анджей Цихоцкий ; Рафал Здунек и Шун-ичи Амари (2008). «Неотрицательная матрица и тензорная факторизация». Журнал обработки сигналов IEEE . 25 (1): 142–145. Бибкод : 2008ISPM...25R.142C. дои : 10.1109/MSP.2008.4408452. S2CID  9997603.
• Cédric Févotte; Nancy Bertin & Jean-Louis Durrieu (2009). «Неотрицательная матричная факторизация с дивергенцией Итакуры-Саито: с применением к анализу музыки». Neural Computation . 21 (3): 793–830. doi :10.1162/neco.2008.04-08-771. PMID  18785855. S2CID  13208611.
• Али Тайлан Джемгил (2009). «Байесовский вывод для неотрицательных моделей матричной факторизации». Computational Intelligence and Neuroscience . 2009 (2): 1–17. doi : 10.1155/2009/785152 . PMC  2688815. PMID  19536273 .
• Анджей Чихоцкий, Мортен Мруп и др.: «Достижения в неотрицательной матричной и тензорной факторизации», Hindawi Publishing Corporation, ISBN 978-9774540455 (2008). 
• Анджей Чихоцкий, Рафал Здунек, Ань Хюй Фан и Шун-ичи Амари: «Неотрицательные матричные и тензорные факторизации: приложения к разведочному многофакторному анализу данных и слепому разделению источников», Wiley, ISBN 978-0470746660 (2009). 
• Андри Мирзал: «Неотрицательные матричные факторизации для кластеризации и LSI: теория и программирование», LAP LAMBERT Academic Publishing, ISBN 978-3844324891 (2011). 
• Юн Сян: «Слепое разделение источников: анализ зависимых компонентов», Springer, ISBN 978-9812872265 (2014). 
• Ганеш Р. Наик (ред.): «Методы неотрицательной матричной факторизации: достижения в теории и приложениях», Springer, ISBN 978-3662517000 (2016). 
• Джулиан Беккер: «Неотрицательная матричная факторизация с адаптивными элементами для разделения источников монофонического звука: 1», Shaker Verlag GmbH, Германия, ISBN 978-3844048148 (2016). 
• Джен-Цунг Чиен: «Разделение источников и машинное обучение», Academic Press, ISBN 978-0128177969 (2018). 
• Сёдзи Макино (ред.): «Разделение источников звука», Springer, ISBN 978-3030103033 (2019). 
• Николас Джиллис: «Неотрицательная матричная факторизация», SIAM, ISBN 978-1-611976-40-3 (2020).