stringtranslate.com

Обратное Мура – ​​Пенроуза

В математике и, в частности , в линейной алгебре , обратная матрица Мура-Пенроуза является наиболее широко известным обобщением обратной матрицы . [1] [2] [3] [4] Он был независимо описан Э. Х. Муром [5] в 1920 году, Арне Бьерхаммаром [6] в 1951 году и Роджером Пенроузом [7] в 1955 году. Ранее Эрик Ивар Фредхольм ввел Концепция псевдообратного интегрального оператора в 1903 году. При обращении к матрице термин псевдообратный без дальнейшего уточнения часто используется для обозначения обратного Мура – ​​Пенроуза. Термин «обобщенная инверсия» иногда используется как синоним псевдоинверсии.

Псевдообратное обычно используется для вычисления «наилучшего» ( наименьших квадратов ) решения системы линейных уравнений , у которой нет решения (см. ниже в разделе § Приложения). Другое использование — найти минимальное ( евклидово ) нормированное решение системы линейных уравнений с несколькими решениями. Псевдообратное облегчает формулировку и доказательство результатов линейной алгебры.

Псевдообратная определена и уникальна для всех матриц, элементы которых являются действительными или комплексными числами. Его можно вычислить с помощью разложения по сингулярным значениям . В специальном случае, когда нормальная матрица (например, эрмитова матрица), псевдообратная аннулирует ядро ​​и действует как традиционная инверсия на подпространстве , ортогональном ядру.

Обозначения

В последующем обсуждении принимаются следующие соглашения.

Определение

Для псевдообратная A определяется как матрица, удовлетворяющая всем следующим четырем критериям, известным как условия Мура – ​​Пенроуза: [7] [8]

  1. не обязательно должна быть общей единичной матрицей, но она отображает все векторы-столбцы A в себя:
  2. действует как слабая инверсия :
  3. является эрмитовым :
  4. также является эрмитовым:

Заметим, что и являются операторами ортогонального проектирования, как это следует из и . Точнее, проецируется на изображение (эквивалентно диапазону строк ) и проецируется на изображение (эквивалентно диапазону столбцов ). По сути, приведенные выше четыре условия полностью эквивалентны и являются такими ортогональными проекциями: проецирование на образ имплиц и проецирование на образ имплиц .

Псевдообратная существует для любой матрицы . Если, кроме того , является полным рангом , то есть его ранг равен , то можно задать особенно простое алгебраическое выражение. В частности:

В более общем случае псевдообратное можно выразить, используя разложение по сингулярным значениям . Любую матрицу можно разложить как на некоторые изометрии , так и на диагональную положительную действительную матрицу . Тогда псевдообратное можно записать как . То, что эта матрица удовлетворяет вышеуказанному требованию, непосредственно проверяется наблюдением того, что и , которые являются проекциями на изображение и опору соответственно.

Характеристики

Существование и уникальность

Как обсуждалось выше, для любой матрицы существует одна и только одна псевдообратная . [8]

Матрица, удовлетворяющая только первому из приведенных выше условий, а именно , называется обобщенной обратной. Если матрица удовлетворяет также второму условию, а именно , она называется обобщенно -рефлексивной обратной . Обобщенные обратные всегда существуют, но, как правило, не уникальны. Уникальность является следствием двух последних условий.

Основные свойства

Доказательства приведенных ниже свойств можно найти на сайте b: Темы абстрактной алгебры/линейной алгебры.

Личности

Следующая формула тождества может использоваться для отмены или расширения определенных подвыражений, включающих псевдообратные:

Приведение к эрмитовому случаю

Вычисление псевдообратного метода сводится к его построению в эрмитовом случае. Это возможно через эквивалентности:

как и эрмитовы.

Псевдообратные произведения

Равенство не имеет места вообще. Вернее, предположим . Тогда следующие утверждения эквивалентны: [10]

Достаточными условиями являются :

  1. имеет ортонормированные столбцы (тогда ), или
  2. имеет ортонормированные строки (тогда ), или
  3. имеет линейно независимые столбцы (тогда ) и имеет линейно независимые строки (тогда ), или
  4. , или
  5. .

Обязательным условием является следующее :

Четвертое достаточное условие дает равенства

Вот контрпример, где :

Проекторы

и являются ортогональными операторами проектирования , т. е. являются эрмитовыми ( , ) и идемпотентными ( и ). Следующие положения имеют место:

Последние два свойства подразумевают следующие тождества:

Другое свойство следующее: если эрмитова и идемпотентна (истинна тогда и только тогда, когда она представляет собой ортогональный проектор), то для любой матрицы выполняется следующее уравнение: [11]

Это можно доказать, определив матрицы , и проверив, что они действительно являются псевдообратными для, проверив, что определяющие свойства псевдообратных матриц сохраняются, когда эрмитова и идемпотентна.

Из последнего свойства следует, что если эрмитова и идемпотентна, то для любой матрицы

Наконец, если – матрица ортогонального проектирования, то ее псевдообратная тривиально совпадает с самой матрицей, т. е. .

Геометрическая конструкция

Если мы рассматриваем матрицу как линейное отображение поля, ее можно разложить следующим образом. Мы пишем для прямой суммы , для ортогонального дополнения , для ядра карты и для образа карты. Обратите внимание, что и . Тогда ограничение является изоморфизмом. Это означает, что on является обратным этому изоморфизму и равен нулю на

Другими словами: чтобы найти заданное в , сначала спроецируйте ортогонально на диапазон , найдя точку в диапазоне. Затем сформируйте , то есть найдите те векторы, которые отправляют в . Это будет аффинное подпространство, параллельное ядру . Элемент этого подпространства, имеющий наименьшую длину (то есть ближайший к началу координат), и есть ответ, который мы ищем. Его можно найти, взяв произвольный член и спроектировав его ортогонально на ортогональное дополнение ядра .

Это описание тесно связано с решением линейной системы с минимальной нормой.

Предельные отношения

Псевдообратными являются пределы:

Тихоновскую регуляризацию[8] : 263 

Непрерывность

В отличие от обычного обращения матрицы, процесс получения псевдообратных не является непрерывным : если последовательность сходится к матрице (скажем, в максимальной норме или норме Фробениуса ), то не обязательно сходиться к . Однако, если все матрицы имеют тот же ранг, что и , будет сходиться к . [12]

Производная

Производная вещественной псевдообратной матрицы, имеющей постоянный ранг в точке, может быть вычислена через производную исходной матрицы: [13]

[14][15]

Примеры

Поскольку для обратимых матриц псевдообратная равна обычной обратной, ниже рассматриваются только примеры необратимых матриц.

Действительно, и, таким образом , . Аналогично , и таким образом .
Обратите внимание, что это не является ни инъективным, ни сюръективным, и, следовательно, псевдообратный не может быть вычислен через ни , поскольку и оба сингулярны, и, кроме того, не является ни левым, ни правым обратным.
Тем не менее, псевдообратное можно вычислить с помощью SVD, наблюдая за этим и, следовательно , .
Для этой матрицы существует левая обратная и, таким образом, равна , действительно,


Особые случаи

Скаляры

Также возможно определить псевдообратное значение для скаляров и векторов. Это равносильно тому, чтобы рассматривать их как матрицы. Псевдообратный скаляр равен нулю, если равен нулю, и обратному значению в противном случае:

Векторы

Псевдообратным нулевому вектору (все нули) является транспонированный нулевой вектор. Псевдообратным ненулевого вектора является сопряженный транспонированный вектор, деленный на квадрат его величины:

x → + = { 0 → T , if  x → = 0 → ; x → ∗ x → ∗ x → , otherwise . {\displaystyle {\vec {x}}^{+}={\begin{cases}{\vec {0}}^{\operatorname {T} },&{\text{if }}{\vec {x}}={\vec {0}};

Псевдообратная диагональная матрица в квадрате получается путем взятия обратной величины ненулевых диагональных элементов. Формально, если - квадратная диагональная матрица с и , то . В более общем смысле, если это любая прямоугольная матрица, единственные ненулевые элементы которой находятся на диагонали, что означает , , то это прямоугольная матрица, диагональные элементы которой являются обратными исходным, то есть .

Линейно независимые колонны

Если ранг идентичен рангу его столбца , , (для ,) существуют линейно независимые столбцы и обратим. В этом случае явная формула имеет вид: [16]

Отсюда следует, что тогда это левая инверсия :   .

Линейно независимые строки

Если ранг идентичен рангу строки , , (для ,) существуют линейно независимые строки и обратим. В этом случае явная формула имеет вид:

Отсюда следует, что является правой обратной :   .

Ортонормированные столбцы или строки

Это особый случай либо полного ранга столбца, либо полного ранга строки (рассмотрено выше). Если имеются ортонормированные столбцы ( ) или ортонормированные строки ( ), то:

Нормальные матрицы

Если является нормальным , то есть он коммутирует со своим сопряженным транспонированием, то его псевдообратное можно вычислить путем его диагонализации, отображения всех ненулевых собственных значений в их обратные и отображения нулевых собственных значений в ноль. Следствием является то, что коммутация с его транспонированием подразумевает, что он коммутирует со своим псевдообратным.

EP-матрицы

(Квадратная) матрица называется матрицей EP, если она коммутирует со своей псевдообратной. В таких случаях (и только в таких случаях) можно получить псевдообратный полином от . Полином, такой, что можно легко получить из характеристического многочлена или, в более общем смысле, из любого аннулирующего многочлена . [17]

Матрицы ортогональных проекций

Это частный случай нормальной матрицы с собственными значениями 0 и 1. Если – матрица ортогонального проектирования, то есть и , то псевдообратная тривиально совпадает с самой матрицей:

Циркулянтные матрицы

Для циркулянтной матрицы разложение по сингулярным значениям задается преобразованием Фурье , то есть сингулярные значения являются коэффициентами Фурье. Пусть – матрица дискретного преобразования Фурье (ДПФ) ; тогда [18]

Строительство

Разложение рангов

Пусть обозначает ранг . _ Тогда можно (ранг) разложить как где и имеют ранг . Затем .

QR-метод

Явное вычисление произведения или их обратных чисел на практике часто является источником ошибок числового округления и затрат на вычисления. Вместо этого можно использовать альтернативный подход с использованием QR -разложения .

Рассмотрим случай, когда имеет полный ранг столбца, так что . Тогда можно использовать разложение Холецкого , где – верхняя треугольная матрица . Умножение на обратное затем легко выполняется путем решения системы с несколькими правыми частями:

которую можно решить прямой заменой с последующей обратной заменой .

Разложение Холецкого можно вычислить без явного формирования , альтернативно используя QR-разложение , где имеет ортонормированные столбцы, и является верхнетреугольным. Затем

то же самое относится и к фактору Холецкого .

Случай полного ранга строки рассматривается аналогично с использованием формулы и аналогичного аргумента, меняя роли и .

Использование полиномов в матрицах

Для произвольного имеем нормальную и, как следствие, матрицу EP. Тогда Она сможет найти такой полином , что . В этом случае псевдообратная функция имеет вид [17]

Разложение по сингулярным значениям (SVD)

Вычислительно простой и точный способ вычисления псевдообратного значения — использование разложения по сингулярным значениям . [16] [8] [19] Если - разложение по сингулярным значениям , то . Для прямоугольной диагональной матрицы, такой как , мы получаем псевдообратную величину, беря обратную величину каждого ненулевого элемента на диагонали, оставляя нули на месте, а затем транспонируя матрицу. В численных вычислениях только элементы, превышающие некоторый малый допуск, считаются ненулевыми, а остальные заменяются нулями. Например, в функции MATLAB или GNU Octave pinv допуск принимается равным t = ε⋅max( m , n )⋅max(Σ) , где ε — машинный эпсилон .

В вычислительных затратах этого метода преобладает стоимость вычисления SVD, которая в несколько раз превышает стоимость умножения матриц на матрицы, даже если используется современная реализация (например, LAPACK ) .

Приведенная выше процедура показывает, почему получение псевдообратного преобразования не является непрерывной операцией: если исходная матрица имеет сингулярное значение 0 (диагональный элемент матрицы выше), то небольшая модификация может превратить этот ноль в крошечное положительное число, тем самым повлияв на псевдообратное число. драматично, поскольку теперь нам приходится брать обратную величину крошечного числа.

Блочные матрицы

Существуют оптимизированные подходы для расчета псевдообратных матриц с блочной структурой.

Итерационный метод Бен-Исраэля и Коэна

Другой метод вычисления псевдообратного (см. обратное Дразина ) использует рекурсию

которую иногда называют последовательностью гипермощности. Эта рекурсия создает последовательность, квадратично сходящую к псевдообратной, если она начинается с соответствующего удовлетворяющего . Утверждается, что выбор (где , с обозначением наибольшего сингулярного значения ) [20] неконкурентен методу с использованием упомянутого выше SVD, поскольку даже для умеренно плохо обусловленных матриц требуется много времени, прежде чем он попадет в область квадратичная сходимость. [21] Однако, если начать с уже близкого к обратному Мура-Пенроуза и , например , сходимости будет быстрой (квадратичной).

Обновление псевдоинверсии

Для случаев, когда имеет полный ранг строки или столбца и обратная корреляционная матрица ( для полного ранга строки или для полного ранга столбца) уже известна, псевдообратная для матриц, связанных с, может быть вычислена путем применения формулы Шермана-Моррисона- Формула Вудбери для обновления обратной корреляционной матрицы, что может потребовать меньше усилий. В частности, если связанная матрица отличается от исходной только измененной, добавленной или удаленной строкой или столбцом, существуют дополнительные алгоритмы, использующие эту взаимосвязь. [22] [23]

Аналогичным образом можно обновить коэффициент Холецкого при добавлении строки или столбца, не создавая явно обратную матрицу корреляции. Однако обновление псевдоинверсии в общем случае с дефицитом ранга гораздо сложнее. [24] [25]

Библиотеки программного обеспечения

Качественные реализации SVD, QR и обратной замены доступны в стандартных библиотеках, таких как LAPACK . Написание собственной реализации SVD — это крупный программный проект, требующий значительных вычислительных знаний . Однако в особых обстоятельствах, таких как параллельные вычисления или встроенные вычисления , альтернативные реализации с помощью QR или даже использование явной обратной операции могут быть предпочтительными, а пользовательские реализации могут быть неизбежными.

Пакет Python NumPy обеспечивает псевдообратные вычисления с помощью своих функций matrix.Iи linalg.pinv; он pinvиспользует алгоритм на основе SVD. SciPy добавляет функцию scipy.linalg.pinv, которая использует решатель наименьших квадратов.

Пакет MASS для R обеспечивает вычисление обратной функции Мура – ​​Пенроуза с помощью этой ginvфункции. [26] Функция ginvвычисляет псевдообратную, используя разложение по сингулярным значениям, предоставляемое функцией svdв базовом пакете R. Альтернативой является использование pinvфункции, доступной в пакете pracma.

Язык программирования Octave обеспечивает псевдоинверсию через стандартную функцию пакета pinvи pseudo_inverse()метод.

В Julia (язык программирования) пакет LinearAlgebra стандартной библиотеки обеспечивает реализацию обратного Мура-Пенроуза, pinv()реализуемую посредством разложения по сингулярным значениям. [27]

Приложения

Линейный метод наименьших квадратов

Псевдообратное обеспечивает решение системы линейных уравнений методом наименьших квадратов . [28] При задана система линейных уравнений

в общем случае вектор , решающий систему, может не существовать, а если он и существует, то не быть уникальным. Более конкретно, решение существует тогда и только тогда, когда находится в образе , и уникально тогда и только тогда, когда оно инъективно. Псевдообратная задача решает задачу «наименьших квадратов» следующим образом:

Этот результат легко распространяется на системы с кратными правыми частями, когда евклидова норма заменяется нормой Фробениуса. Позволять .

Получение всех решений линейной системы

Если линейная система

имеет какие-либо решения, все они заданы формулой [30]

для произвольного вектора . Решение(я) существует тогда и только тогда, когда . [30] Если последнее верно, то решение уникально тогда и только тогда, когда имеет полный ранг столбца, и в этом случае это нулевая матрица. Если решения существуют, но не имеют полного ранга столбца, то мы имеем неопределенную систему , все бесконечные решения которой задаются этим последним уравнением.

Решение минимальной нормы линейной системы

Для линейных систем с неединственными решениями (например, недоопределенных систем) псевдообратное можно использовать для построения решения минимальной евклидовой нормы среди всех решений.

Этот результат легко распространяется на системы с кратными правыми частями, когда евклидова норма заменяется нормой Фробениуса. Позволять .

Номер условия

Используя псевдообратное и матричную норму , можно определить число обусловленности для любой матрицы:

Большое число обусловленности означает, что задача поиска решений методом наименьших квадратов соответствующей системы линейных уравнений плохо обусловлена ​​в том смысле, что небольшие ошибки в записях могут привести к огромным ошибкам в записях решения. [31]

Обобщения

Чтобы решить более общие задачи наименьших квадратов, можно определить обратные Мура – ​​Пенроуза для всех непрерывных линейных операторов между двумя гильбертовыми пространствами и , используя те же четыре условия, что и в нашем определении выше. Оказывается, не всякий непрерывный линейный оператор имеет в этом смысле непрерывный линейный псевдообратный. [31] Те, кто это делает, — это именно те, чей диапазон ограничен в .

Понятие псевдообратного существует для матриц над произвольным полем , наделенных произвольным инволютивным автоморфизмом . В этом более общем случае данная матрица не всегда имеет псевдообратную. Необходимым и достаточным условием существования псевдообратного является то , что , где обозначает результат применения операции инволюции к транспонированию . Когда оно существует, оно уникально. [32] Пример : рассмотрим поле комплексных чисел, снабженное тождественной инволюцией (в отличие от инволюции, рассматриваемой в другом месте статьи); существуют ли матрицы, которые не имеют псевдообратных в этом смысле? Рассмотрим матрицу . Обратите внимание на это, пока . Таким образом, эта матрица не имеет псевдообратной в этом смысле.

В абстрактной алгебре инверсия Мура-Пенроуза может быть определена на *-регулярной полугруппе . Это абстрактное определение совпадает с определением в линейной алгебре.

Смотрите также

Примечания

  1. ^ Бен-Исраэль и Гревилл 2003, с. 7.
  2. ^ Кэмпбелл и Мейер 1991, с. 10.
  3. ^ Накамура 1991, с. 42.
  4. ^ Рао и Митра 1971, с. 50–51.
  5. ^ Мур, Э.Х. (1920). «Об обратной общей алгебраической матрице». Бюллетень Американского математического общества . 26 (9): 394–95. дои : 10.1090/S0002-9904-1920-03322-7 .
  6. ^ Бьерхаммар, Арне (1951). «Применение матричного исчисления к методу наименьших квадратов; со специальными ссылками на геодезические расчеты». Пер. Рой. Инст. Тех. Стокгольм . 49 .
  7. ^ Аб Пенроуз, Роджер (1955). «Обобщенное обратное для матриц». Труды Кембриджского философского общества . 51 (3): 406–13. Бибкод : 1955PCPS...51..406P. дои : 10.1017/S0305004100030401 .
  8. ^ abcde Голуб, Джин Х .; Чарльз Ф. Ван Лоан (1996). Матричные вычисления (3-е изд.). Балтимор: Джонс Хопкинс. стр. 257–258. ISBN 978-0-8018-5414-9.
  9. ^ abc Стер, Йозеф; Булирш, Роланд (2002). Введение в численный анализ (3-е изд.). Берлин, Нью-Йорк: Springer-Verlag . ISBN 978-0-387-95452-3..
  10. ^ Гревилл, Теннесси (1 октября 1966). «Примечание об обобщенном обратном матричном произведении». Обзор СИАМ . 8 (4): 518–521. Бибкод : 1966SIAMR...8..518G. дои : 10.1137/1008107. ISSN  0036-1445.
  11. ^ Мациевский, Энтони А.; Кляйн, Чарльз А. (1985). «Обход препятствий для кинематически избыточных манипуляторов в динамически изменяющихся средах». Международный журнал исследований робототехники . 4 (3): 109–117. дои : 10.1177/027836498500400308. HDL : 10217/536 . S2CID  17660144.
  12. ^ Ракочевич, Владимир (1997). «О непрерывности обратных Мура – ​​Пенроуза и Дрейзина» (PDF) . Математический весник . 49 : 163–72.
  13. ^ Голуб, Г.Х.; Перейра, В. (апрель 1973 г.). «Дифференциация псевдообратных и нелинейных задач наименьших квадратов, переменные которых разделяются». SIAM Journal по численному анализу . 10 (2): 413–32. Бибкод : 1973SJNA...10..413G. дои : 10.1137/0710036. JSTOR  2156365.
  14. ^ Хьёрунгнес, Аре (2011). Производные комплексных матриц: с применением в обработке сигналов и связи . Нью-Йорк: Издательство Кембриджского университета. п. 52. ИСБН 9780521192644.
  15. ^ Лю, Шуанчжэ; Тренклер, Гетц; Колло, Тыну; фон Розен, Дитрих; Баксалари, Оскар Мария (2023). «Профессор Хайнц Нойдекер и матричное дифференциальное исчисление». Статистические документы . doi : 10.1007/s00362-023-01499-w.
  16. ^ аб Бен-Исраэль и Гревилл 2003.
  17. ^ Аб Баджо, И. (2021). «Вычисление обратных операций Мура – ​​Пенроуза с полиномами в матрицах». Американский математический ежемесячник . 128 (5): 446–456. дои : 10.1080/00029890.2021.1886840.
  18. ^ Столлингс, WT; Бульон, ТЛ (1972). «Псевдообратная r -циркулянтная матрица». Труды Американского математического общества . 34 (2): 385–88. дои : 10.2307/2038377. JSTOR  2038377.
  19. ^ Линейные системы и псевдообратные
  20. ^ Бен-Исраэль, Ади; Коэн, Дэн (1966). «Об итеративном вычислении обобщенных обратных и связанных с ними проекций». SIAM Journal по численному анализу . 3 (3): 410–19. Бибкод : 1966SJNA....3..410B. дои : 10.1137/0703035. JSTOR  2949637.PDF
  21. ^ Седерстрем, Торстен; Стюарт, GW (1974). «О численных свойствах итерационного метода вычисления обобщенного обратного Мура – ​​Пенроуза». SIAM Journal по численному анализу . 11 (1): 61–74. Бибкод : 1974SJNA...11...61S. дои : 10.1137/0711008. JSTOR  2156431.
  22. ^ Грамс, Тино (1992). Worterkennung mit einem künstlichen Neuronalen Netzwerk (докторская диссертация). Университет Георга Августа в Геттингене. ОСЛК  841706164.
  23. Эмтияз, Мохаммад (27 февраля 2008 г.). «Обновление обратной матрицы при добавлении/удалении столбца» (PDF) .
  24. ^ Мейер, Карл Д. младший (1973). «Обобщенные обратные и ранги блочных матриц». СИАМ J. Appl. Математика . 25 (4): 597–602. дои : 10.1137/0125057.
  25. ^ Мейер, Карл Д. младший (1973). «Обобщенное обращение модифицированных матриц». СИАМ J. Appl. Математика . 24 (3): 315–23. дои : 10.1137/0124033.
  26. ^ «R: Обобщенная обратная матрица».
  27. ^ "ЛинейнаяАлгебра.pinv".
  28. ^ Пенроуз, Роджер (1956). «О наилучшем приближенном решении линейных матричных уравнений». Труды Кембриджского философского общества . 52 (1): 17–19. Бибкод : 1956PCPS...52...17P. дои : 10.1017/S0305004100030929. S2CID  122260851.
  29. ^ Аб Планитц, М. (октябрь 1979 г.). «Несовместные системы линейных уравнений». Математический вестник . 63 (425): 181–85. дои : 10.2307/3617890. JSTOR  3617890. S2CID  125601192.
  30. ^ аб Джеймс, М. (июнь 1978 г.). «Обобщенная инверсия». Математический вестник . 62 (420): 109–14. дои : 10.1017/S0025557200086460. S2CID  126385532.
  31. ^ Аб Хаген, Роланд; Рох, Штеффен; Зильберманн, Бернд (2001). «Раздел 2.1.2». C*-алгебры и численный анализ . ЦРК Пресс.
  32. ^ Перл, Мартин Х. (1 октября 1968). «Обобщенные обратные матрицы с элементами, взятыми из произвольного поля». Линейная алгебра и ее приложения . 1 (4): 571–587. дои : 10.1016/0024-3795(68)90028-1 . ISSN  0024-3795.

Рекомендации

Внешние ссылки