stringtranslate.com

Собственное разложение матрицы

В линейной алгебре собственное разложение — это факторизация матрицы в каноническую форму , при которой матрица представляется через ее собственные значения и собственные векторы . Таким способом можно факторизовать только диагонализуемые матрицы . Когда факторизуемая матрица является нормальной или действительной симметричной матрицей , разложение называется «спектральным разложением», выведенным из спектральной теоремы .

Фундаментальная теория собственных векторов и собственных значений матрицы

(Ненулевой) вектор v размерности N является собственным вектором квадратной матрицы A размера N × N , если он удовлетворяет линейному уравнению вида

для некоторого скаляра λ . Тогда λ называется собственным значением, соответствующим v . С геометрической точки зрения, собственные векторы A — это векторы, которые A просто удлиняет или сжимает, а величина, на которую они удлиняются/сжимаются, является собственным значением. Приведенное выше уравнение называется уравнением собственных значений или проблемой собственных значений.

Это дает уравнение для собственных значений

Мы называем p ( λ ) характеристическим полиномом , а уравнение, называемое характеристическим уравнением, представляет собой полиномиальное уравнение N -го порядка относительно неизвестного λ . Это уравнение будет иметь N λ различных решений, где 1 ≤ N λN . Множество решений, то есть собственных значений, называется спектром оператора A. [1] [2] [3]

Если поле скаляров алгебраически замкнуто , то мы можем факторизовать p как

Целое число n i называется алгебраической кратностью собственного значения λ i . Сумма алгебраических кратностей равна N :

Для каждого собственного значения λ i у нас есть определенное уравнение собственных значений

У каждого уравнения на собственные значения будет 1 ≤ ​​m in i линейно независимых решений. Линейные комбинации решений mi (за исключением того , которое дает нулевой вектор) являются собственными векторами, связанными с собственным значением λ i . Целое число m i называется геометрической кратностью λ i . Важно помнить, что алгебраическая кратность n i и геометрическая кратность mi могут быть равны, а могут и не быть равными, но мы всегда имеем m in i . Самый простой случай, конечно, когда m i = n i = 1 . Общее количество линейно независимых собственных векторов N v можно вычислить путем суммирования геометрических кратностей

Собственные векторы могут быть проиндексированы собственными значениями с использованием двойного индекса, где vij является j - м собственным вектором для i- го собственного значения. Собственные векторы также могут быть проиндексированы с использованием более простого обозначения одного индекса v k с k = 1, 2, ..., N v .

Собственное разложение матрицы

Пусть A — квадратная матрица размера n × n с n линейно независимыми собственными векторами q i (где i = 1, ..., n ). Тогда A можно факторизовать как

где Q — квадратная матрица размера n × n , i -й столбец которой является собственным вектором q i матрицы A , а Λдиагональная матрица , диагональные элементы которой являются соответствующими собственными значениями, Λ ii = λ i . Обратите внимание, что таким способом можно факторизовать только диагонализуемые матрицы . Например, дефектную матрицу (которая является матрицей сдвига ) невозможно диагонализировать.

Собственные векторы n q i обычно нормируются, но это не обязательно. Ненормализованный набор из n собственных векторов vi также может использоваться в качестве столбцов Q . Это можно понять, заметив, что величина собственных векторов в Q сокращается при разложении из-за присутствия Q −1 . Если одно из собственных значений λ i имеет несколько линейно независимых собственных векторов (т. е. геометрическая кратность λ i больше 1), то эти собственные векторы для этого собственного значения λ i можно выбрать взаимно ортогональными ; однако, если два собственных вектора принадлежат двум разным собственным значениям, они могут оказаться не ортогональными друг другу (см. пример ниже). Особый случай заключается в том, что если A — нормальная матрица, то по спектральной теореме всегда возможно диагонализировать A в ортонормированном базисе {q i } .

Разложение можно вывести из фундаментального свойства собственных векторов:

Линейно независимые собственные векторы q i с ненулевыми собственными значениями образуют базис (не обязательно ортонормированный) для всех возможных произведений A x , для xC n , который совпадает с образом (или диапазоном ) соответствующего матричного преобразования , а также пространство столбцов матрицы A . Число линейно независимых собственных векторов q i с ненулевыми собственными значениями равно рангу матрицы A , а также размерности образа (или диапазона) соответствующего матричного преобразования, а также ее столбцовому пространству.

Линейно независимые собственные векторы q i с нулевым собственным значением образуют базис (который может быть выбран ортонормированным) для нулевого пространства (также известного как ядро) матричного преобразования A .

Пример

Действительная матрица 2 × 2 A

может быть разложена в диагональную матрицу путем умножения неособой матрицы B

Затем

для некоторой действительной диагональной матрицы .

Умножив обе части уравнения слева на B :

Приведенное выше уравнение можно разложить на два одновременных уравнения :

Вынесение собственных значений x и y :

Сдача в аренду

это дает нам два векторных уравнения:

И может быть представлен одним векторным уравнением, включающим два решения в качестве собственных значений:

где λ представляет два собственных значения x и y , а u представляет векторы a и b .

Сдвиг λ u в левую часть и вынесение u за скобки

Поскольку B неособа, существенно, чтобы u не было равно нулю. Поэтому,

Таким образом

давая нам решения собственных значений матрицы A при λ = 1 или λ = 3 , и результирующая диагональная матрица от собственного разложения матрицы A , таким образом, равна .

Возвращая решения к приведенным выше одновременным уравнениям

Решая уравнения, имеем

Таким образом, матрица B , необходимая для собственного разложения матрицы A , равна

то есть:

Матрица, обратная через собственное разложение

Если матрица A может быть разложена по собственным значениям и ни одно из ее собственных значений не равно нулю, то A обратима , а ее обратная матрица определяется формулой

Если - симметричная матрица, поскольку формируется из собственных векторов , гарантированно будет ортогональной матрицей , следовательно . Более того, поскольку Λдиагональная матрица , ее обратную легко вычислить:

Практические последствия

Когда собственное разложение используется в матрице измеренных реальных данных , обратное может быть менее допустимым, когда все собственные значения используются без изменений в приведенной выше форме. Это связано с тем, что, поскольку собственные значения становятся относительно небольшими, их вклад в инверсию велик. Те, кто близок к нулю или находится на уровне «шума» измерительной системы, будут иметь чрезмерное влияние и могут затруднить решение (обнаружение) с использованием обратного метода. [4]

Были предложены два способа смягчения последствий: усечение малых или нулевых собственных значений и расширение наименьшего надежного собственного значения до тех, которые ниже его. См. также регуляризацию Тихонова как статистически мотивированный, но предвзятый метод скатывания собственных значений, когда в них начинает преобладать шум.

Первый метод смягчения аналогичен разреженной выборке исходной матрицы, удаляя компоненты, которые не считаются ценными. Однако если процесс решения или обнаружения близок к уровню шума, усечение может удалить компоненты, которые влияют на желаемое решение.

Второе смягчение расширяет собственное значение, так что более низкие значения оказывают гораздо меньшее влияние на инверсию, но все равно вносят свой вклад, так что решения вблизи шума все равно будут найдены.

Надежное собственное значение можно найти, предположив, что очень похожие и низкие собственные значения являются хорошим представлением шума измерений (который считается низким для большинства систем).

Если собственные значения отсортированы по рангу по значению, то надежное собственное значение можно найти путем минимизации лапласиана отсортированных собственных значений: [5]

где собственные значения имеют индекс s , обозначающий сортировку. Позицией минимизации является наименьшее надежное собственное значение. В измерительных системах квадратный корень из этого надежного собственного значения представляет собой средний шум по компонентам системы.

Функциональное исчисление

Собственное разложение позволяет значительно упростить вычисление степенных рядов матриц. Если f  ( x ) определяется выражением

тогда мы это знаем

Поскольку Λдиагональная матрица , функции от Λ очень легко вычислить:

Недиагональные элементы f  ( Λ ) равны нулю; то есть f  ( Λ ) также является диагональной матрицей. Следовательно, вычисление f  ( A ) сводится к простому вычислению функции по каждому из собственных значений.

Похожий метод работает в более общем плане с голоморфным функциональным исчислением , используя

сверху. И снова мы обнаруживаем, что

Примеры

которые являются примерами функций . Кроме того, – матричная экспонента .

Разложение для специальных матриц

Подмножества важных классов матриц

Когда A является нормальной или вещественной симметричной матрицей, разложение называется «спектральным разложением», выведенным из спектральной теоремы.

Нормальные матрицы

Комплекснозначная квадратная матрица A является нормальной (то есть A * A = AA * , где A *сопряженная транспонированная матрица ) тогда и только тогда, когда ее можно разложить как

где Uунитарная матрица (то есть U * = U −1 ), а Λ = Diag( λ 1 , ..., λ n )диагональная матрица . [6] Столбцы u 1 , ..., un of U образуют ортонормированный базис и являются собственными векторами A с соответствующими собственными значениями λ 1 , ..., λ n .

Если A ограничено тем, что является эрмитовой матрицей ( A = A * ), то Λ имеет только вещественные элементы. Если A ограничено унитарной матрицей, то Λ принимает все свои значения на комплексной единичной окружности, т. е. | λ я | = 1 .

Действительные симметричные матрицы

В частном случае для каждой вещественной симметричной матрицы размера n × n собственные значения вещественны, а собственные векторы могут быть выбраны вещественными и ортонормированными . Таким образом, действительную симметричную матрицу A можно разложить как

где Qортогональная матрица , столбцы которой — действительные ортонормированные собственные векторы A , а Λ — диагональная матрица , элементы которой являются собственными значениями A. [7]

Полезные факты

Полезные факты о собственных значениях

Полезные факты о собственных векторах

Полезные факты о собственном разложении

Полезные факты об обратной матрице

Численные расчеты

Численное вычисление собственных значений

Предположим, мы хотим вычислить собственные значения данной матрицы. Если матрица маленькая, мы можем вычислить их символически, используя характеристический полином . Однако для матриц большего размера это часто невозможно, и в этом случае приходится использовать численный метод .

На практике собственные значения больших матриц не вычисляются с использованием характеристического полинома. Вычисление многочлена само по себе становится дорогостоящим, а точные (символические) корни многочлена высокой степени может быть трудно вычислить и выразить: теорема Абеля – Руффини подразумевает, что корни многочленов высокой степени (5 или выше) вообще не могут выражаться просто с помощью корней n- й степени. Следовательно, общие алгоритмы поиска собственных векторов и собственных значений являются итеративными .

Существуют итерационные численные алгоритмы аппроксимации корней многочленов, такие как метод Ньютона , но в целом нецелесообразно вычислять характеристический многочлен и затем применять эти методы. Одна из причин заключается в том, что небольшие ошибки округления коэффициентов характеристического многочлена могут привести к большим ошибкам в собственных значениях и собственных векторах: корни представляют собой крайне плохо обусловленную функцию коэффициентов. [8]

Простой и точный итерационный метод — это степенной метод : выбирается случайный вектор v и вычисляется последовательность единичных векторов как

Эта последовательность почти всегда будет сходиться к собственному вектору, соответствующему собственному значению наибольшей величины, при условии, что v имеет ненулевой компонент этого собственного вектора в базисе собственных векторов (а также при условии, что существует только одно собственное значение наибольшей величины). Этот простой алгоритм полезен в некоторых практических приложениях; например, Google использует его для расчета рейтинга страниц документов в своей поисковой системе. [9] Кроме того, степенной метод является отправной точкой для многих более сложных алгоритмов. Например, сохраняя не только последний вектор в последовательности, но и рассматривая диапазон всех векторов в последовательности, можно получить лучшее (быстрее сходящееся) приближение для собственного вектора, и эта идея лежит в основе теории Арнольди . итерация . [8] Альтернативно, важный алгоритм QR также основан на тонком преобразовании степенного метода. [8]

Численное вычисление собственных векторов

После того как собственные значения вычислены, собственные векторы можно вычислить, решив уравнение

методом исключения Гаусса или любым другим методом решения матричных уравнений .

Однако в практических крупномасштабных методах собственных значений собственные векторы обычно вычисляются другими способами, как побочный продукт вычисления собственных значений. Например, при степенной итерации собственный вектор фактически вычисляется перед собственным значением (которое обычно вычисляется по коэффициенту Рэлея собственного вектора). [8] В алгоритме QR для эрмитовой матрицы (или любой нормальной матрицы) ортонормированные собственные векторы получаются как произведение Q- матриц на этапах алгоритма. [8] (Для более общих матриц алгоритм QR сначала дает разложение Шура , из которого собственные векторы могут быть получены с помощью процедуры обратной замены . [10] ) Для эрмитовых матриц алгоритм собственных значений «разделяй и властвуй» более эффективен, чем алгоритм QR, если желательны как собственные векторы, так и собственные значения. [8]

Дополнительные темы

Обобщенные собственные пространства

Напомним, что геометрическая кратность собственного значения может быть описана как размерность соответствующего собственного пространства, нулевого пространства λ IA . Алгебраическую кратность также можно рассматривать как размерность: это размерность соответствующего обобщенного собственного пространства (1-й смысл), которое является нулевым пространством матрицы ( λ IA ) k для любого достаточно большого k . То есть это пространство обобщенных собственных векторов (первый смысл), где обобщенным собственным вектором является любой вектор, который в конечном итоге становится равным 0, если λ IA применяется к нему достаточное количество раз подряд. Любой собственный вектор является обобщенным собственным вектором, поэтому каждое собственное пространство содержится в соответствующем обобщенном собственном пространстве. Это обеспечивает простое доказательство того, что геометрическая кратность всегда меньше или равна алгебраической кратности.

Это использование не следует путать с обобщенной проблемой собственных значений , описанной ниже.

Сопряженный собственный вектор

Сопряженный собственный вектор или консобственный вектор — это вектор, передаваемый после преобразования в скаляр, кратный его сопряженному, где скаляр называется сопряженным собственным значением или собственным значением линейного преобразования. Собственные векторы и собственные значения представляют по существу ту же информацию и значение, что и обычные собственные векторы и собственные значения, но возникают, когда используется альтернативная система координат. Соответствующее уравнение

Например, в теории когерентного электромагнитного рассеяния линейное преобразование A представляет действие, выполняемое рассеивающим объектом, а собственные векторы представляют состояния поляризации электромагнитной волны. В оптике система координат определяется с точки зрения волны, известная как выравнивание прямого рассеяния (FSA), и приводит к регулярному уравнению собственных значений, тогда как в радаре система координат определяется с точки зрения радара, известная как задняя Выравнивание рассеяния (BSA) и приводит к уравнению собственных значений.

Обобщенная проблема собственных значений

Обобщенная проблема собственных значений (второй смысл) - это проблема поиска (ненулевого) вектора v , который подчиняется

где A и B — матрицы. Если v подчиняется этому уравнению с некоторым λ , то мы называем v обобщенным собственным вектором A и B ( во втором смысле), а λ называется обобщенным собственным значением A и B ( во втором смысле), которое соответствует обобщенному собственному значению A и B (во втором смысле). собственный вектор v . Возможные значения λ должны подчиняться следующему уравнению

Если можно найти n линейно независимых векторов { v 1 , …, v n } таких, что для каждого i ∈ {1, …, n } Av i = λ i Bv i , то мы определяем матрицы P и D такие, что

Тогда имеет место равенство

И доказательство

А поскольку P обратимо, мы умножаем уравнение справа на обратное, завершая доказательство.

Множество матриц вида Aλ B , где λ — комплексное число, называется карандашом ; термин «матричный карандаш» также может относиться к паре ( A , B ) матриц. [11]

Если B обратима, то исходную задачу можно записать в виде

что является стандартной проблемой собственных значений. Однако в большинстве ситуаций предпочтительнее не выполнять инверсию, а решать обобщенную проблему собственных значений, как указано изначально. Это особенно важно, если A и B являются эрмитовыми матрицами , поскольку в этом случае B −1 A вообще не является эрмитовой и важные свойства решения больше не очевидны.

Если A и B являются симметричными или эрмитовыми, а B также является положительно определенной матрицей , собственные значения λ i действительны, а собственные векторы v 1 и v 2 с различными собственными значениями являются B -ортогональными ( v 1 * Bv 2 = 0 ). [12] В этом случае собственные векторы можно выбрать так, чтобы матрица P , определенная выше, удовлетворяла условию

или ,

и существует базис обобщенных собственных векторов (это не дефектная задача). [11] Этот случай иногда называют эрмитовым определенным пучком или определенным пучком . [11]

Смотрите также

Примечания

  1. ^ Голуб и Ван Лоан (1996, стр. 310)
  2. ^ Крейциг (1972, стр. 273)
  3. ^ Неринг (1970, стр. 270)
  4. ^ Хайд, AF; Твид, Д.Р. (2002). Шен, Сильвия С. (ред.). «Наблюдения за взаимосвязью между собственными значениями, шумом прибора и характеристиками обнаружения». Визуализирующая спектрометрия VIII . Труды SPIE. 4816 : 355. Бибкод : 2002SPIE.4816..355H. дои : 10.1117/12.453777. S2CID  120953647.
  5. ^ Твид, ДР; Хайден, А.Ф. (2004). Шен, Сильвия С; Льюис, Пол Э. (ред.). «Уточнение и обобщение расширенного метода обращения ковариационной матрицы путем регуляризации». Визуальная спектрометрия IX . Труды SPIE. 5159 : 299. Бибкод : 2004SPIE.5159..299T. дои : 10.1117/12.506993. S2CID  123123072.
  6. ^ Хорн и Джонсон (1985), с. 133, Теорема 2.5.3.
  7. ^ Хорн и Джонсон (1985), с. 136, следствие 2.5.11.
  8. ^ abcdef Трефетен, Ллойд Н .; Бау, Дэвид (1997). Численная линейная алгебра . СИАМ. ISBN 978-0-89871-361-9.
  9. ^ Ипсен, Илзе и Ребекка М. Уиллс, Анализ и расчет рейтинга страниц Google , 7-й Международный симпозиум IMACS по итеративным методам научных вычислений, Институт Филдса, Торонто, Канада, 5–8 мая 2005 г.
  10. ^ Квартерони, Альфио ; Сакко, Риккардо; Салери, Фаусто (2000). «раздел 5.8.2». Численная математика. Спрингер. п. 15. ISBN 978-0-387-98959-4.
  11. ^ abc Бай, З.; Деммель, Дж. ; Донгарра, Дж.; Руэ, А.; Ван дер Ворст, Х., ред. (2000). «Обобщенные эрмитовы проблемы собственных значений». Шаблоны для решения алгебраических задач на собственные значения: Практическое руководство. Филадельфия: СИАМ. ISBN 978-0-89871-471-5.
  12. ^ Парлетт, Бересфорд Н. (1998). Симметричная проблема собственных значений (Переиздание. Под ред.). Филадельфия: Общество промышленной и прикладной математики. п. 345. дои : 10.1137/1.9781611971163. ISBN 978-0-89871-402-9.

Рекомендации

Внешние ссылки