stringtranslate.com

Матрица норма

В области математики нормы определяются для элементов векторного пространства . В частности, когда векторное пространство содержит матрицы, такие нормы называются матричными нормами . Матричные нормы отличаются от векторных тем, что они также должны взаимодействовать с матричным умножением.


Предварительные сведения

Пусть задано поле действительных или комплексных чисел , пусть - K - векторное пространство матриц со строками, столбцами и элементами в поле . Матричная норма является нормой на .

Нормы часто обозначаются двойной вертикальной чертой (например: ). Таким образом, матричная норма – это функция , которая должна удовлетворять следующим свойствам: [1] [2]

Для всех скаляров и матриц

Единственная особенность, отличающая матрицы от переставленных векторов, — это умножение . Матричные нормы особенно полезны, если они также являются субмультипликативными : [1] [2] [3]

Любую норму на K n × n можно масштабировать до субмультипликативной; в некоторых книгах норма терминологической матрицы зарезервирована для субмультипликативных норм. [4]

Матричные нормы, индуцированные векторными нормами

Предположим, что векторная норма on и векторная норма on заданы. Любая матрица A индуцирует линейный оператор от до относительно стандартного базиса, и соответствующая индуцированная норма , или операторная норма , или подчиненная норма определяется в пространстве всех матриц следующим образом:

верхнюю грань

Матричные нормы, индуцированные векторными p-нормами

Если p -норма для векторов ( ) используется для обоих пространств и тогда соответствующая операторная норма равна: [2]

p-p -норм Шаттена


С геометрической точки зрения, можно представить единичный шар с p-нормой в , а затем применить к шару линейное отображение . В конечном итоге он станет искаженной выпуклой формой и будет измерять самый длинный «радиус» искаженной выпуклой формы. Другими словами, мы должны взять единичный шар p-нормы в , а затем умножить его как минимум на , чтобы он стал достаточно большим, чтобы содержать .

р = 1, ∞

Когда , у нас есть простые формулы.

Спектральная норма (p = 2)

Когда ( евклидова норма или -норма для векторов) норма индуцированной матрицы является спектральной нормой . (Эти два значения не совпадают в бесконечных измерениях — дальнейшее обсуждение см. в разделе «Спектральный радиус» .) Спектральная норма матрицы — это наибольшее сингулярное значение ( т. е. квадратный корень из наибольшего собственного значения матрицы, где обозначает сопряженное транспонирование матрицы ). ): [5]


Есть еще свойства:

Матричные нормы, индуцированные векторными α- и β-нормами

Мы можем обобщить приведенное выше определение. Предположим, у нас есть векторные нормы и для пространств и соответственно; соответствующая операторная норма равна


В особых случаях и индуцированные матричные нормы можно вычислить по формуле

В особых случаях и индуцированные матричные нормы можно вычислить по формуле

Следовательно, и – максимальная 2-норма строки и столбца матрицы соответственно.

Характеристики

Любая операторная норма согласуется с индуцирующими ее векторными нормами, что дает

Предполагать ; ; и – операторные нормы, индуцированные соответствующими парами векторных норм ; ; и . Затем,

это следует из

Квадратные матрицы

Пусть – операторная норма в пространстве квадратных матриц, индуцированная векторными нормами и . Тогда норма оператора является субмультипликативной матричной нормой:

Более того, любая такая норма удовлетворяет неравенству

для всех положительных целых чисел r , где ρ ( A ) — спектральный радиус A. Для симметричного или эрмитового A мы имеем равенство в ( 1 ) для 2-нормы, так как в этом случае 2-норма является в точности спектральным радиусом A. Для произвольной матрицы мы не можем иметь равенства ни по какой норме; контрпримером будет

формулу спектрального радиуса

Последовательные и совместимые нормы

Матричная норма на называется согласованной с векторной нормой на и векторной нормой на , если:

m = nсовместимым

Все индуцированные нормы непротиворечивы по определению. Кроме того, любая субмультипликативная матричная норма на индуцирует совместимую векторную норму путем определения .

«Входные» матричные нормы

Эти нормы рассматривают матрицу как вектор размера и используют одну из знакомых векторных норм. Например, используя p -норму для векторов p ≥ 1 , мы получаем:

Это норма, отличная от индуцированной p -нормы (см. выше) и p -нормы Шаттена (см. ниже), но обозначения те же.

Частный случай p = 2 — это норма Фробениуса, а p = ∞ дает максимальную норму.

Нормы L 2,1 и L p,q

Позвольте быть столбцами матрицы . Согласно исходному определению, матрица представляет n точек данных в m-мерном пространстве. Норма [6] представляет собой сумму евклидовых норм столбцов матрицы:

Норма как функция ошибок более надежна, поскольку ошибка для каждой точки данных (столбца) не возводится в квадрат. Он используется для надежного анализа данных и разреженного кодирования .

При p , q ≥ 1 норму можно обобщить до нормы следующим образом:

Норма Фробениуса

Когда p = q = 2 для нормы, это называется нормой Фробениуса или нормой Гильберта – Шмидта , хотя последний термин чаще используется в контексте операторов в (возможно, бесконечномерном) гильбертовом пространстве . Эту норму можно определить по-разному:

где след представляет собой сумму диагональных элементов и являются сингулярными значениями . Второе равенство доказывается явным вычислением . Третье равенство доказывается разложением по сингулярным значениям и тем фактом, что след инвариантен относительно круговых сдвигов.

Норма Фробениуса является расширением евклидовой нормы и вытекает из внутреннего произведения Фробениуса в пространстве всех матриц.

Норма Фробениуса субмультипликативна и очень полезна для числовой линейной алгебры . Субмультипликативность нормы Фробениуса можно доказать с помощью неравенства Коши – Шварца .

Норму Фробениуса часто легче вычислить, чем индуцированные нормы, и она обладает полезным свойством инвариантности относительно вращенийунитарных операций в целом). То есть для любой унитарной матрицы . Это свойство следует из цикличности трассы ( ):

и аналогично:

где мы использовали унитарный характер (т.е. ).

Это также удовлетворяет

и

где — внутренний продукт Фробениуса , а Re — действительная часть комплексного числа (не имеет значения для вещественных матриц)

Макс норма

Максимальная норма — это поэлементная норма в пределе, когда p = q стремится к бесконечности:

Эта норма не является субмультипликативной.

Обратите внимание, что в некоторой литературе (например, « Коммуникационная сложность ») альтернативное определение максимальной нормы, также называемое -нормой , относится к норме факторизации:

Нормы Шаттена

p -нормы Шаттена возникают при применении p -нормы к вектору сингулярных значений матрицы. [2] Если сингулярные значения матрицы обозначаются σ i , то p -норма Шаттена определяется формулой

Эти нормы снова имеют те же обозначения, что и индуцированные и входные p- нормы, но они различны.

Все нормы Шаттена субмультипликативны. Они также унитарно инвариантны, что означает, что для всех матриц и всех унитарных матриц и .

Наиболее знакомые случаи — p = 1, 2, ∞. Случай p = 2 дает введенную ранее норму Фробениуса. Случай p = ∞ дает спектральную норму, которая представляет собой операторную норму, индуцированную векторной 2-нормой (см. выше). Наконец, p = 1 дает ядерную норму (также известную как норма следа или 'n'-норма Кай Фана [7] ), определяемую как:

где обозначает положительную полуопределенную матрицу такую, что . Точнее, поскольку – положительно полуопределенная матрица , ее квадратный корень корректно определен. Ядерная норма представляет собой выпуклую оболочку ранговой функции , поэтому ее часто используют в математической оптимизации для поиска матриц низкого ранга.

Объединение неравенства следа фон Неймана с неравенством Гельдера для евклидова пространства дает версию неравенства Гельдера для норм Шаттена для :

В частности, отсюда следует нормовое неравенство Шаттена

Монотонные нормы

Матричная норма называется монотонной, если она монотонна относительно порядка Лёвнера . Таким образом, норма матрицы возрастает, если

Норма Фробениуса и спектральная норма являются примерами монотонных норм. [8]

Вырезать нормы

Другим источником вдохновения для матричных норм является рассмотрение матрицы как матрицы смежности взвешенного ориентированного графа . [9] Так называемая «норма сокращения» измеряет, насколько близок связанный граф к двудольному :

АК м × п[9] [10] [11]2| С | > п и 2 | Т | > мС = ТSТ знак равно ∅[10]

Разрезанная норма эквивалентна индуцированной операторной норме ‖·‖ ∞→1 , которая сама по себе эквивалентна другой норме, называемой нормой Гротендика . [11]

Чтобы определить норму Гротендика, сначала заметим, что линейный оператор K 1K 1 является просто скаляром и, следовательно, продолжается до линейного оператора на любом K kK k . Более того, при любом выборе базиса для K n и K m любой линейный оператор K nK m расширяется до линейного оператора ( K k ) n → ( K k ) m , позволяя каждому матричному элементу на элементах K k через скалярное умножение. Норма Гротендика является нормой этого расширенного оператора; в обозначениях: [11]

Норма Гротендика зависит от выбора базиса (обычно принимаемого за стандартный ) и k .

Эквивалентность норм

Для любых двух матричных норм и мы имеем следующее:

для некоторых положительных чисел r и s для всех матриц . Другими словами, все нормы на эквивалентны ; они индуцируют ту же самую топологию на . Это верно, поскольку векторное пространство имеет конечную размерность .

Более того, для каждой векторной нормы на существует уникальное положительное действительное число такое, что является субмультипликативной матричной нормой для каждого .

Субмультипликативная матричная норма называется минимальной , если не существует другой субмультипликативной матричной нормы, удовлетворяющей .

Примеры эквивалентности норм

Давайте еще раз обратимся к норме, индуцированной вектором p -нормой (как указано выше в разделе «Индуцированная норма»).

Для матрицы ранга имеют место следующие неравенства: [12] [13]

Смотрите также

Примечания

  1. ^ Условие применяется только в том случае, если продукт определен, например, в случае квадратных матриц ( m = n ).

Рекомендации

  1. ^ аб Вайсштейн, Эрик В. «Матричная норма». mathworld.wolfram.com . Проверено 24 августа 2020 г.
  2. ^ abcd «Матрица норм». fourier.eng.hmc.edu . Проверено 24 августа 2020 г.
  3. ^ Малек-Шахмирзади, Масуд (1983). «Характеристика некоторых классов матричных норм». Линейная и полилинейная алгебра . 13 (2): 97–99. дои : 10.1080/03081088308817508. ISSN  0308-1087.
  4. ^ Хорн, Роджер А. (2012). Матричный анализ . Джонсон, Чарльз Р. (2-е изд.). Кембридж: Издательство Кембриджского университета. стр. 340–341. ISBN 978-1-139-77600-4. ОСЛК  817236655.
  5. ^ Карл Д. Мейер, Матричный анализ и прикладная линейная алгебра, §5.2, стр.281, Общество промышленной и прикладной математики, июнь 2000 г.
  6. ^ Дин, Крис; Чжоу, Дин; Он, Сяофэн; Чжа, Хунъюань (июнь 2006 г.). «R1-PCA: Анализ главных компонентов вращательной инвариантной нормы L1 для устойчивой факторизации подпространства». Материалы 23-й Международной конференции по машинному обучению . ICML '06. Питтсбург, Пенсильвания, США: ACM. стр. 281–288. дои : 10.1145/1143844.1143880. ISBN 1-59593-383-2.
  7. ^ Фан, Кентукки (1951). «Максимальные свойства и неравенства для собственных значений вполне непрерывных операторов». Труды Национальной академии наук Соединенных Штатов Америки . 37 (11): 760–766. Бибкод : 1951PNAS...37..760F. дои : 10.1073/pnas.37.11.760 . ПМЦ 1063464 . ПМИД  16578416. 
  8. ^ Сиарле, Филипп Г. (1989). Введение в численную линейную алгебру и оптимизацию . Кембридж, Англия: Издательство Кембриджского университета. п. 57. ИСБН 0521327881.
  9. ^ аб Фриз, Алан; Каннан, Рави (1 февраля 1999 г.). «Быстрое приближение к матрицам и приложениям». Комбинаторика . 19 (2): 175–220. дои : 10.1007/s004930050052. ISSN  1439-6912. S2CID  15231198.
  10. ^ аб Ловаш Ласло (2012). «Дистанция разреза». Большие сети и ограничения графов . Публикации коллоквиума AMS. Том. 60. Провиденс, Род-Айленд: Американское математическое общество. стр. 127–131. ISBN 978-0-8218-9085-1. Обратите внимание, что Ловас масштабирует A так, чтобы он лежал в [0, 1] .
  11. ^ abc Алон, Нога ; Наор, Ассаф (13 июня 2004 г.). «Аппроксимация нормы сокращения с помощью неравенства Гротендика». Материалы тридцать шестого ежегодного симпозиума ACM по теории вычислений . СТОК '04. Чикаго, Иллинойс, США: Ассоциация вычислительной техники. стр. 72–80. дои : 10.1145/1007352.1007371. ISBN 978-1-58113-852-8. S2CID  1667427.
  12. ^ Голуб, Джин ; Чарльз Ф. Ван Лоан (1996). Матричные вычисления – третье издание. Балтимор: Издательство Университета Джона Хопкинса, 56–57. ISBN 0-8018-5413-X . 
  13. ^ Роджер Хорн и Чарльз Джонсон. Матричный анализ, глава 5, издательство Кембриджского университета, 1985. ISBN 0-521-38632-2

Библиография