Коэффициент Рэлея

Построение эрмитовых матриц

В математике частное Рэлея [ ^1] ( / ˈ r eɪ . l i / ) для заданной комплексной эрмитовой матрицы и ненулевого вектора определяется как: ^{[2] [3]} Для действительных матриц и векторов условие эрмитовости сводится к условию симметричности , а сопряженное транспонирование — к обычному транспонированию . Обратите внимание, что для любого ненулевого скаляра . Напомним, что эрмитова (или действительная симметричная) матрица диагонализируется только с действительными собственными значениями . Можно показать, что для заданной матрицы частное Рэлея достигает своего минимального значения (наименьшего собственного значения ) , когда равно (соответствующему собственному вектору ). ^[4] Аналогично, и . ${\displaystyle M}$ ${\displaystyle x}$ $${\displaystyle R(M,x)={x^{*}Mx \over x^{*}x}.}$$ ${\displaystyle x^{*}}$ ${\displaystyle x'}$ ${\displaystyle R(M,cx)=R(M,x)}$ ${\displaystyle c}$ ${\displaystyle \lambda _{\min }}$ ${\displaystyle M}$ ${\displaystyle x}$ ${\displaystyle v_{\min }}$ ${\displaystyle R(M,x)\leq \lambda _{\max }}$ ${\displaystyle R(M,v_{\max })=\lambda _{\max }}$

Коэффициент Рэлея используется в теореме о минимуме-максимуме для получения точных значений всех собственных значений. Он также используется в алгоритмах собственных значений (таких как итерация коэффициента Рэлея ) для получения приближения собственного значения из приближения собственного вектора.

Диапазон отношения Рэлея (для любой матрицы, не обязательно эрмитовой) называется числовым диапазоном и содержит ее спектр . Когда матрица эрмитова, числовой радиус равен спектральной норме. Еще в функциональном анализе известен как спектральный радиус . В контексте -алгебр или алгебраической квантовой механики функция, которая сопоставляет отношение Рэлея–Ритца для фиксированного и изменяющегося по алгебре, будет называться векторным состоянием алгебры. ${\displaystyle \lambda _{\max }}$ ${\displaystyle C^{\star }}$ ${\displaystyle M}$ ${\displaystyle R(M,x)}$ ${\displaystyle x}$ ${\displaystyle M}$

В квантовой механике отношение Рэлея дает математическое ожидание наблюдаемой величины, соответствующей оператору для системы, состояние которой задается выражением . ${\displaystyle M}$ ${\displaystyle x}$

Если мы фиксируем комплексную матрицу , то результирующее отношение Рэлея (рассматриваемое как функция от ) полностью определяет через тождество поляризации ; действительно, это остается верным, даже если мы допускаем неэрмитовость. Однако, если мы ограничиваем поле скаляров действительными числами, то отношение Рэлея определяет только симметричную часть . ${\displaystyle M}$ ${\displaystyle x}$ ${\displaystyle M}$ ${\displaystyle M}$ ${\displaystyle M}$

Границы для ЭрмитаМ

Как указано во введении, для любого вектора x , имеем , где — соответственно наименьшее и наибольшее собственные значения . Это сразу после наблюдения, что отношение Рэлея является взвешенным средним собственных значений M : где — -я собственная пара после ортонормализации, а — -я координата x в собственном базисе. Затем легко проверить, что границы достигаются на соответствующих собственных векторах . ${\displaystyle R(M,x)\in \left[\lambda _{\min },\lambda _{\max }\right]}$ ${\displaystyle \lambda _{\min },\lambda _{\max }}$ ${\displaystyle M}$ $${\displaystyle R(M,x)={x^{*}Mx \over x^{*}x}={\frac {\sum _{i=1}^{n}\lambda _{i}y_{i}^{2}}{\sum _{i=1}^{n}y_{i}^{2}}}}$$ ${\displaystyle (\lambda _{i},v_{i})}$ ${\displaystyle i}$ ${\displaystyle y_{i}=v_{i}^{*}x}$ ${\displaystyle i}$ ${\displaystyle v_{\min },v_{\max }}$

Тот факт, что частное является средневзвешенным значением собственных значений, может быть использован для определения второго, третьего, ... наибольших собственных значений. Пусть будут собственными значениями в порядке убывания. Если и ограничено ортогональностью к , в этом случае , то имеет максимальное значение , которое достигается при . ${\displaystyle \lambda _{\max }=\lambda _{1}\geq \lambda _{2}\geq \cdots \geq \lambda _{n}=\lambda _{\min }}$ ${\displaystyle n=2}$ ${\displaystyle x}$ ${\displaystyle v_{1}}$ ${\displaystyle y_{1}=v_{1}^{*}x=0}$ ${\displaystyle R(M,x)}$ ${\displaystyle \lambda _{2}}$ ${\displaystyle x=v_{2}}$

Частный случай ковариационных матриц

Эмпирическая ковариационная матрица может быть представлена ​​как произведение матрицы данных, предварительно умноженной на ее транспонированную матрицу . Будучи положительно полуопределенной матрицей, имеет неотрицательные собственные значения и ортогональные (или ортогонализируемые) собственные векторы, что можно продемонстрировать следующим образом. ${\displaystyle M}$ ${\displaystyle A'A}$ ${\displaystyle A}$ ${\displaystyle A'}$ ${\displaystyle M}$

Во-первых, собственные значения неотрицательны: ${\displaystyle \lambda _{i}}$ $${\displaystyle {\begin{aligned}&Mv_{i}=A'Av_{i}=\lambda _{i}v_{i}\\\Rightarrow {}&v_{i}'A'Av_{i}=v_{i}'\lambda _{i}v_{i}\\\Rightarrow {}&\left\|Av_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}\\\Rightarrow {}&\lambda _{i}={\frac {\left\|Av_{i}\right\|^{2}}{\left\|v_{i}\right\|^{2}}}\geq 0.\end{aligned}}}$$

Во-вторых, собственные векторы ортогональны друг другу: если собственные значения различны – в случае кратности – базис можно ортогонализовать. ${\displaystyle v_{i}}$ $${\displaystyle {\begin{aligned}&Mv_{i}=\lambda _{i}v_{i}\\\Rightarrow {}&v_{j}'Mv_{i}=v_{j}'\lambda _{i}v_{i}\\\Rightarrow {}&\left(Mv_{j}\right)'v_{i}=\lambda _{j}v_{j}'v_{i}\\\Rightarrow {}&\lambda _{j}v_{j}'v_{i}=\lambda _{i}v_{j}'v_{i}\\\Rightarrow {}&\left(\lambda _{j}-\lambda _{i}\right)v_{j}'v_{i}=0\\\Rightarrow {}&v_{j}'v_{i}=0\end{aligned}}}$$

Чтобы теперь установить, что отношение Рэлея максимизируется собственным вектором с наибольшим собственным значением, рассмотрим разложение произвольного вектора на основе собственных векторов : где — координата , ортогонально спроектированная на . Следовательно, имеем: что в силу ортонормальности собственных векторов принимает вид: ${\displaystyle x}$ ${\displaystyle v_{i}}$ $${\displaystyle x=\sum _{i=1}^{n}\alpha _{i}v_{i},}$$ $${\displaystyle \alpha _{i}={\frac {x'v_{i}}{v_{i}'v_{i}}}={\frac {\langle x,v_{i}\rangle }{\left\|v_{i}\right\|^{2}}}}$$ ${\displaystyle x}$ ${\displaystyle v_{i}}$ $${\displaystyle {\begin{aligned}R(M,x)&={\frac {x'A'Ax}{x'x}}\\&={\frac {{\Bigl (}\sum _{j=1}^{n}\alpha _{j}v_{j}{\Bigr )}'\left(A'A\right){\Bigl (}\sum _{i=1}^{n}\alpha _{i}v_{i}{\Bigr )}}{{\Bigl (}\sum _{j=1}^{n}\alpha _{j}v_{j}{\Bigr )}'{\Bigl (}\sum _{i=1}^{n}\alpha _{i}v_{i}{\Bigr )}}}\\&={\frac {{\Bigl (}\sum _{j=1}^{n}\alpha _{j}v_{j}{\Bigr )}'{\Bigl (}\sum _{i=1}^{n}\alpha _{i}(A'A)v_{i}{\Bigr )}}{{\Bigl (}\sum _{i=1}^{n}\alpha _{i}^{2}{v_{i}}'{v_{i}}{\Bigr )}}}\\&={\frac {{\Bigl (}\sum _{j=1}^{n}\alpha _{j}v_{j}{\Bigr )}'{\Bigl (}\sum _{i=1}^{n}\alpha _{i}\lambda _{i}v_{i}{\Bigr )}}{{\Bigl (}\sum _{i=1}^{n}\alpha _{i}^{2}\|{v_{i}}\|^{2}{\Bigr )}}}\end{aligned}}}$$ $${\displaystyle {\begin{aligned}R(M,x)&={\frac {\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}{\sum _{i=1}^{n}\alpha _{i}^{2}}}\\&=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)(v_{i}'v_{i})^{2}}}\\&=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)}}\end{aligned}}}$$

Последнее представление устанавливает, что частное Рэлея представляет собой сумму квадратов косинусов углов, образованных вектором и каждым собственным вектором , взвешенных соответствующими собственными значениями. ${\displaystyle x}$ ${\displaystyle v_{i}}$

Если вектор максимизирует , то любой ненулевой скалярный множитель также максимизирует , поэтому задачу можно свести к задаче Лагранжа максимизации при ограничении, что . ${\displaystyle x}$ ${\displaystyle R(M,x)}$ ${\displaystyle kx}$ ${\displaystyle R}$ ${\textstyle \sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}$ ${\textstyle \sum _{i=1}^{n}\alpha _{i}^{2}=1}$

Определим: . Тогда это становится линейной программой , которая всегда достигает своего максимума в одном из углов области. Точка максимума будет иметь и для всех (когда собственные значения упорядочены по убыванию величины). ${\displaystyle \beta _{i}=\alpha _{i}^{2}}$ ${\displaystyle \alpha _{1}=\pm 1}$ ${\displaystyle \alpha _{i}=0}$ ${\displaystyle i>1}$

Таким образом, отношение Рэлея максимизируется собственным вектором с наибольшим собственным значением.

Формулировка с использованием множителей Лагранжа

Альтернативно, этот результат может быть получен методом множителей Лагранжа . Первая часть заключается в том, чтобы показать, что частное является постоянным при масштабировании , где - скаляр ${\displaystyle x\to cx}$ ${\displaystyle c}$ $${\displaystyle R(M,cx)={\frac {(cx)^{*}Mcx}{(cx)^{*}cx}}={\frac {c^{*}c}{c^{*}c}}{\frac {x^{*}Mx}{x^{*}x}}=R(M,x).}$$

Из-за этой инвариантности достаточно изучить частный случай . Тогда проблема заключается в том, чтобы найти критические точки функции, подчиняющейся ограничению Другими словами, это найти критические точки , где — множитель Лагранжа. Стационарные точки возникают при и ${\displaystyle \|x\|^{2}=x^{T}x=1}$ $${\displaystyle R(M,x)=x^{\mathsf {T}}Mx,}$$ ${\displaystyle \|x\|^{2}=x^{T}x=1.}$ $${\displaystyle {\mathcal {L}}(x)=x^{\mathsf {T}}Mx-\lambda \left(x^{\mathsf {T}}x-1\right),}$$ ${\displaystyle \lambda }$ ${\displaystyle {\mathcal {L}}(x)}$ $${\displaystyle {\begin{aligned}&{\frac {d{\mathcal {L}}(x)}{dx}}=0\\\Rightarrow {}&2x^{\mathsf {T}}M-2\lambda x^{\mathsf {T}}=0\\\Rightarrow {}&2Mx-2\lambda x=0{\text{ (taking the transpose of both sides and noting that }}M{\text{ is Hermitian)}}\\\Rightarrow {}&Mx=\lambda x\end{aligned}}}$$ $${\displaystyle \therefore R(M,x)={\frac {x^{\mathsf {T}}Mx}{x^{\mathsf {T}}x}}=\lambda {\frac {x^{\mathsf {T}}x}{x^{\mathsf {T}}x}}=\lambda .}$$

Таким образом, собственные векторы являются критическими точками отношения Рэлея, а соответствующие им собственные значения являются стационарными значениями . Это свойство является основой для анализа главных компонент и канонической корреляции . ${\displaystyle x_{1},\ldots ,x_{n}}$ ${\displaystyle M}$ ${\displaystyle \lambda _{1},\ldots ,\lambda _{n}}$ ${\displaystyle {\mathcal {L}}}$

Использование в теории Штурма–Лиувилля

Теория Штурма–Лиувилля касается действия линейного оператора на пространстве внутреннего произведения, определяемом функциями, удовлетворяющими некоторым заданным граничным условиям в точках a и b . В этом случае отношение Рэлея равно $${\displaystyle L(y)={\frac {1}{w(x)}}\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y\right)}$$ $${\displaystyle \langle {y_{1},y_{2}}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx}$$ $${\displaystyle {\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}y(x)\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y(x)\right)dx}{\int _{a}^{b}{w(x)y(x)^{2}}dx}}.}$$

Иногда это представляется в эквивалентной форме, полученной путем разделения интеграла в числителе и использования интегрирования по частям : $${\displaystyle {\begin{aligned}{\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}&={\frac {\left\{\int _{a}^{b}y(x)\left(-{\frac {d}{dx}}\left[p(x)y'(x)\right]\right)dx\right\}+\left\{\int _{a}^{b}{q(x)y(x)^{2}}\,dx\right\}}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}\\&={\frac {\left\{\left.-y(x)\left[p(x)y'(x)\right]\right|_{a}^{b}\right\}+\left\{\int _{a}^{b}y'(x)\left[p(x)y'(x)\right]\,dx\right\}+\left\{\int _{a}^{b}{q(x)y(x)^{2}}\,dx\right\}}{\int _{a}^{b}w(x)y(x)^{2}\,dx}}\\&={\frac {\left\{\left.-p(x)y(x)y'(x)\right|_{a}^{b}\right\}+\left\{\int _{a}^{b}\left[p(x)y'(x)^{2}+q(x)y(x)^{2}\right]\,dx\right\}}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}.\end{aligned}}}$$

Обобщения

1. Для заданной пары матриц ( A , B ) и заданного ненулевого вектора x обобщенное отношение Рэлея определяется как: Обобщенное отношение Рэлея можно свести к отношению Рэлея с помощью преобразования , где — разложение Холецкого эрмитовой положительно определенной матрицы B. $${\displaystyle R(A,B;x):={\frac {x^{*}Ax}{x^{*}Bx}}.}$$ ${\displaystyle R(D,C^{*}x)}$ ${\displaystyle D=C^{-1}A{C^{*}}^{-1}}$ ${\displaystyle CC^{*}}$
2. Для заданной пары ( x , y ) ненулевых векторов и заданной эрмитовой матрицы H обобщенное отношение Рэлея можно определить как: что совпадает с R ( H , x ) при x  =  y . В квантовой механике эта величина называется «матричным элементом» или иногда «амплитудой перехода». $${\displaystyle R(H;x,y):={\frac {y^{*}Hx}{\sqrt {y^{*}y\cdot x^{*}x}}}}$$

Смотрите также

• Числовой диапазон
• Принцип минимакса Куранта
• Теорема о минимуме и максимуме
• Коэффициент Рэлея в анализе колебаний
• Собственное значение Дирихле

Ссылки

1. Также известно как отношение Рэлея–Ритца ; названо в честь Вальтера Ритца и лорда Рэлея .
2. Хорн, РА; Джонсон, КА (1985). Матричный анализ. Cambridge University Press. С. 176–180. ISBN 0-521-30586-1.
3. Парлетт, Б. Н. (1998). Симметричная проблема собственных значений . Классика прикладной математики. SIAM. ISBN 0-89871-402-8.
4. Костин, Родика Д. (2013). "Midterm notes" (PDF) . Математика 5102 Линейная математика в бесконечных измерениях, заметки лекций . Университет штата Огайо.

Дальнейшее чтение

• Ши Ю, Леон-Шарль Траншеван, Барт Мур, Ив Моро, Слияние данных на основе ядра для машинного обучения: методы и приложения в биоинформатике и интеллектуальном анализе текста , Гл. 2, Springer, 2011.