Проекция (линейная алгебра)

Идемпотентное линейное преобразование из векторного пространства в себя

Преобразование P является ортогональной проекцией на прямую m .

В линейной алгебре и функциональном анализе проекция — это линейное преобразование векторного пространства в себя ( эндоморфизм ), такое что . То есть, всякий раз, когда применяется дважды к любому вектору, он дает тот же результат, как если бы он был применен один раз (т.е. является идемпотентным ). Он оставляет свое изображение неизменным. ^[1] Это определение «проекции» формализует и обобщает идею графической проекции . Можно также рассмотреть влияние проекции на геометрический объект, исследуя влияние проекции на точки в объекте. ${\displaystyle P}$ ${\displaystyle P\circ P=P}$ ${\displaystyle P}$ ${\displaystyle P}$

Определения

Проекция на векторное пространство — это линейный оператор такой , что . ${\displaystyle V}$ ${\displaystyle P\colon V\to V}$ ${\displaystyle P^{2}=P}$

Когда имеет скалярное произведение и является полным , т.е. когда является гильбертовым пространством , можно использовать понятие ортогональности . Проекция на гильбертово пространство называется ортогональной проекцией, если она удовлетворяет для всех . Проекция на гильбертово пространство, которая не является ортогональной, называется косой проекцией . ${\displaystyle V}$ ${\displaystyle V}$ ${\displaystyle P}$ ${\displaystyle V}$ ${\displaystyle \langle P\mathbf {x} ,\mathbf {y} \rangle =\langle \mathbf {x} ,P\mathbf {y} \rangle }$ ${\displaystyle \mathbf {x} ,\mathbf {y} \in V}$

Матрица проекции

• Квадратная матрица называется проекционной матрицей , если она равна своему квадрату, т.е. если . ^{[2] : стр. 38} ${\displaystyle P}$ ${\displaystyle P^{2}=P}$
• Квадратная матрица называется ортогональной проекционной матрицей , если для действительной матрицы и соответственно для комплексной матрицы, где обозначает транспонирование и обозначает сопряженное или эрмитово транспонирование . [ ^{2] : стр. 223} ${\displaystyle P}$ ${\displaystyle P^{2}=P=P^{\mathrm {T} }}$ ${\displaystyle P^{2}=P=P^{*}}$ ${\displaystyle P^{\mathrm {T} }}$ ${\displaystyle P}$ ${\displaystyle P^{*}}$ ${\displaystyle P}$
• Матрица проекции, которая не является ортогональной проекционной матрицей, называется косоугольной проекционной матрицей .

Собственные значения проекционной матрицы должны быть равны 0 или 1.

Примеры

Ортогональная проекция

Например, функция, которая отображает точку в трехмерном пространстве в точку, является ортогональной проекцией на плоскость xy . Эта функция представлена ​​матрицей ${\displaystyle (x,y,z)}$ ${\displaystyle \mathbb {R} ^{3}}$ ${\displaystyle (x,y,0)}$ $${\displaystyle P={\begin{bmatrix}1&0&0\\0&1&0\\0&0&0\end{bmatrix}}.}$$

Действие этой матрицы на произвольный вектор равно $${\displaystyle P{\begin{bmatrix}x\\y\\z\end{bmatrix}}={\begin{bmatrix}x\\y\\0\end{bmatrix}}.}$$

Чтобы увидеть, что это действительно проекция, т.е. , мы вычисляем ${\displaystyle P}$ ${\displaystyle P=P^{2}}$ $${\displaystyle P^{2}{\begin{bmatrix}x\\y\\z\end{bmatrix}}=P{\begin{bmatrix}x\\y\\0\end{bmatrix}}={\begin{bmatrix}x\\y\\0\end{bmatrix}}=P{\begin{bmatrix}x\\y\\z\end{bmatrix}}.}$$

Наблюдение показывает, что проекция является ортогональной. ${\displaystyle P^{\mathrm {T} }=P}$

Косая проекция

Простой пример неортогональной (косой) проекции: $${\displaystyle P={\begin{bmatrix}0&0\\\alpha &1\end{bmatrix}}.}$$

С помощью умножения матриц можно увидеть, что это действительно проекция. $${\displaystyle P^{2}={\begin{bmatrix}0&0\\\alpha &1\end{bmatrix}}{\begin{bmatrix}0&0\\\alpha &1\end{bmatrix}}={\begin{bmatrix}0&0\\\alpha &1\end{bmatrix}}=P.}$$ ${\displaystyle P}$

Проекция ортогональна тогда и только тогда, потому что только тогда ${\displaystyle P}$ ${\displaystyle \alpha =0}$ ${\displaystyle P^{\mathrm {T} }=P.}$

Свойства и классификация

Преобразование T — это проекция вдоль k на m . Областью значений T является m , а ядром — k .

Идемпотентность

По определению проекция идемпотентна (т.е. ) . ${\displaystyle P}$ ${\displaystyle P^{2}=P}$

Открыть карту

Каждая проекция является открытым отображением , то есть она отображает каждое открытое множество в области в открытое множество в топологии подпространства изображения . ^{[ требуется ссылка ]} То есть для любого вектора и любого шара (с положительным радиусом) с центром в , существует шар (с положительным радиусом) с центром в , который полностью содержится в изображении . ${\displaystyle \mathbf {x} }$ ${\displaystyle B_{\mathbf {x} }}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle B_{P\mathbf {x} }}$ ${\displaystyle P\mathbf {x} }$ ${\displaystyle P(B_{\mathbf {x} })}$

Взаимодополняемость образа и ядра

Пусть — конечномерное векторное пространство и — проекция на . Предположим, что подпространства и являются образом и ядром соответственно . Тогда имеет следующие свойства: ${\displaystyle W}$ ${\displaystyle P}$ ${\displaystyle W}$ ${\displaystyle U}$ ${\displaystyle V}$ ${\displaystyle P}$ ${\displaystyle P}$

1. ${\displaystyle P}$является оператором идентичности на : ${\displaystyle I}$ ${\displaystyle U}$ $${\displaystyle \forall \mathbf {x} \in U:P\mathbf {x} =\mathbf {x} .}$$
2. У нас есть прямая сумма . Каждый вектор может быть разложен однозначно как с и , и где ${\displaystyle W=U\oplus V}$ ${\displaystyle \mathbf {x} \in W}$ ${\displaystyle \mathbf {x} =\mathbf {u} +\mathbf {v} }$ ${\displaystyle \mathbf {u} =P\mathbf {x} }$ ${\displaystyle \mathbf {v} =\mathbf {x} -P\mathbf {x} =\left(I-P\right)\mathbf {x} }$ ${\displaystyle \mathbf {u} \in U,\mathbf {v} \in V.}$

Изображение и ядро ​​проекции являются дополнительными , как и . Оператор также является проекцией, поскольку изображение и ядро ​​становятся ядром и образом и наоборот. Мы говорим, что является проекцией вдоль на (ядро/изображение) и является проекцией вдоль на . ${\displaystyle P}$ ${\displaystyle Q=I-P}$ ${\displaystyle Q}$ ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle P}$ ${\displaystyle V}$ ${\displaystyle U}$ ${\displaystyle Q}$ ${\displaystyle U}$ ${\displaystyle V}$

Спектр

В бесконечномерных векторных пространствах спектр проекции содержится в , так как Только 0 или 1 могут быть собственным значением проекции. Это подразумевает, что ортогональная проекция всегда является положительно полуопределенной матрицей . В общем случае соответствующие собственные пространства являются (соответственно) ядром и областью значений проекции. Разложение векторного пространства на прямые суммы не является уникальным. Поэтому, если задано подпространство , может быть много проекций, область значений (или ядро) которых равна . ${\displaystyle \{0,1\}}$ $${\displaystyle (\lambda I-P)^{-1}={\frac {1}{\lambda }}I+{\frac {1}{\lambda (\lambda -1)}}P.}$$ ${\displaystyle P}$ ${\displaystyle V}$ ${\displaystyle V}$

Если проекция нетривиальна, то она имеет минимальный многочлен , который разлагается на отдельные линейные множители и, таким образом , диагонализируется . ${\displaystyle x^{2}-x=x(x-1)}$ ${\displaystyle P}$

Продукт проекций

Произведение проекций в общем случае не является проекцией, даже если они ортогональны. Если две проекции коммутируют , то их произведение является проекцией, но обратное неверно: произведение двух некоммутирующих проекций может быть проекцией.

Если две ортогональные проекции коммутируют, то их произведение является ортогональной проекцией. Если произведение двух ортогональных проекций является ортогональной проекцией, то две ортогональные проекции коммутируют (в более общем смысле: два самосопряженных эндоморфизма коммутируют тогда и только тогда, когда их произведение является самосопряженным).

Ортогональные проекции

Когда векторное пространство имеет скалярное произведение и является полным (является гильбертовым пространством ) , можно использовать концепцию ортогональности . Ортогональная проекция — это проекция, для которой область и ядро ​​являются ортогональными подпространствами . Таким образом, для любого и в , . Эквивалентно: ${\displaystyle W}$ ${\displaystyle U}$ ${\displaystyle V}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {y} }$ ${\displaystyle W}$ ${\displaystyle \langle P\mathbf {x} ,(\mathbf {y} -P\mathbf {y} )\rangle =\langle (\mathbf {x} -P\mathbf {x} ),P\mathbf {y} \rangle =0}$ $${\displaystyle \langle \mathbf {x} ,P\mathbf {y} \rangle =\langle P\mathbf {x} ,P\mathbf {y} \rangle =\langle P\mathbf {x} ,\mathbf {y} \rangle .}$$

Проекция ортогональна тогда и только тогда, когда она самосопряжена . Используя самосопряженные и идемпотентные свойства , для любого и в мы имеем , , и где — скалярное произведение, связанное с . Следовательно, и — ортогональные проекции. ^[3] Другое направление, а именно, что если ортогональна, то она самосопряжена, следует из следствия из в для любого и в ; таким образом . ${\displaystyle P}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {y} }$ ${\displaystyle W}$ ${\displaystyle P\mathbf {x} \in U}$ ${\displaystyle \mathbf {y} -P\mathbf {y} \in V}$ $${\displaystyle \langle P\mathbf {x} ,\mathbf {y} -P\mathbf {y} \rangle =\langle \mathbf {x} ,\left(P-P^{2}\right)\mathbf {y} \rangle =0}$$ ${\displaystyle \langle \cdot ,\cdot \rangle }$ ${\displaystyle W}$ ${\displaystyle P}$ ${\displaystyle I-P}$ ${\displaystyle P}$ ${\displaystyle \langle (\mathbf {x} -P\mathbf {x} ),P\mathbf {y} \rangle =\langle P\mathbf {x} ,(\mathbf {y} -P\mathbf {y} )\rangle =0}$ $${\displaystyle \langle \mathbf {x} ,P\mathbf {y} \rangle =\langle P\mathbf {x} ,P\mathbf {y} \rangle =\langle P\mathbf {x} ,\mathbf {y} \rangle =\langle \mathbf {x} ,P^{*}\mathbf {y} \rangle }$$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle W}$ ${\displaystyle P=P^{*}}$

Существование ортогональной проекции на замкнутое подпространство следует из теоремы Гильберта о проекции .

Свойства и особые случаи

Ортогональная проекция является ограниченным оператором . Это происходит потому, что для любого в векторном пространстве мы имеем, по неравенству Коши–Шварца : Таким образом . ${\displaystyle \mathbf {v} }$ $${\displaystyle \left\|P\mathbf {v} \right\|^{2}=\langle P\mathbf {v} ,P\mathbf {v} \rangle =\langle P\mathbf {v} ,\mathbf {v} \rangle \leq \left\|P\mathbf {v} \right\|\cdot \left\|\mathbf {v} \right\|}$$ ${\displaystyle \left\|P\mathbf {v} \right\|\leq \left\|\mathbf {v} \right\|}$

Для конечномерных комплексных или действительных векторных пространств стандартное скалярное произведение можно заменить на . ${\displaystyle \langle \cdot ,\cdot \rangle }$

Формулы

Простой случай возникает, когда ортогональная проекция выполняется на прямую. Если — единичный вектор на прямой, то проекция задается внешним произведением (если — комплекснозначный, транспонирование в приведенном выше уравнении заменяется эрмитовым транспонированием). Этот оператор оставляет u инвариантным и аннулирует все векторы, ортогональные , доказывая, что это действительно ортогональная проекция на прямую, содержащую u . ^[4] Простой способ увидеть это — рассмотреть произвольный вектор как сумму компонента на прямой (т. е. спроецированного вектора, который мы ищем) и другого перпендикулярного ему, . Применяя проекцию, мы получаем по свойствам скалярного произведения параллельных и перпендикулярных векторов. ${\displaystyle \mathbf {u} }$ $${\displaystyle P_{\mathbf {u} }=\mathbf {u} \mathbf {u} ^{\mathsf {T}}.}$$ ${\displaystyle \mathbf {u} }$ ${\displaystyle \mathbf {u} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {x} =\mathbf {x} _{\parallel }+\mathbf {x} _{\perp }}$ $${\displaystyle P_{\mathbf {u} }\mathbf {x} =\mathbf {u} \mathbf {u} ^{\mathsf {T}}\mathbf {x} _{\parallel }+\mathbf {u} \mathbf {u} ^{\mathsf {T}}\mathbf {x} _{\perp }=\mathbf {u} \left(\operatorname {sgn} \left(\mathbf {u} ^{\mathsf {T}}\mathbf {x} _{\parallel }\right)\left\|\mathbf {x} _{\parallel }\right\|\right)+\mathbf {u} \cdot \mathbf {0} =\mathbf {x} _{\parallel }}$$

Эту формулу можно обобщить на ортогональные проекции на подпространство произвольной размерности . Пусть будет ортонормированным базисом подпространства , при условии, что целое число , и пусть обозначает матрицу, столбцы которой , т.е. . Тогда проекция задается формулой: ^[5] что можно переписать как ${\displaystyle \mathbf {u} _{1},\ldots ,\mathbf {u} _{k}}$ ${\displaystyle U}$ ${\displaystyle k\geq 1}$ ${\displaystyle A}$ ${\displaystyle n\times k}$ ${\displaystyle \mathbf {u} _{1},\ldots ,\mathbf {u} _{k}}$ ${\displaystyle A={\begin{bmatrix}\mathbf {u} _{1}&\cdots &\mathbf {u} _{k}\end{bmatrix}}}$ $${\displaystyle P_{A}=AA^{\mathsf {T}}}$$ $${\displaystyle P_{A}=\sum _{i}\langle \mathbf {u} _{i},\cdot \rangle \mathbf {u} _{i}.}$$

Матрица является частичной изометрией , которая исчезает на ортогональном дополнении к , и является изометрией, которая встраивается в лежащее в основе векторное пространство. Диапазон значений является, таким образом, конечным пространством . Также ясно, что является оператором тождества на . ${\displaystyle A^{\mathsf {T}}}$ ${\displaystyle U}$ ${\displaystyle A}$ ${\displaystyle U}$ ${\displaystyle P_{A}}$ ${\displaystyle A}$ ${\displaystyle AA^{\mathsf {T}}}$ ${\displaystyle U}$

Условие ортонормальности также можно опустить. Если — базис (не обязательно ортонормированный) с , а — матрица с этими векторами в качестве столбцов, то проекция имеет вид: ^{[6] [7]} ${\displaystyle \mathbf {u} _{1},\ldots ,\mathbf {u} _{k}}$ ${\displaystyle k\geq 1}$ ${\displaystyle A}$ $${\displaystyle P_{A}=A\left(A^{\mathsf {T}}A\right)^{-1}A^{\mathsf {T}}.}$$

Матрица все еще встраивается в базовое векторное пространство, но больше не является изометрией в целом. Матрица является «нормализующим фактором», который восстанавливает норму. Например, оператор ранга -1 не является проекцией, если После деления на мы получаем проекцию на подпространство, охватываемое . ${\displaystyle A}$ ${\displaystyle U}$ ${\displaystyle \left(A^{\mathsf {T}}A\right)^{-1}}$ ${\displaystyle \mathbf {u} \mathbf {u} ^{\mathsf {T}}}$ ${\displaystyle \left\|\mathbf {u} \right\|\neq 1.}$ ${\displaystyle \mathbf {u} ^{\mathsf {T}}\mathbf {u} =\left\|\mathbf {u} \right\|^{2},}$ ${\displaystyle \mathbf {u} \left(\mathbf {u} ^{\mathsf {T}}\mathbf {u} \right)^{-1}\mathbf {u} ^{\mathsf {T}}}$ ${\displaystyle u}$

В общем случае мы можем иметь произвольную положительно определенную матрицу, определяющую скалярное произведение , а проекция задается как . Тогда ${\displaystyle D}$ ${\displaystyle \langle x,y\rangle _{D}=y^{\dagger }Dx}$ ${\displaystyle P_{A}}$ ${\textstyle P_{A}x=\operatorname {argmin} _{y\in \operatorname {range} (A)}\left\|x-y\right\|_{D}^{2}}$ $${\displaystyle P_{A}=A\left(A^{\mathsf {T}}DA\right)^{-1}A^{\mathsf {T}}D.}$$

Когда пространство диапазонов проекции генерируется фреймом ( т.е. число генераторов больше его размерности), формула для проекции принимает вид: . Здесь обозначает псевдообратную матрицу Мура–Пенроуза . Это всего лишь один из многих способов построения оператора проекции. ${\displaystyle P_{A}=AA^{+}}$ ${\displaystyle A^{+}}$

Если — невырожденная матрица и (т.е. — матрица нулевого пространства ), ^[8] справедливо следующее: ${\displaystyle {\begin{bmatrix}A&B\end{bmatrix}}}$ ${\displaystyle A^{\mathsf {T}}B=0}$ ${\displaystyle B}$ ${\displaystyle A}$ $${\displaystyle {\begin{aligned}I&={\begin{bmatrix}A&B\end{bmatrix}}{\begin{bmatrix}A&B\end{bmatrix}}^{-1}{\begin{bmatrix}A^{\mathsf {T}}\\B^{\mathsf {T}}\end{bmatrix}}^{-1}{\begin{bmatrix}A^{\mathsf {T}}\\B^{\mathsf {T}}\end{bmatrix}}\\&={\begin{bmatrix}A&B\end{bmatrix}}\left({\begin{bmatrix}A^{\mathsf {T}}\\B^{\mathsf {T}}\end{bmatrix}}{\begin{bmatrix}A&B\end{bmatrix}}\right)^{-1}{\begin{bmatrix}A^{\mathsf {T}}\\B^{\mathsf {T}}\end{bmatrix}}\\&={\begin{bmatrix}A&B\end{bmatrix}}{\begin{bmatrix}A^{\mathsf {T}}A&O\\O&B^{\mathsf {T}}B\end{bmatrix}}^{-1}{\begin{bmatrix}A^{\mathsf {T}}\\B^{\mathsf {T}}\end{bmatrix}}\\[4pt]&=A\left(A^{\mathsf {T}}A\right)^{-1}A^{\mathsf {T}}+B\left(B^{\mathsf {T}}B\right)^{-1}B^{\mathsf {T}}\end{aligned}}}$$

Если условие ортогональности усиливается до невырожденного , то выполняется следующее: ${\displaystyle A^{\mathsf {T}}WB=A^{\mathsf {T}}W^{\mathsf {T}}B=0}$ ${\displaystyle W}$ $${\displaystyle I={\begin{bmatrix}A&B\end{bmatrix}}{\begin{bmatrix}\left(A^{\mathsf {T}}WA\right)^{-1}A^{\mathsf {T}}\\\left(B^{\mathsf {T}}WB\right)^{-1}B^{\mathsf {T}}\end{bmatrix}}W.}$$

Все эти формулы справедливы также для комплексных пространств внутреннего произведения, при условии, что вместо транспонирования используется сопряженное транспонирование . Более подробную информацию о суммах проекторов можно найти в работе Банерджи и Роя (2014). ^[9] Также см. Банерджи (2004) ^[10] о применении сумм проекторов в базовой сферической тригонометрии .

Косые проекции

Термин косые проекции иногда используется для обозначения неортогональных проекций. Эти проекции также используются для представления пространственных фигур на двумерных чертежах (см. косая проекция ), хотя и не так часто, как ортогональные проекции. В то время как для вычисления подобранного значения обычной регрессии наименьших квадратов требуется ортогональная проекция, для вычисления подобранного значения регрессии инструментальных переменных требуется косая проекция.

Проекция определяется своим ядром и базисными векторами, используемыми для характеристики ее диапазона (который является дополнением ядра). Когда эти базисные векторы ортогональны ядру, то проекция является ортогональной проекцией. Когда эти базисные векторы не ортогональны ядру, то проекция является косой проекцией или просто проекцией.

Формула представления матрицы для ненулевого проекционного оператора

Пусть будет линейным оператором таким, что и предположим, что не является нулевым оператором. Пусть векторы образуют базис для диапазона , и соберем эти векторы в матрицу . Тогда , в противном случае и является нулевым оператором. Диапазон и ядро ​​являются дополнительными пространствами, поэтому ядро ​​имеет размерность . Отсюда следует, что ортогональное дополнение ядра имеет размерность . Пусть образует базис для ортогонального дополнения ядра проекции, и соберем эти векторы в матрицу . Тогда проекция (с условием ) задается выражением ${\displaystyle P\colon V\to V}$ ${\displaystyle P^{2}=P}$ ${\displaystyle P}$ ${\displaystyle \mathbf {u} _{1},\ldots ,\mathbf {u} _{k}}$ ${\displaystyle P}$ ${\displaystyle n\times k}$ ${\displaystyle A}$ ${\displaystyle k\geq 1}$ ${\displaystyle k=0}$ ${\displaystyle P}$ ${\displaystyle n-k}$ ${\displaystyle k}$ ${\displaystyle \mathbf {v} _{1},\ldots ,\mathbf {v} _{k}}$ ${\displaystyle B}$ ${\displaystyle P}$ ${\displaystyle k\geq 1}$ $${\displaystyle P=A\left(B^{\mathsf {T}}A\right)^{-1}B^{\mathsf {T}}.}$$

Это выражение обобщает формулу для ортогональных проекций, приведенную выше. ^{[11] [12]} Стандартное доказательство этого выражения следующее. Для любого вектора в векторном пространстве мы можем разложить , где вектор находится в образе , и вектор So , а затем находится в ядре , которое является нулевым пространством Другими словами, вектор находится в пространстве столбцов so для некоторого вектора размерности и вектор удовлетворяет построению . Соединяем эти условия вместе, и мы находим вектор такой, что . Поскольку матрицы и имеют полный ранг по своему построению, -матрица обратима. Таким образом, уравнение дает вектор Таким образом, для любого вектора и, следовательно , . ${\displaystyle \mathbf {x} }$ ${\displaystyle V}$ ${\displaystyle \mathbf {x} =\mathbf {x} _{1}+\mathbf {x} _{2}}$ ${\displaystyle \mathbf {x} _{1}=P(\mathbf {x} )}$ ${\displaystyle P}$ ${\displaystyle \mathbf {x} _{2}=\mathbf {x} -P(\mathbf {x} ).}$ ${\displaystyle P(\mathbf {x} _{2})=P(\mathbf {x} )-P^{2}(\mathbf {x} )=\mathbf {0} }$ ${\displaystyle \mathbf {x} _{2}}$ ${\displaystyle P}$ ${\displaystyle A.}$ ${\displaystyle \mathbf {x} _{1}}$ ${\displaystyle A,}$ ${\displaystyle \mathbf {x} _{1}=A\mathbf {w} }$ ${\displaystyle k}$ ${\displaystyle \mathbf {w} }$ ${\displaystyle \mathbf {x} _{2}}$ ${\displaystyle B^{\mathsf {T}}\mathbf {x} _{2}=\mathbf {0} }$ ${\displaystyle B}$ ${\displaystyle \mathbf {w} }$ ${\displaystyle B^{\mathsf {T}}(\mathbf {x} -A\mathbf {w} )=\mathbf {0} }$ ${\displaystyle A}$ ${\displaystyle B}$ ${\displaystyle k}$ ${\displaystyle k\times k}$ ${\displaystyle B^{\mathsf {T}}A}$ ${\displaystyle B^{\mathsf {T}}(\mathbf {x} -A\mathbf {w} )=\mathbf {0} }$ ${\displaystyle \mathbf {w} =(B^{\mathsf {T}}A)^{-1}B^{\mathsf {T}}\mathbf {x} .}$ ${\displaystyle P\mathbf {x} =\mathbf {x} _{1}=A\mathbf {w} =A(B^{\mathsf {T}}A)^{-1}B^{\mathsf {T}}\mathbf {x} }$ ${\displaystyle \mathbf {x} \in V}$ ${\displaystyle P=A(B^{\mathsf {T}}A)^{-1}B^{\mathsf {T}}}$

В случае, если это ортогональная проекция, мы можем взять , и отсюда следует, что . Используя эту формулу, можно легко проверить, что . В общем случае, если векторное пространство находится над полем комплексных чисел, то можно использовать эрмитово транспонирование и получить формулу . Напомним, что можно выразить обратную матрицу Мура–Пенроуза как , поскольку имеет полный ранг столбца, поэтому . ${\displaystyle P}$ ${\displaystyle A=B}$ ${\displaystyle P=A\left(A^{\mathsf {T}}A\right)^{-1}A^{\mathsf {T}}}$ ${\displaystyle P=P^{\mathsf {T}}}$ ${\displaystyle A^{*}}$ ${\displaystyle P=A\left(A^{*}A\right)^{-1}A^{*}}$ ${\displaystyle A}$ ${\displaystyle A^{+}=(A^{*}A)^{-1}A^{*}}$ ${\displaystyle A}$ ${\displaystyle P=AA^{+}}$

Единичные значения

${\displaystyle I-P}$также является косой проекцией. Сингулярные значения и могут быть вычислены с помощью ортонормированного базиса . Пусть будет ортонормированным базисом и пусть будет ортогональным дополнением к . Обозначим сингулярные значения матрицы положительными значениями . При этом сингулярные значения для равны: ^[13] а сингулярные значения для равны Это означает, что наибольшие сингулярные значения и равны, и, таким образом, что матричная норма косых проекций одинакова. Однако число условий удовлетворяет соотношению , и поэтому не обязательно равно. ${\displaystyle P}$ ${\displaystyle I-P}$ ${\displaystyle A}$ ${\displaystyle Q_{A}}$ ${\displaystyle A}$ ${\displaystyle Q_{A}^{\perp }}$ ${\displaystyle Q_{A}}$ ${\displaystyle Q_{A}^{T}A(B^{T}A)^{-1}B^{T}Q_{A}^{\perp }}$ ${\displaystyle \gamma _{1}\geq \gamma _{2}\geq \ldots \geq \gamma _{k}}$ ${\displaystyle P}$ $${\displaystyle \sigma _{i}={\begin{cases}{\sqrt {1+\gamma _{i}^{2}}}&1\leq i\leq k\\0&{\text{otherwise}}\end{cases}}}$$ ${\displaystyle I-P}$ $${\displaystyle \sigma _{i}={\begin{cases}{\sqrt {1+\gamma _{i}^{2}}}&1\leq i\leq k\\1&k+1\leq i\leq n-k\\0&{\text{otherwise}}\end{cases}}}$$ ${\displaystyle P}$ ${\displaystyle I-P}$ ${\displaystyle \kappa (I-P)={\frac {\sigma _{1}}{1}}\geq {\frac {\sigma _{1}}{\sigma _{k}}}=\kappa (P)}$

Нахождение проекции с помощью внутреннего произведения

Пусть будет векторным пространством (в данном случае плоскостью), натянутым на ортогональные векторы . Пусть будет вектором. Можно определить проекцию на как , где повторяющиеся индексы суммируются по ( обозначение суммы Эйнштейна ). Вектор можно записать в виде ортогональной суммы, такой что . иногда обозначается как . В линейной алгебре есть теорема, которая утверждает, что это наименьшее расстояние ( ортогональное расстояние ) от до , и она обычно используется в таких областях, как машинное обучение . ${\displaystyle V}$ ${\displaystyle \mathbf {u} _{1},\mathbf {u} _{2},\dots ,\mathbf {u} _{p}}$ ${\displaystyle y}$ ${\displaystyle \mathbf {y} }$ ${\displaystyle V}$ $${\displaystyle \operatorname {proj} _{V}\mathbf {y} ={\frac {\mathbf {y} \cdot \mathbf {u} ^{i}}{\mathbf {u} ^{i}\cdot \mathbf {u} ^{i}}}\mathbf {u} ^{i}}$$ ${\displaystyle \mathbf {y} }$ ${\displaystyle \mathbf {y} =\operatorname {proj} _{V}\mathbf {y} +\mathbf {z} }$ ${\displaystyle \operatorname {proj} _{V}\mathbf {y} }$ ${\displaystyle {\hat {\mathbf {y} }}}$ ${\displaystyle \mathbf {z} }$ ${\displaystyle \mathbf {y} }$ ${\displaystyle V}$

y проецируется на векторное пространство V.

Канонические формы

Любая проекция на векторное пространство размерности над полем является диагонализируемой матрицей , поскольку ее минимальный многочлен делит , который распадается на различные линейные множители. Таким образом, существует базис, в котором имеет вид ${\displaystyle P=P^{2}}$ ${\displaystyle d}$ ${\displaystyle x^{2}-x}$ ${\displaystyle P}$

${\displaystyle P=I_{r}\oplus 0_{d-r}}$

где — ранг . Здесь — единичная матрица размера , — нулевая матрица размера , а — оператор прямой суммы . Если векторное пространство комплексное и снабжено скалярным произведением , то существует ортонормированный базис, в котором матрица P равна [ ^14] ${\displaystyle r}$ ${\displaystyle P}$ ${\displaystyle I_{r}}$ ${\displaystyle r}$ ${\displaystyle 0_{d-r}}$ ${\displaystyle d-r}$ ${\displaystyle \oplus }$

${\displaystyle P={\begin{bmatrix}1&\sigma _{1}\\0&0\end{bmatrix}}\oplus \cdots \oplus {\begin{bmatrix}1&\sigma _{k}\\0&0\end{bmatrix}}\oplus I_{m}\oplus 0_{s}.}$

где . Целые и действительные числа определяются однозначно. . Фактор соответствует максимальному инвариантному подпространству, на котором действует как ортогональная проекция (так что само P ортогонально тогда и только тогда, когда ), а -блоки соответствуют косоугольным компонентам. ${\displaystyle \sigma _{1}\geq \sigma _{2}\geq \dots \geq \sigma _{k}>0}$ ${\displaystyle k,s,m}$ ${\displaystyle \sigma _{i}}$ ${\displaystyle 2k+s+m=d}$ ${\displaystyle I_{m}\oplus 0_{s}}$ ${\displaystyle P}$ ${\displaystyle k=0}$ ${\displaystyle \sigma _{i}}$

Проекции на нормированные векторные пространства

Когда базовое векторное пространство является (не обязательно конечномерным) нормированным векторным пространством , необходимо рассмотреть аналитические вопросы, не имеющие отношения к конечномерному случаю. Предположим теперь, что является банаховым пространством . ${\displaystyle X}$ ${\displaystyle X}$

Многие из алгебраических результатов, обсуждавшихся выше, переживают переход к этому контексту. Заданное разложение прямой суммы на дополнительные подпространства все еще определяет проекцию, и наоборот. Если — прямая сумма , то оператор, определенный с помощью , все еще является проекцией с диапазоном и ядром . Также ясно, что . Наоборот, если — проекция на , т. е . , то легко проверяется, что . Другими словами, — также проекция. Из соотношения следует, что и — прямая сумма . ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle X=U\oplus V}$ ${\displaystyle P(u+v)=u}$ ${\displaystyle U}$ ${\displaystyle V}$ ${\displaystyle P^{2}=P}$ ${\displaystyle P}$ ${\displaystyle X}$ ${\displaystyle P^{2}=P}$ ${\displaystyle (1-P)^{2}=(1-P)}$ ${\displaystyle 1-P}$ ${\displaystyle P^{2}=P}$ ${\displaystyle 1=P+(1-P)}$ ${\displaystyle X}$ ${\displaystyle \operatorname {rg} (P)\oplus \operatorname {rg} (1-P)}$

Однако, в отличие от конечномерного случая, проекции не обязаны быть непрерывными в общем случае. Если подпространство не замкнуто в топологии нормы, то проекция на не является непрерывной. Другими словами, область действия непрерывной проекции должна быть замкнутым подпространством. Более того, ядро ​​непрерывной проекции (фактически, непрерывного линейного оператора в общем случае) замкнуто. Таким образом, непрерывная проекция дает разложение на два дополнительных замкнутых подпространства: . ${\displaystyle U}$ ${\displaystyle X}$ ${\displaystyle U}$ ${\displaystyle P}$ ${\displaystyle P}$ ${\displaystyle X}$ ${\displaystyle X=\operatorname {rg} (P)\oplus \ker(P)=\ker(1-P)\oplus \ker(P)}$

Обратное также верно с дополнительным предположением. Предположим, что является замкнутым подпространством . Если существует замкнутое подпространство такое, что X = U ⊕ V , то проекция с областью действия и ядром непрерывна. Это следует из теоремы о замкнутом графике . Предположим, что x _n → x и Px _n → y . Нужно показать, что . Поскольку является замкнутым и { Px _n } ⊂ U , y лежит в , т. е. Py = y . Кроме того, x _n − Px _n = ( I − P ) x _n → x − y . Поскольку является замкнутым и {( I − P ) x _n } ⊂ V , то имеем , т. е . , что доказывает утверждение. ${\displaystyle U}$ ${\displaystyle X}$ ${\displaystyle V}$ ${\displaystyle P}$ ${\displaystyle U}$ ${\displaystyle V}$ ${\displaystyle Px=y}$ ${\displaystyle U}$ ${\displaystyle U}$ ${\displaystyle V}$ ${\displaystyle x-y\in V}$ ${\displaystyle P(x-y)=Px-Py=Px-y=0}$

Приведенный выше аргумент использует предположение, что и замкнуты. В общем случае, если задано замкнутое подпространство , не обязательно должно существовать дополнительное замкнутое подпространство , хотя для гильбертовых пространств это всегда можно сделать, взяв ортогональное дополнение . Для банаховых пространств одномерное подпространство всегда имеет замкнутое дополнительное подпространство. Это является непосредственным следствием теоремы Хана–Банаха . Пусть будет линейной оболочкой . По Хану–Банаху существует ограниченный линейный функционал такой, что φ ( u ) = 1 . Оператор удовлетворяет , т.е. является проекцией. Ограниченность влечет непрерывность и, следовательно, является замкнутым дополнительным подпространством . ${\displaystyle U}$ ${\displaystyle V}$ ${\displaystyle U}$ ${\displaystyle V}$ ${\displaystyle U}$ ${\displaystyle u}$ ${\displaystyle \varphi }$ ${\displaystyle P(x)=\varphi (x)u}$ ${\displaystyle P^{2}=P}$ ${\displaystyle \varphi }$ ${\displaystyle P}$ ${\displaystyle \ker(P)=\operatorname {rg} (I-P)}$ ${\displaystyle U}$

Заявки и дальнейшие соображения

Проекции (ортогональные и иные) играют важную роль в алгоритмах для некоторых задач линейной алгебры:

• QR-разложение (см. преобразование Хаусхолдера и разложение Грама–Шмидта );
• Разложение по сингулярным значениям
• Приведение к форме Хессенберга (первый шаг во многих алгоритмах собственных значений )
• Линейная регрессия
• Проективные элементы матричных алгебр используются при построении некоторых K-групп в операторной K-теории.

Как указано выше, проекции являются частным случаем идемпотентов. Аналитически ортогональные проекции являются некоммутативными обобщениями характеристических функций . Идемпотенты используются при классификации, например, полупростых алгебр , тогда как теория меры начинается с рассмотрения характеристических функций измеримых множеств . Поэтому, как можно себе представить, проекции очень часто встречаются в контексте операторных алгебр . В частности, алгебра фон Неймана порождается своей полной решеткой проекций.

Обобщения

В более общем случае, если задано отображение между нормированными векторными пространствами, можно аналогичным образом попросить, чтобы это отображение было изометрией на ортогональном дополнении ядра: это будет изометрией (сравните Частичная изометрия ); в частности, она должна быть на . Случай ортогональной проекции — это когда W является подпространством V. В римановой геометрии это используется в определении римановой субмерсии . ${\displaystyle T\colon V\to W,}$ ${\displaystyle (\ker T)^{\perp }\to W}$

Смотрите также

• Центрирующая матрица , которая является примером проекционной матрицы.
• Проекционный алгоритм Дайкстры для вычисления проекции на пересечение множеств
• Инвариантное подпространство
• Спектральный анализ методом наименьших квадратов
• Ортогонализация
• Свойства следа

Примечания

1. Мейер, стр. 386+387
2. Хорн, Роджер А.; Джонсон, Чарльз Р. (2013). Матричный анализ, второе издание . Cambridge University Press. ISBN 9780521839402.
3. Мейер, стр. 433
4. Мейер, стр. 431
5. Мейер, уравнение (5.13.4)
6. Баннерджи, Судипто; Рой, Аниндья (2014), Линейная алгебра и матричный анализ для статистики, Тексты по статистической науке (1-е изд.), Chapman and Hall/CRC, ISBN 978-1420095388
7. Мейер, уравнение (5.13.3)
8. См. также Линейный метод наименьших квадратов (математика) § Свойства оценок наименьших квадратов .
9. Баннерджи, Судипто; Рой, Аниндья (2014), Линейная алгебра и матричный анализ для статистики, Тексты по статистической науке (1-е изд.), Chapman and Hall/CRC, ISBN 978-1420095388
10. Баннерджи, Судипто (2004), «Возвращаясь к сферической тригонометрии с ортогональными проекторами», The College Mathematics Journal , 35 (5): 375–381, doi :10.1080/07468342.2004.11922099, S2CID  122277398
11. Баннерджи, Судипто; Рой, Аниндья (2014), Линейная алгебра и матричный анализ для статистики, Тексты по статистической науке (1-е изд.), Chapman and Hall/CRC, ISBN 978-1420095388
12. Мейер, уравнение (7.10.39)
13. Бруст, Дж. Дж.; Марсия, Р. Ф.; Петра, К. Г. (2020), «Вычислительно эффективные разложения матриц косой проекции», SIAM Journal on Matrix Analysis and Applications , 41 (2): 852–870, doi : 10.1137/19M1288115, OSTI  1680061, S2CID  219921214
14. Докович, Д.Ж. (август 1991 г.). «Единое подобие проекторов». Математические уравнения . 42 (1): 220–224. дои : 10.1007/BF01818492. S2CID  122704926.

Ссылки

• Баннерджи, Судипто; Рой, Аниндья (2014), Линейная алгебра и матричный анализ для статистики , Тексты по статистической науке (1-е изд.), Chapman and Hall/CRC, ISBN 978-1420095388
• Данфорд, Н.; Шварц, Дж. Т. (1958). Линейные операторы, часть I: Общая теория . Interscience.
• Мейер, Карл Д. (2000). Матричный анализ и прикладная линейная алгебра. Общество промышленной и прикладной математики. ISBN 978-0-89871-454-8.

Внешние ссылки

• Лекция по линейной алгебре Массачусетского технологического института о проекционных матрицах на YouTube , от MIT OpenCourseWare
• Линейная алгебра 15d: Проекционное преобразование на YouTube , Павел Гринфельд .
• Учебное пособие по плоским геометрическим проекциям – простое в использовании учебное пособие, объясняющее различные типы плоских геометрических проекций.