Матричное исчисление

Специализированная нотация для многомерного исчисления

В математике матричное исчисление — это специализированная нотация для выполнения многомерного исчисления , особенно над пространствами матриц . Оно собирает различные частные производные одной функции по многим переменным и/или многомерной функции по одной переменной в векторы и матрицы, которые можно рассматривать как отдельные сущности. Это значительно упрощает такие операции, как нахождение максимума или минимума многомерной функции и решение систем дифференциальных уравнений . Используемая здесь нотация обычно используется в статистике и инженерии , в то время как нотация индекса тензора предпочтительна в физике .

Два конкурирующих соглашения об обозначениях разделяют область матричного исчисления на две отдельные группы. Две группы можно различить по тому, записывают ли они производную скаляра по вектору как вектор-столбец или вектор-строку . Оба эти соглашения возможны даже при общем предположении, что векторы следует рассматривать как вектор-столбцы при сочетании с матрицами (а не как вектор-строки). Одно соглашение может быть в некоторой степени стандартным в пределах одной области, которая обычно использует матричное исчисление (например, эконометрика , статистика, теория оценивания и машинное обучение ). Однако даже в пределах одной области можно найти разных авторов, использующих конкурирующие соглашения. Авторы обеих групп часто пишут так, как будто их конкретные соглашения являются стандартными. Серьезные ошибки могут возникнуть при объединении результатов разных авторов без тщательной проверки того, что использовались совместимые обозначения. Определения этих двух соглашений и сравнения между ними собраны в разделе соглашений о макетах.

Объем

Матричное исчисление относится к ряду различных обозначений, которые используют матрицы и векторы для сбора производных каждого компонента зависимой переменной относительно каждого компонента независимой переменной. В общем случае независимая переменная может быть скаляром, вектором или матрицей, в то время как зависимая переменная может быть любым из них. Каждая отдельная ситуация приведет к другому набору правил или отдельному исчислению , используя более широкий смысл этого термина. Матричное обозначение служит удобным способом для сбора множества производных организованным образом.

В качестве первого примера рассмотрим градиент из векторного исчисления . Для скалярной функции трех независимых переменных, , градиент задается векторным уравнением ${\displaystyle f(x_{1},x_{2},x_{3})}$

${\displaystyle \nabla f={\frac {\partial f}{\partial x_{1}}}{\hat {x}}_{1}+{\frac {\partial f}{\partial x_{2}}}{\hat {x}}_{2}+{\frac {\partial f}{\partial x_{3}}}{\hat {x}}_{3},}$

где представляет единичный вектор в направлении для . Этот тип обобщенной производной можно рассматривать как производную скаляра f по вектору , и ее результат можно легко собрать в векторной форме. ${\displaystyle {\hat {x}}_{i}}$ ${\displaystyle x_{i}}$ ${\displaystyle 1\leq i\leq 3}$ ${\displaystyle \mathbf {x} }$

${\displaystyle \nabla f=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}={\begin{bmatrix}{\dfrac {\partial f}{\partial x_{1}}}&{\dfrac {\partial f}{\partial x_{2}}}&{\dfrac {\partial f}{\partial x_{3}}}\\\end{bmatrix}}^{\textsf {T}}.}$

Более сложные примеры включают производную скалярной функции по матрице, известную как градиентная матрица, которая собирает производную по каждому элементу матрицы в соответствующей позиции в результирующей матрице. В этом случае скаляр должен быть функцией каждой из независимых переменных в матрице. В качестве другого примера, если у нас есть n -вектор зависимых переменных или функций m независимых переменных, мы можем рассмотреть производную зависимого вектора по независимому вектору. Результат может быть собран в матрице m × n, состоящей из всех возможных комбинаций производных.

Всего существует девять возможностей с использованием скаляров, векторов и матриц. Обратите внимание, что при рассмотрении большего числа компонентов в каждой из независимых и зависимых переменных у нас может остаться очень большое количество возможностей. Шесть видов производных, которые можно наиболее аккуратно организовать в матричной форме, собраны в следующей таблице. ^[1]

Здесь мы использовали термин «матрица» в самом общем смысле, признавая, что векторы — это просто матрицы с одним столбцом (а скаляры — это просто векторы с одной строкой). Более того, мы использовали жирные буквы для обозначения векторов и жирные заглавные буквы для матриц. Это обозначение используется повсюду.

Обратите внимание, что мы могли бы также говорить о производной вектора по отношению к матрице или любой другой незаполненной ячейке в нашей таблице. Однако эти производные наиболее естественно организованы в тензоре ранга выше 2, так что они не вписываются аккуратно в матрицу. В следующих трех разделах мы определим каждую из этих производных и свяжем их с другими разделами математики. Более подробную таблицу см. в разделе соглашений о компоновке.

Отношение к другим производным инструментам

Матричная производная — удобная нотация для отслеживания частных производных при выполнении вычислений. Производная Фреше — стандартный способ в условиях функционального анализа брать производные по векторам. В случае, если матричная функция матрицы дифференцируема по Фреше, две производные будут согласовываться с точностью до перевода нотаций. Как и в общем случае для частных производных , некоторые формулы могут распространяться при более слабых аналитических условиях, чем существование производной как аппроксимирующего линейного отображения.

Обычаи

Матричное исчисление используется для вывода оптимальных стохастических оценок, часто с использованием множителей Лагранжа . Это включает вывод:

• фильтр Калмана
• фильтр Винера
• Алгоритм максимизации ожидания для гауссовой смеси
• Градиентный спуск

Обозначение

Векторные и матричные производные, представленные в следующих разделах, в полной мере используют матричную нотацию , используя одну переменную для представления большого количества переменных. В дальнейшем мы будем различать скаляры, векторы и матрицы по их шрифту. Мы обозначим M ( n , m ) пространство действительных матриц n × m с n строками и m столбцами. Такие матрицы будут обозначаться жирными заглавными буквами: A , X , Y и т. д. Элемент M ( n , 1) , то есть вектор-столбец , обозначается жирной строчной буквой: a , x , y и т. д. Элемент M (1, 1) является скаляром, обозначаемым строчными курсивными шрифтами: a , t , x и т. д. X ^T обозначает транспонированную матрицу , tr( X ) является следом , а det( X ) или | X | является определителем . Все функции предполагаются имеющими класс дифференцируемости C ¹ , если не указано иное. Обычно для обозначения констант используются буквы из первой половины алфавита (a, b, c, ...), а для обозначения переменных — из второй половины (t, x, y, ...).

ПРИМЕЧАНИЕ : Как упоминалось выше, существуют конкурирующие обозначения для размещения систем частных производных в векторах и матрицах, и, похоже, пока не появилось ни одного стандарта. В следующих двух вводных разделах соглашение о размещении числителя используется просто для удобства, чтобы избежать чрезмерного усложнения обсуждения. В разделе после них соглашения о размещении обсуждаются более подробно. Важно понимать следующее:

1. Несмотря на использование терминов «раскладка числителя» и «раскладка знаменателя», на самом деле задействовано более двух возможных вариантов обозначений. Причина в том, что выбор числителя или знаменателя (или в некоторых ситуациях числителя или смешанного) может быть сделан независимо для производных скаляр-вектор, вектор-скаляр, вектор-вектор и скаляр-матрица, и ряд авторов смешивают и подбирают свои варианты раскладок различными способами.
2. Выбор макета числителя во вводных разделах ниже не означает, что это «правильный» или «лучший» выбор. У различных типов макетов есть свои преимущества и недостатки. Серьезные ошибки могут возникнуть из-за небрежного объединения формул, написанных в разных макетах, а преобразование из одного макета в другой требует осторожности, чтобы избежать ошибок. В результате при работе с существующими формулами лучшей политикой, вероятно, будет определить, какой макет используется, и поддерживать его согласованность, а не пытаться использовать один и тот же макет во всех ситуациях.

Альтернативы

Нотация индекса тензора с ее соглашением о суммировании Эйнштейна очень похожа на матричное исчисление, за исключением того, что за один раз записывается только один компонент. Она имеет то преимущество, что можно легко манипулировать тензорами произвольно высокого ранга, тогда как тензоры ранга выше двух довольно громоздки в матричной нотации. Вся работа здесь может быть выполнена в этой нотации без использования однопеременной матричной нотации. Однако многие проблемы в теории оценивания и других областях прикладной математики привели бы к слишком большому количеству индексов для надлежащего отслеживания, что указывает в пользу матричного исчисления в этих областях. Кроме того, нотация Эйнштейна может быть очень полезна для доказательства представленных здесь тождеств (см. раздел о дифференцировании ) в качестве альтернативы типичной элементной нотации, которая может стать громоздкой, когда явные суммы переносятся. Обратите внимание, что матрицу можно считать тензором ранга два.

Производные с векторами

Поскольку векторы — это матрицы, состоящие только из одного столбца, простейшими производными матриц являются производные векторов.

Разработанные здесь обозначения позволяют выполнять обычные операции векторного исчисления , отождествляя пространство M ( n ,1) из n -векторов с евклидовым пространством R ⁿ , а скаляр M (1,1) отождествляется с R . Соответствующее понятие из векторного исчисления указано в конце каждого подраздела.

ПРИМЕЧАНИЕ : Обсуждение в этом разделе предполагает соглашение о макете числителя в педагогических целях. Некоторые авторы используют другие соглашения. Раздел о соглашениях о макетах обсуждает этот вопрос более подробно. Идентификаторы, приведенные ниже, представлены в формах, которые могут использоваться в сочетании со всеми распространенными соглашениями о макетах.

Вектор-на-скаляр

Производная вектора по скаляру x записывается ( в числителе) как ${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$

${\displaystyle {\frac {d\mathbf {y} }{dx}}={\begin{bmatrix}{\frac {dy_{1}}{dx}}\\{\frac {dy_{2}}{dx}}\\\vdots \\{\frac {dy_{m}}{dx}}\\\end{bmatrix}}.}$

В векторном исчислении производная вектора y по скаляру x называется касательным вектором вектора y ,. Обратите внимание, что y : R ¹ → R ^m . ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$

Пример Простые примеры этого включают вектор скорости в евклидовом пространстве , который является касательным вектором вектора положения (рассматриваемого как функция времени). Также ускорение является касательным вектором скорости.

Скалярно-векторный

Производная скаляра y по вектору записывается (в числителе ) как ${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$

${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\dfrac {\partial y}{\partial x_{1}}}&{\dfrac {\partial y}{\partial x_{2}}}&\cdots &{\dfrac {\partial y}{\partial x_{n}}}\end{bmatrix}}.}$

В векторном исчислении градиент скалярного поля f  : R ⁿ → R (независимыми координатами которого являются компоненты x ) представляет собой транспонирование производной скаляра по вектору.

${\displaystyle \nabla f={\begin{bmatrix}{\frac {\partial f}{\partial x_{1}}}\\\vdots \\{\frac {\partial f}{\partial x_{n}}}\end{bmatrix}}=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}}$

Например, в физике электрическое поле представляет собой отрицательный векторный градиент электрического потенциала .

Направленная производная скалярной функции f ( x ) пространственного вектора x в направлении единичного вектора u (представленного в данном случае в виде вектора-столбца) определяется с помощью градиента следующим образом.

${\displaystyle \nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u} }$

Используя обозначение, только что определенное для производной скаляра по вектору, мы можем переписать производную по направлению как Этот тип обозначения будет удобен при доказательстве правил произведения и цепочек правил, которые выглядят похожими на то, с чем мы знакомы для производной скаляра . ${\displaystyle \nabla _{\mathbf {u} }f={\frac {\partial f}{\partial \mathbf {x} }}\mathbf {u} .}$

Вектор-за-вектором

Каждый из предыдущих двух случаев можно рассматривать как применение производной вектора по отношению к вектору, используя вектор размера один соответствующим образом. Аналогично мы обнаружим, что производные, включающие матрицы, сводятся к производным, включающим векторы, соответствующим образом.

Производная векторной функции (вектора, компонентами которого являются функции) по входному вектору записывается (в записи числителя) как ${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$ ${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$

${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.}$

В векторном исчислении производная векторной функции y по вектору x , компоненты которого представляют пространство, называется прямой матрицей (или дифференциалом) или матрицей Якоби .

Движение вперед вдоль векторной функции f относительно вектора v в R ⁿ определяется выражением ${\displaystyle d\mathbf {f} (\mathbf {v} )={\frac {\partial \mathbf {f} }{\partial \mathbf {v} }}d\mathbf {v} .}$

Производные с матрицами

Существует два типа производных с матрицами, которые можно организовать в матрицу того же размера. Это производная матрицы по скаляру и производная скаляра по матрице. Они могут быть полезны в задачах минимизации, встречающихся во многих областях прикладной математики, и получили названия касательная матрица и градиентная матрица соответственно по их аналогам для векторов.

Примечание : обсуждение в этом разделе предполагает соглашение о макете числителя в педагогических целях. Некоторые авторы используют другие соглашения. Раздел о соглашениях о макетах обсуждает этот вопрос более подробно. Идентификаторы, приведенные ниже, представлены в формах, которые могут использоваться в сочетании со всеми распространенными соглашениями о макетах.

Матрица-скаляр

Производная матричной функции Y по скаляру x называется касательной матрицей и задается (в записи числителя) как

${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.}$

Скалярно-матричный

Производная скалярной функции y по матрице X размера p × q независимых переменных определяется (в записи числителя) как

${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.}$

Важными примерами скалярных функций матриц являются след матрицы и определитель .

По аналогии с векторным исчислением эту производную часто записывают следующим образом.

${\displaystyle \nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}}$

Также по аналогии с векторным исчислением производная по направлению скаляра f ( X ) матрицы X в направлении матрицы Y определяется как

${\displaystyle \nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right).}$

В частности, именно градиентная матрица находит широкое применение в задачах минимизации в теории оценивания , в частности, при выводе алгоритма фильтра Калмана , который имеет большое значение в этой области.

Другие производные матрицы

Три типа производных, которые не были рассмотрены, это те, которые включают векторы-на-матрицы, матрицы-на-векторы и матрицы-на-матрицы. Они не так широко рассматриваются, и их обозначение не является общепринятым.

Соглашения по компоновке

В этом разделе обсуждаются сходства и различия между соглашениями об обозначениях, которые используются в различных областях, использующих преимущества матричного исчисления. Хотя в основном существуют два последовательных соглашения, некоторые авторы считают удобным смешивать два соглашения в формах, которые обсуждаются ниже. После этого раздела уравнения будут перечислены в обеих конкурирующих формах по отдельности.

Основная проблема заключается в том, что производная вектора по вектору, т. е . , часто записывается двумя конкурирующими способами. Если числитель y имеет размер m , а знаменатель x — размер n , то результат может быть представлен либо как матрица m × n , либо как матрица n × m , т. е. m элементов y располагаются в строках, а n элементов x располагаются в столбцах, или наоборот. Это приводит к следующим возможностям: ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$

1. Расположение числителя , т.е. расположение в соответствии с y и x ^T (т.е. противоположно x ). Иногда это называют формулировкой Якобиана . Это соответствует расположению m × n в предыдущем примере, что означает, что номер строки равен размеру числителя , а номер столбца равен размеру x ^T . ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$ ${\displaystyle \mathbf {y} }$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$
2. Расположение знаменателя , т.е. расположение в соответствии с y ^T и x (т.е. противоположно y ). Иногда это называют формулировкой Гессе . Некоторые авторы называют это расположение градиентом , в отличие от Якобиана (расположение числителя), который является его транспонированием. (Однако градиент чаще означает производную независимо от расположения.). Это соответствует расположению n×m в предыдущем примере, что означает, что номер строки равен размеру x (знаменателя). ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$
3. Третья возможность, которую иногда можно увидеть, — настаивать на записи производной как (т. е. производная берется относительно транспонированного x ) и следовать схеме числителя. Это позволяет утверждать, что матрица разложена в соответствии как с числителем, так и с знаменателем. На практике это дает результаты, такие же, как и схема числителя. ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} '}},}$

При обработке градиента и противоположного случая у нас те же проблемы. Чтобы быть последовательными, мы должны сделать одно из следующего: ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},}$

1. Если мы выбираем макет числителя, то нам следует разместить градиент как вектор-строку и как вектор-столбец. ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$
2. Если мы выберем макет знаменателя, то нам следует разместить градиент как вектор-столбец и как вектор-строку. ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$
3. В третьем варианте выше мы пишем и используем макет числителя. ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} '}}}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},}$

Не все учебники и статьи по математике последовательны в этом отношении. То есть, иногда в разных контекстах в одной и той же книге или статье используются разные соглашения. Например, некоторые выбирают макет знаменателя для градиентов (располагая их как векторы-столбцы), но макет числителя для производной вектор-вектор ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}.}$

Аналогично, когда дело доходит до производных скаляра по матрице и производных матрицы по скаляру , то согласованная схема числителя располагается в соответствии с Y и X ^T , в то время как согласованная схема знаменателя располагается в соответствии с Y ^T и X . На практике, однако, следование схеме знаменателя и расположение результата в соответствии с Y ^T встречается редко, поскольку это приводит к уродливым формулам, которые не соответствуют скалярным формулам. В результате часто можно встретить следующие схемы: ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$ ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}$ ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}$

1. Последовательное расположение числителя , которое располагается в соответствии с Y и в соответствии с X ^T. ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$
2. Смешанная компоновка , которая размещается по Y и по X. ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$
3. Используйте обозначения с результатами, такими же, как и при последовательной компоновке числителя. ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} '}},}$

В следующих формулах мы обрабатываем пять возможных комбинаций и по отдельности. Мы также обрабатываем случаи скалярных производных, которые включают промежуточный вектор или матрицу. (Это может возникнуть, например, если многомерная параметрическая кривая определена в терминах скалярной переменной, а затем производная скалярной функции кривой берется относительно скаляра, который параметризует кривую.) Для каждой из различных комбинаций мы приводим результаты для макета числителя и макета знаменателя, за исключением случаев выше, где макет знаменателя встречается редко. В случаях, связанных с матрицами, где это имеет смысл, мы приводим результаты для макета числителя и смешанного макета. Как отмечено выше, случаи, когда знаменатели векторов и матриц записаны в транспонированной нотации, эквивалентны макету числителя со знаменателями, записанными без транспонирования. ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},{\frac {\partial \mathbf {y} }{\partial x}},{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},{\frac {\partial y}{\partial \mathbf {X} }}}$ ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$

Имейте в виду, что разные авторы используют разные комбинации макетов числителя и знаменателя для разных типов производных, и нет гарантии, что автор будет последовательно использовать макет числителя или знаменателя для всех типов. Сопоставьте формулы ниже с теми, что указаны в источнике, чтобы определить макет, используемый для этого конкретного типа производной, но будьте осторожны и не предполагайте, что производные других типов обязательно следуют тому же виду макета.

При взятии производных с агрегатным (векторным или матричным) знаменателем для нахождения максимума или минимума агрегата следует иметь в виду, что использование макета числителя даст результаты, которые транспонированы относительно агрегата. Например, при попытке найти оценку максимального правдоподобия многомерного нормального распределения с использованием матричного исчисления, если домен представляет собой вектор-столбец k × 1, то результат с использованием макета числителя будет иметь вид вектора-строки 1 × k . Таким образом, либо результаты должны быть транспонированы в конце, либо следует использовать макет знаменателя (или смешанный макет).

Результаты операций будут транспонированы при переключении между форматами записи числителя и знаменателя.

Обозначение числителя-макета

Используя обозначение числителя-макета, имеем: ^[1]

${\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}}$

Следующие определения даны только в формате числителя:

${\displaystyle {\begin{aligned}{\frac {\partial \mathbf {Y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.\\d\mathbf {X} &={\begin{bmatrix}dx_{11}&dx_{12}&\cdots &dx_{1n}\\dx_{21}&dx_{22}&\cdots &dx_{2n}\\\vdots &\vdots &\ddots &\vdots \\dx_{m1}&dx_{m2}&\cdots &dx_{mn}\\\end{bmatrix}}.\end{aligned}}}$

Обозначение знаменателя-макета

Используя обозначение знаменателя-макета, имеем: ^[2]

${\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}\\{\frac {\partial y}{\partial x_{2}}}\\\vdots \\{\frac {\partial y}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}&{\frac {\partial y_{2}}{\partial x}}&\cdots &{\frac {\partial y_{m}}{\partial x}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{1}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{1}}}\\{\frac {\partial y_{1}}{\partial x_{2}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{1}}{\partial x_{n}}}&{\frac {\partial y_{2}}{\partial x_{n}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{12}}}&\cdots &{\frac {\partial y}{\partial x_{1q}}}\\{\frac {\partial y}{\partial x_{21}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{2q}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{p1}}}&{\frac {\partial y}{\partial x_{p2}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}}$

Идентичности

Как отмечалось выше, в общем случае результаты операций будут транспонированы при переключении между форматом числителя и форматом знаменателя.

Чтобы помочь понять все тождества ниже, помните о самых важных правилах: цепном правиле , правиле произведения и правиле суммы . Правило суммы применяется универсально, а правило произведения применяется в большинстве случаев ниже, при условии сохранения порядка матричных произведений, поскольку матричные произведения не являются коммутативными. Цепное правило применяется в некоторых случаях, но, к сожалению, не применяется в производных матрицы по скаляру или производных скаляра по матрице (в последнем случае, в основном с использованием оператора трассировки, применяемого к матрицам). В последнем случае правило произведения также не может быть применено напрямую, но эквивалент можно сделать с немного большей работой, используя дифференциальные тождества.

Следующие идентификаторы принимают следующие соглашения:

• скаляры a , b , c , d и e являются постоянными относительно, а скаляры u и v являются функциями одного из x , x или X ;
• векторы a , b , c , d и e являются постоянными относительно, а векторы u и v являются функциями одного из x , x или X ;
• матрицы A , B , C , D и E являются постоянными относительно, а матрицы U и V являются функциями одного из x , x или X.

Векторно-векторные тождества

Это представлено первым, поскольку все операции, которые применяются к дифференцированию вектор-на-вектор, применяются непосредственно к дифференцированию вектор-на-скаляр или скаляр-на-вектор просто путем приведения соответствующего вектора в числителе или знаменателе к скаляру.

Скалярно-векторные тождества

Основные тождества размещены над толстой черной линией.

Векторно-скалярные тождества

ПРИМЕЧАНИЕ : Формулы, включающие производные вектор-вектор ( выходные данные которых являются матрицами), предполагают, что матрицы расположены в соответствии с векторной компоновкой, т.е. матрица числителя компоновки, когда числитель компоновки вектор, и наоборот; в противном случае транспонируйте производные вектор-вектор. ${\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}}$ ${\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}}$

Скалярно-матричные тождества

Обратите внимание, что точных эквивалентов правила скалярного произведения и правила цепочки не существует при применении к матричнозначным функциям матриц. Однако правило произведения такого рода применимо к дифференциальной форме (см. ниже), и это способ вывести многие из приведенных ниже тождеств, включающих функцию следа , в сочетании с тем фактом, что функция следа допускает транспонирование и циклическую перестановку, т. е.:

${\displaystyle {\begin{aligned}\operatorname {tr} (\mathbf {A} )&=\operatorname {tr} \left(\mathbf {A^{\top }} \right)\\\operatorname {tr} (\mathbf {ABCD} )&=\operatorname {tr} (\mathbf {BCDA} )=\operatorname {tr} (\mathbf {CDAB} )=\operatorname {tr} (\mathbf {DABC} )\end{aligned}}}$

Например, для вычисления ${\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {AXBX^{\top }C} )}{\partial \mathbf {X} }}:}$ $${\displaystyle {\begin{aligned}d\operatorname {tr} (\mathbf {AXBX^{\top }C} )&=d\operatorname {tr} \left(\mathbf {CAXBX^{\top }} \right)=\operatorname {tr} \left(d\left(\mathbf {CAXBX^{\top }} \right)\right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d(\mathbf {BX^{\top }} \right)+d\left(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d\left(\mathbf {BX^{\top }} \right)\right)+\operatorname {tr} \left(d(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} d\left(\mathbf {X^{\top }} \right)\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)+\operatorname {tr} (\mathbf {CA} \left(d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)^{\top }\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left((d\mathbf {X} )\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} \right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} (d\mathbf {X} )\right)+\operatorname {tr} \left(\mathbf {BX^{\top }} \mathbf {CA} (d\mathbf {X} )\right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }} \mathbf {CA} \right)d\mathbf {X} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} \right)^{\top }d\mathbf {X} \right)\end{aligned}}}$$

Поэтому,

${\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }CA} .}$(раскладка числителя)

${\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} .}$(раскладка знаменателя)

(Последний шаг см. в разделе «Преобразование из дифференциальной формы в производную».)

Матрично-скалярные тождества

Скалярно-скалярные тождества

С вовлеченными векторами

С задействованными матрицами

Идентичности в дифференциальной форме

Часто бывает проще работать в дифференциальной форме, а затем преобразовывать обратно в обычные производные. Это хорошо работает только при использовании числителя. В этих правилах a — скаляр.

В последней строке — символ Кронекера , а — набор ортогональных проекционных операторов, которые проецируются на k -й собственный вектор X. Q — матрица собственных векторов , а — собственные значения. Матричная функция определяется в терминах скалярной функции для диагонализируемых матриц следующим образом : где с . ${\displaystyle \delta _{ij}}$ ${\displaystyle (\mathbf {P} _{k})_{ij}=(\mathbf {Q} )_{ik}(\mathbf {Q} ^{-1})_{kj}}$ ${\displaystyle \mathbf {X} =\mathbf {Q} {\boldsymbol {\Lambda }}\mathbf {Q} ^{-1}}$ ${\displaystyle ({\boldsymbol {\Lambda }})_{ii}=\lambda _{i}}$ ${\displaystyle f(\mathbf {X} )}$ ${\displaystyle f(x)}$ ${\textstyle f(\mathbf {X} )=\sum _{i}f(\lambda _{i})\mathbf {P} _{i}}$ ${\textstyle \mathbf {X} =\sum _{i}\lambda _{i}\mathbf {P} _{i}}$ ${\displaystyle \mathbf {P} _{i}\mathbf {P} _{j}=\delta _{ij}\mathbf {P} _{i}}$

Чтобы преобразовать в нормальную производную форму, сначала преобразуйте ее в одну из следующих канонических форм, а затем используйте эти тождества:

Приложения

Матричное дифференциальное исчисление используется в статистике и эконометрике, в частности, для статистического анализа многомерных распределений , особенно многомерного нормального распределения и других эллиптических распределений . ^{[8] [9] [10]}

Он используется в регрессионном анализе для вычисления, например, обычной формулы регрессии наименьших квадратов для случая нескольких объясняющих переменных . ^[11] Он также используется в случайных матрицах, статистических моментах, локальной чувствительности и статистической диагностике. ^{[12] [13]}

Смотрите также

• Математический портал

• Производные (обобщения)
• Интеграл продукта
• исчисление Риччи
• Производная тензора

Примечания

1. Здесь относится к вектору-столбцу, состоящему из всех нулей, размером n , где n — длина x . ${\displaystyle \mathbf {0} }$
2. Здесь относится к матрице, состоящей из всех нулей, той же формы, что и X. ${\displaystyle \mathbf {0} }$
3. Константа a исчезает в результате. Это сделано намеренно. В общем случае, или, также $${\displaystyle {\frac {d\ln au}{dx}}={\frac {1}{au}}{\frac {d(au)}{dx}}={\frac {1}{au}}a{\frac {du}{dx}}={\frac {1}{u}}{\frac {du}{dx}}={\frac {d\ln u}{dx}}.}$$ $${\displaystyle {\frac {d\ln au}{dx}}={\frac {d(\ln a+\ln u)}{dx}}={\frac {d\ln a}{dx}}+{\frac {d\ln u}{dx}}={\frac {d\ln u}{dx}}.}$$

Ссылки

1. Thomas P., Minka (28 декабря 2000 г.). «Старая и новая матричная алгебра полезна для статистики». Заметка MIT Media Lab (1997; пересмотрено 12/00) . Получено 5 февраля 2016 г.
2. Фелиппа, Карлос А. "Приложение D, Линейная алгебра: определители, обратные, ранг" (PDF) . ASEN 5007: Введение в методы конечных элементов . Боулдер, Колорадо: Университет Колорадо . Получено 5 февраля 2016 г. .Использует гессианское ( транспонированное в якобиан ) определение векторных и матричных производных.
3. Петерсен, Кааре Брандт; Педерсен, Михаэль Сюскинд. The Matrix Cookbook (PDF) . Архивировано из оригинала 2 марта 2010 . Получено 5 февраля 2016 .В этой книге используется смешанная компоновка, т.е. по Y в X в ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}.}$
4. Duchi, John C. "Properties of the Trace and Matrix Derivatives" (PDF) . Стэнфордский университет . Получено 5 февраля 2016 г. .
5. См. Определитель § Производная для вывода.
6. Giles, Mike B. (2008). "Собранные результаты матричной производной для прямого и обратного режима алгоритмического дифференцирования". В Bischof, Christian H.; Bücker, H. Martin; Hovland, Paul; Naumann, Uwe; Utke, Jean (ред.). Достижения в области автоматического дифференцирования . Lecture Notes in Computational Science and Engineering. Vol. 64. Berlin: Springer. pp. 35–44. doi :10.1007/978-3-540-68942-3_4. ISBN 978-3-540-68935-5. МР  2531677.
7. Неопубликованная записка С. Адлера (IAS)
8. Фан, Кай-Тай ; Чжан, Яо-Тин (1990). Обобщенный многомерный анализ . Science Press (Пекин) и Springer-Verlag (Берлин). ISBN 3540176519. 9783540176510.
9. Пан, Цзяньсинь; Фан, Кайтай (2007). Модели кривых роста и статистическая диагностика . Пекин: Science Press. ISBN 9780387950532.
10. Колло, Тыну; фон Розен, Дитрих (2005). Расширенная многомерная статистика с матрицами . Дордрехт: Спрингер. ISBN 978-1-4020-3418-3.
11. Магнус, Ян; Нойдекер, Хайнц (2019). Матричное дифференциальное исчисление с приложениями в статистике и эконометрике . Нью-Йорк: John Wiley. ISBN 9781119541202.
12. Лю, Шуанчжэ; Лейва, Виктор; Чжуан, Дэн; Ма, Тиефенг; Фигероа-Сунига, Хорхе И. (2022). «Матричное дифференциальное исчисление с приложениями в многомерной линейной модели и его диагностика». Журнал многомерного анализа . 188 : 104849. doi : 10.1016/j.jmva.2021.104849 .
13. Лю, Шуанчжэ; Тренклер, Гетц; Колло, Тыну; фон Розен, Дитрих; Баксалари, Оскар Мария (2023). «Профессор Хайнц Нойдекер и матричное дифференциальное исчисление». Статистические документы . doi : 10.1007/s00362-023-01499-w. S2CID  263661094.

Дальнейшее чтение

• Абадир, Карим М.; Магнус, Ян Р. (2005). Матричная алгебра . Эконометрические упражнения. Кембридж: Cambridge University Press. ISBN 978-0-511-64796-3. OCLC  569411497.
• Лакс, Питер Д. (2007). "9. Исчисление векторных и матричнозначных функций". Линейная алгебра и ее приложения (2-е изд.). Хобокен, Нью-Джерси: Wiley-Interscience. ISBN 978-0-471-75156-4.
• Магнус, Ян Р. (октябрь 2010 г.). «О концепции производной матрицы». Журнал многомерного анализа . 101 (9): 2200–2206. doi :10.1016/j.jmva.2010.05.005.. Обратите внимание, что эта статья Википедии была почти полностью переработана по сравнению с версией, критикуемой в этой статье.

Внешние ссылки

Программное обеспечение

• MatrixCalculus.org, веб-сайт для символической оценки выражений матричного исчисления
• NCAlgebra — пакет Mathematica с открытым исходным кодом , имеющий некоторые функции матричного исчисления
• SymPy поддерживает символьные производные матрицы в своем модуле выражения матрицы, а также символьные производные тензора в своем модуле выражения массива.

Информация

• Справочное руководство по матрицам, Майк Брукс, Имперский колледж Лондона .
• Матричная дифференциация (и кое-что еще), Рэндал Дж. Барнс, Факультет гражданского строительства, Университет Миннесоты.
• Заметки о матричном исчислении, Пол Л. Факлер, Университет штата Северная Каролина .
• Матричное дифференциальное исчисление. Архивировано 16 сентября 2012 г. на Wayback Machine (слайд-презентация), Чжан Ле, Эдинбургский университет .
• Введение в векторную и матричную дифференциацию (заметки о матричной дифференциации в контексте эконометрики ), Хейно Бон Нильсен.
• Заметка о дифференциации матриц (заметки о дифференциации матриц), Павел Коваль, из Мюнхенского личного архива RePEc.
• Векторно-матричное исчисление. Дополнительные заметки о дифференциации матриц.
• Матричное тождество (заметки о дифференциации матриц), Сэм Роуис.