Матричное исчисление

Специализированные обозначения для исчисления с несколькими переменными

В математике матричное исчисление — это специализированное обозначение для выполнения исчисления с множеством переменных , особенно над пространствами матриц . Он собирает различные частные производные одной функции по отношению ко многим переменным и/или многомерной функции по отношению к одной переменной в векторы и матрицы, которые можно рассматривать как отдельные объекты. Это значительно упрощает такие операции, как нахождение максимума или минимума функции многих переменных и решение систем дифференциальных уравнений . Используемые здесь обозначения обычно используются в статистике и технике , тогда как обозначение тензорного индекса является предпочтительным в физике .

Два конкурирующих соглашения об обозначениях разделяют область матричного исчисления на две отдельные группы. Эти две группы можно отличить по тому, записывают ли они производную скаляра по вектору как вектор-столбец или вектор-строку . Оба этих соглашения возможны, даже если сделано общее предположение, что векторы следует рассматривать как векторы-столбцы при объединении с матрицами (а не как векторы-строки). Единое соглашение может быть в некоторой степени стандартным для одной области, в которой обычно используется матричное исчисление (например, эконометрика , статистика, теория оценки и машинное обучение ). Однако даже внутри одной области можно найти разных авторов, используя конкурирующие соглашения. Авторы обеих групп часто пишут так, как если бы их конкретные условности были стандартными. Серьезные ошибки могут возникнуть при объединении результатов разных авторов без тщательной проверки использования совместимых обозначений. Определения этих двух соглашений и сравнение между ними собраны в разделе «Условия компоновки».

Объем

Матричное исчисление относится к ряду различных обозначений, в которых используются матрицы и векторы для сбора производной каждого компонента зависимой переменной по отношению к каждому компоненту независимой переменной. В общем, независимая переменная может быть скаляром, вектором или матрицей, тогда как зависимая переменная также может быть любой из них. Каждая отдельная ситуация приведет к различному набору правил или отдельному исчислению , если использовать более широкий смысл этого термина. Матричная запись служит удобным способом организованного сбора множества производных.

В качестве первого примера рассмотрим градиент из векторного исчисления . Для скалярной функции трех независимых переменных градиент задается векторным уравнением ${\displaystyle f(x_{1},x_{2},x_{3})}$

${\displaystyle \nabla f={\frac {\partial f}{\partial x_{1}}}{\hat {x}}_{1}+{\frac {\partial f}{\partial x_{2}}}{\hat {x}}_{2}+{\frac {\partial f}{\partial x_{3}}}{\hat {x}}_{3},}$

где представляет собой единичный вектор в направлении для . Этот тип обобщенной производной можно рассматривать как производную скаляра f по вектору , и ее результат можно легко собрать в векторной форме. ${\displaystyle {\hat {x}}_{i}}$ ${\displaystyle x_{i}}$ ${\displaystyle 1\leq i\leq 3}$ ${\displaystyle \mathbf {x} }$

${\displaystyle \nabla f=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}={\begin{bmatrix}{\dfrac {\partial f}{\partial x_{1}}}&{\dfrac {\partial f}{\partial x_{2}}}&{\dfrac {\partial f}{\partial x_{3}}}\\\end{bmatrix}}^{\textsf {T}}.}$

Более сложные примеры включают производную скалярной функции по матрице, известную как матрица градиента, которая собирает производную по каждому элементу матрицы в соответствующей позиции результирующей матрицы. В этом случае скаляр должен быть функцией каждой независимой переменной в матрице. В качестве другого примера: если у нас есть n -вектор зависимых переменных или функции m независимых переменных, мы могли бы рассмотреть производную зависимого вектора по независимому вектору. Результат может быть собран в матрице размера m × n , состоящей из всех возможных комбинаций производных.

Всего существует девять возможностей использования скаляров, векторов и матриц. Обратите внимание: если мы рассматриваем большее количество компонентов в каждой из независимых и зависимых переменных, у нас может остаться очень большое количество возможностей. Шесть видов деривативов, которые наиболее удобно организовать в матричной форме, собраны в следующей таблице. ^[1]

Здесь мы использовали термин «матрица» в его самом общем смысле, понимая, что векторы — это просто матрицы с одним столбцом (а скаляры — это просто векторы с одной строкой). Кроме того, мы использовали жирные буквы для обозначения векторов и жирные заглавные буквы для матриц. Это обозначение используется повсюду.

Обратите внимание, что мы также можем говорить о производной вектора по матрице или любой другой незаполненной ячейке нашей таблицы. Однако эти производные наиболее естественно организованы в тензоре ранга выше 2, поэтому они не вписываются аккуратно в матрицу. В следующих трех разделах мы определим каждую из этих производных и соотнесем их с другими разделами математики. Более подробную таблицу смотрите в разделе «Условия компоновки».

Связь с другими производными инструментами

Матричная производная — это удобное обозначение для отслеживания частных производных при выполнении вычислений. Производная Фреше — это стандартный способ в функциональном анализе получить производные по векторам. В случае, если матричная функция матрицы дифференцируема по Фреше, две производные согласуются с точностью до перевода обозначений. Как и в случае с частными производными , некоторые формулы могут расширяться при более слабых аналитических условиях, чем существование производной как аппроксимирующего линейное отображение.

Использование

Матричное исчисление используется для получения оптимальных стохастических оценок, часто с использованием множителей Лагранжа . Сюда входит вывод:

• Фильтр Калмана
• фильтр Винера
• Алгоритм максимизации ожидания для гауссовой смеси
• Градиентный спуск

Обозначения

Векторные и матричные производные, представленные в последующих разделах, в полной мере используют преимущества матричной записи , используя одну переменную для представления большого количества переменных. В дальнейшем мы будем различать скаляры, векторы и матрицы по их шрифту. Обозначим через M ( n , m ) пространство действительных матриц размера n × m с n строками и m столбцами. Такие матрицы будут обозначаться жирными заглавными буквами: A , X , Y и т. д. Элемент M ( n , 1) , то есть вектор-столбец , обозначается жирной строчной буквой: a , x , y и т. д. Элемент M (1,1) является скаляром, обозначаемым строчным курсивом: a , t , x и т. д. X ^T обозначает транспонирование матрицы , tr( X ) — след , а det( X ) или | Х | является определителем . Предполагается, что все функции относятся к классу дифференцируемости C ¹ , если не указано иное. Обычно буквы из первой половины алфавита (a, b, c, ...) используются для обозначения констант, а из второй половины (t, x, y, ...) для обозначения переменных.

ПРИМЕЧАНИЕ . Как упоминалось выше, существуют конкурирующие обозначения для представления систем частных производных в векторах и матрицах, и, похоже, никакого стандарта еще не появилось. В следующих двух вводных разделах используется соглашение о расположении числителя просто для удобства, чтобы не слишком усложнять обсуждение. В следующем разделе соглашения о компоновке обсуждаются более подробно. Важно осознавать следующее:

1. Несмотря на использование терминов «схема числителя» и «схема знаменателя», на самом деле существует более двух возможных вариантов обозначения. Причина в том, что выбор числителя или знаменателя (или, в некоторых ситуациях, числителя или смешанного метода) может быть сделан независимо для скалярно-векторного, векторно-скалярного, векторно-векторного и скалярно-по-калярного значений. производные матрицы, и ряд авторов смешивают и сопоставляют варианты макета различными способами.
2. Выбор расположения числителя во вводных разделах ниже не означает, что это «правильный» или «лучший» выбор. У различных типов планировок есть свои преимущества и недостатки. Серьезные ошибки могут возникнуть из-за небрежного объединения формул, написанных в разных макетах, а преобразование из одного макета в другой требует осторожности, чтобы избежать ошибок. В результате при работе с существующими формулами лучше всего, вероятно, определить, какой макет используется, и поддерживать с ним согласованность, а не пытаться использовать один и тот же макет во всех ситуациях.

Альтернативы

Обозначение тензорного индекса с его соглашением Эйнштейна о суммировании очень похоже на матричное исчисление, за исключением того, что за раз записывается только один компонент. Его преимущество состоит в том, что можно легко манипулировать тензорами сколь угодно высокого ранга, тогда как тензоры ранга выше двух довольно громоздки с матричной записью. Вся работа здесь может быть выполнена в этой записи без использования матричной записи с одной переменной. Однако многие проблемы в теории оценивания и других областях прикладной математики приводят к тому, что индексов становится слишком много, чтобы их можно было правильно отслеживать, что указывает на пользу матричного исчисления в этих областях. Кроме того, нотация Эйнштейна может быть очень полезна при доказательстве представленных здесь тождеств (см. раздел о дифференцировании ) в качестве альтернативы типичной нотации элементов, которая может стать громоздкой, когда используются явные суммы. Обратите внимание, что матрицу можно рассматривать как тензор второго ранга.

Производные с векторами

Поскольку векторы представляют собой матрицы только с одним столбцом, простейшими производными матрицы являются производные векторов.

^{Разработанные} здесь обозначения позволяют выполнять обычные операции векторного исчисления , отождествляя пространство M ( n ,1) n -векторов с евклидовым пространством Rn , а скаляр M (1,1) отождествляя с R. Соответствующее понятие из векторного исчисления указано в конце каждого подраздела.

ПРИМЕЧАНИЕ . Обсуждение в этом разделе предполагает использование соглашения о расположении числителя в педагогических целях. Некоторые авторы используют другие соглашения. В разделе, посвященном соглашениям о компоновке, этот вопрос обсуждается более подробно. Идентификаторы, приведенные ниже, представлены в формах, которые можно использовать в сочетании со всеми распространенными соглашениями о компоновке.

Векторно-скалярный

Производная вектора по скаляру x записывается (в обозначении расположения числителя ) как ${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$

${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}.}$

В векторном исчислении производная вектора y по скаляру x известна как касательный вектор вектора y , . Обратите внимание, что y : R ¹ → R ^m . ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$

Пример Простые примеры этого включают вектор скорости в евклидовом пространстве , который является касательным вектором вектора положения (рассматриваемого как функция времени). Кроме того, ускорение - это касательный вектор скорости.

Скалярно-векторный

Производная скаляра y по вектору записывается (в обозначениях расположения числителя ) как ${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$

${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\dfrac {\partial y}{\partial x_{1}}}&{\dfrac {\partial y}{\partial x_{2}}}&\cdots &{\dfrac {\partial y}{\partial x_{n}}}\end{bmatrix}}.}$

В векторном исчислении градиент скалярного поля f  : R ⁿ → R (независимые координаты которого являются компонентами x ) представляет собой транспонирование производной скаляра вектором.

${\displaystyle \nabla f={\begin{bmatrix}{\frac {\partial f}{\partial x_{1}}}\\\vdots \\{\frac {\partial f}{\partial x_{n}}}\end{bmatrix}}=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}}$

Например, в физике электрическое поле представляет собой отрицательный векторный градиент электрического потенциала .

Производная по направлению скалярной функции f ( x ) пространственного вектора x в направлении единичного вектора u (представленного в данном случае как вектор-столбец) определяется с использованием градиента следующим образом.

${\displaystyle \nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u} }$

Используя только что определенное обозначение для производной скаляра по вектору, мы можем переписать производную по направлению как Этот тип обозначения будет удобен при доказательстве правил произведения и цепных правил, которые выглядят похоже на то, с чем мы знакомы для скалярной производной . ${\displaystyle \nabla _{\mathbf {u} }f={\frac {\partial f}{\partial \mathbf {x} }}\mathbf {u} .}$

Вектор за вектором

Каждый из предыдущих двух случаев можно рассматривать как применение производной вектора по отношению к вектору, используя соответственно вектор размера один. Аналогичным образом мы обнаружим, что производные, включающие матрицы, соответствующим образом сводятся к производным, включающим векторы.

Производная векторной функции (вектора , компоненты которого являются функциями) по отношению к входному вектору записывается (в обозначениях расположения числителя) как ${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$ ${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$

${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.}$

В векторном исчислении производная векторной функции y по вектору x , компоненты которого представляют пространство, известна как матрица прямого продвижения (или дифференциал) или матрица Якобиана .

Продвижение вектор-функции f относительно вектора v в R ⁿ определяется выражением ${\displaystyle d\mathbf {f} (\mathbf {v} )={\frac {\partial \mathbf {f} }{\partial \mathbf {v} }}d\mathbf {v} .}$

Производные с матрицами

Существует два типа производных с матрицами, которые можно организовать в матрицу одинакового размера. Это производная матрицы по скаляру и производная скаляра по матрице. Они могут быть полезны в задачах минимизации, встречающихся во многих областях прикладной математики, и получили названия касательная матрица и градиентная матрица соответственно после своих аналогов для векторов.

Примечание . Обсуждение в этом разделе предполагает использование соглашения о расположении числителя в педагогических целях. Некоторые авторы используют другие соглашения. В разделе, посвященном соглашениям о компоновке, этот вопрос обсуждается более подробно. Идентификаторы, приведенные ниже, представлены в формах, которые можно использовать в сочетании со всеми распространенными соглашениями о компоновке.

Матрица по скаляру

Производная матричной функции Y по скаляру x известна как касательная матрица и определяется (в обозначениях расположения числителя) выражением

${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.}$

Скаляр по матрице

Производная скалярной функции y по отношению к матрице X независимых переменных размера p × q определяется (в обозначениях расположения числителя) выражением

${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.}$

Важные примеры скалярных функций матриц включают след матрицы и определитель .

По аналогии с векторным исчислением эту производную часто записывают следующим образом.

${\displaystyle \nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}}$

Также по аналогии с векторным исчислением производная по направлению скаляра f ( X ) матрицы X в направлении матрицы Y определяется выражением

${\displaystyle \nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right).}$

В частности, именно градиентная матрица находит множество применений в задачах минимизации в теории оценивания , особенно при выводе алгоритма фильтра Калмана , который имеет большое значение в этой области.

Другие производные матрицы

Три типа производных, которые не рассматривались, — это производные с использованием векторов по матрицам, матриц за векторами и матриц за матрицами. Они не так широко рассматриваются, и обозначения не получили широкого согласия.

Соглашения о макете

В этом разделе обсуждаются сходства и различия между соглашениями об обозначениях, которые используются в различных областях, использующих преимущества матричного исчисления. Хотя в основном существуют два последовательных соглашения, некоторые авторы считают удобным смешивать эти два соглашения в формах, которые обсуждаются ниже. После этого раздела уравнения будут перечислены в обеих конкурирующих формах отдельно.

Фундаментальный вопрос заключается в том, что производная вектора по вектору, т. е. часто записывается двумя конкурирующими способами. Если числитель y имеет размер m , а знаменатель x — размер n , то результат может быть представлен либо в виде матрицы m × n , либо в виде матрицы n × m , т. е. элементы y разложены по столбцам, а элементы x расположены рядами или наоборот. Это приводит к следующим возможностям: ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$

1. Расположение числителя , т.е. расположение в соответствии с y и x ^T (т.е. наоборот x ). Иногда это называют формулировкой Якобиана . Это соответствует макету m × n в предыдущем примере, что означает, что номер строки равен размеру числителя , а номер столбца равен размеру x ^T . ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$ ${\displaystyle \mathbf {y} }$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$
2. Расположение знаменателя , т. е. расположение в соответствии с y ^T и x (т. е. противоположно y ). Иногда это называют формулировкой Гессе . Некоторые авторы называют эту схему градиентом в отличие от якобиана (схемы числителя), который является его транспонированием. (Однако градиент чаще означает производную независимо от макета.). Это соответствует макету n×m в предыдущем примере, что означает, что номер строки равен размеру x (знаменатель). ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$
3. Иногда встречается третья возможность — настаивать на записи производной как (т. е. производная берется относительно транспонирования x ) и следовать расположению числителя. Это позволяет утверждать, что матрица раскладывается как по числителю, так и по знаменателю. На практике это дает такие же результаты, как и расположение числителя. ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} '}},}$

При обработке градиента и противоположного случая у нас возникают одни и те же проблемы. Чтобы быть последовательными, нам следует сделать одно из следующих действий: ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},}$

1. Если мы выберем макет числителя, мы должны расположить градиент как вектор-строку и как вектор-столбец. ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$
2. Если мы выберем макет знаменателя, мы должны расположить градиент как вектор-столбец и как вектор-строку. ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$
3. В третьем варианте выше мы пишем и используем расположение числителя. ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} '}}}$ ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},}$

Не все учебники и статьи по математике единообразны в этом отношении. То есть иногда в одной и той же книге или статье в разных контекстах используются разные условные обозначения. Например, некоторые выбирают расположение знаменателя для градиентов (расположение их в виде векторов-столбцов), но расположение числителя для повекторной производной. ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}.}$

Аналогично, когда дело доходит до производных скаляр-по-матрице и производных по-матрице , то согласованное расположение числителя располагается в соответствии с Y и X ^T , а согласованное расположение знаменателя — в соответствии с Y ^T и X . Однако на практике следование знаменателю и представление результата в соответствии с Y ^T встречается редко, поскольку это приводит к уродливым формулам, которые не соответствуют скалярным формулам. В результате часто можно встретить следующие макеты: ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$ ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}$ ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}$

1. Согласованное расположение числителя , располагающееся в соответствии с Y и X ^T. ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$
2. Смешанная планировка , которая раскладывается по Y и по X. ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$
3. Используйте обозначения , чтобы результаты были такими же, как и в последовательном расположении числителя. ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} '}},}$

В следующих формулах мы обрабатываем пять возможных комбинаций и по отдельности. Мы также рассматриваем случаи поскалярных производных, которые включают промежуточный вектор или матрицу. (Это может возникнуть, например, если многомерная параметрическая кривая определена через скалярную переменную, а затем берется производная скалярной функции кривой по скаляру, который параметризует кривую.) Для каждого Из различных комбинаций мы даем результаты с расположением числителя и знаменателя, за исключением случаев, описанных выше, когда расположение знаменателя встречается редко. В случаях, когда это имеет смысл, мы приводим результаты с числителем и смешанным расположением. Как отмечалось выше, случаи, когда знаменатели векторов и матриц записаны в записи транспонирования, эквивалентны расположению числителя, в котором знаменатели записаны без транспонирования. ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},{\frac {\partial \mathbf {y} }{\partial x}},{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},{\frac {\partial y}{\partial \mathbf {X} }}}$ ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$

Имейте в виду, что разные авторы используют разные комбинации расположения числителя и знаменателя для разных типов производных, и нет никакой гарантии, что автор будет последовательно использовать расположение числителя или знаменателя для всех типов. Сопоставьте приведенные ниже формулы с формулами, указанными в источнике, чтобы определить макет, используемый для этого конкретного типа производной, но будьте осторожны и не предполагайте, что производные других типов обязательно имеют тот же тип макета.

При использовании производных с агрегатным (векторным или матричным) знаменателем для нахождения максимума или минимума агрегата следует иметь в виду, что использование расположения числителя приведет к получению результатов, транспонированных по отношению к агрегату. Например, при попытке найти оценку максимального правдоподобия многомерного нормального распределения с помощью матричного исчисления, если областью определения является вектор- столбец k × 1, то результат с использованием схемы числителя будет в форме вектора-строки 1 × k . . Таким образом, либо результаты следует транспонировать в конце, либо следует использовать раскладку знаменателя (или смешанную раскладку).

Результаты операций будут транспонированы при переключении между форматом числителя и форматом знаменателя.

Обозначение макета числителя

Используя обозначение расположения числителя, мы имеем: ^[1]

${\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}}$

Следующие определения предоставляются только в формате числителя:

${\displaystyle {\begin{aligned}{\frac {\partial \mathbf {Y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.\\d\mathbf {X} &={\begin{bmatrix}dx_{11}&dx_{12}&\cdots &dx_{1n}\\dx_{21}&dx_{22}&\cdots &dx_{2n}\\\vdots &\vdots &\ddots &\vdots \\dx_{m1}&dx_{m2}&\cdots &dx_{mn}\\\end{bmatrix}}.\end{aligned}}}$

Обозначение макета знаменателя

Используя обозначение расположения знаменателя, мы имеем: ^[2]

${\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}\\{\frac {\partial y}{\partial x_{2}}}\\\vdots \\{\frac {\partial y}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}&{\frac {\partial y_{2}}{\partial x}}&\cdots &{\frac {\partial y_{m}}{\partial x}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{1}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{1}}}\\{\frac {\partial y_{1}}{\partial x_{2}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{1}}{\partial x_{n}}}&{\frac {\partial y_{2}}{\partial x_{n}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{12}}}&\cdots &{\frac {\partial y}{\partial x_{1q}}}\\{\frac {\partial y}{\partial x_{21}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{2q}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{p1}}}&{\frac {\partial y}{\partial x_{p2}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}}$

Личности

Как отмечалось выше, как правило, результаты операций будут транспонированы при переключении между форматом числителя и форматом знаменателя.

Чтобы разобраться во всех приведенных ниже тождествах, помните о наиболее важных правилах: правиле цепочки , правиле произведения и правиле сумм . Правило сумм применяется универсально, а правило произведения применяется в большинстве приведенных ниже случаев при условии, что порядок произведений матрицы сохраняется, поскольку произведения матрицы не являются коммутативными. Цепное правило применяется в некоторых случаях, но, к сожалению, не применяется в производных по матрице или по матрице (в последнем случае в основном используется оператор трассировки , применяемый к матрицам). В последнем случае правило произведения также не может быть применено напрямую, но его эквивалент можно сделать, приложив немного больше усилий, используя дифференциальные тождества.

Следующие тождества принимают следующие соглашения:

• скаляры a , b , c , d и e постоянны относительно, а скаляры u и v являются функциями одного из x , x или X ;
• векторы a , b , c , d и e являются постоянными относительно, а векторы u и v являются функциями одного из x , x или X ;
• матрицы A , B , C , D и E постоянны относительно, а матрицы U и V являются функциями одного из x , x или X.

Векторные тождества

Это представлено первым, потому что все операции, которые применяются к повекторному дифференцированию, применимы непосредственно к поскалярному или поскалярному дифференцированию просто путем приведения соответствующего вектора в числителе или знаменателе к скаляру.

Скалярно-векторные тождества

Основные идентичности расположены над толстой черной линией.

Векторно-скалярные тождества

ПРИМЕЧАНИЕ . Формулы, включающие производные по векторам и (чьи выходные данные являются матрицами), предполагают, что матрицы расположены в соответствии с векторной компоновкой, т.е. матрица компоновки числителя, когда вектор компоновки числителя, и наоборот; в противном случае транспонируйте повекторные производные. ${\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}}$ ${\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}}$

Скалярные матричные тождества

Обратите внимание, что точных эквивалентов правила скалярного произведения и правила цепочки не существует применительно к матричным функциям матриц. Однако правило произведения такого рода действительно применимо к дифференциальной форме (см. ниже), и это способ вывести многие из приведенных ниже тождеств с использованием функции трассировки в сочетании с тем фактом, что функция трассировки допускает транспонирование и циклическую перестановку. то есть:

${\displaystyle {\begin{aligned}\operatorname {tr} (\mathbf {A} )&=\operatorname {tr} \left(\mathbf {A^{\top }} \right)\\\operatorname {tr} (\mathbf {ABCD} )&=\operatorname {tr} (\mathbf {BCDA} )=\operatorname {tr} (\mathbf {CDAB} )=\operatorname {tr} (\mathbf {DABC} )\end{aligned}}}$

Например, чтобы вычислить ${\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {AXBX^{\top }C} )}{\partial \mathbf {X} }}:}$

$${\displaystyle {\begin{aligned}d\operatorname {tr} (\mathbf {AXBX^{\top }C} )&=d\operatorname {tr} \left(\mathbf {CAXBX^{\top }} \right)=\operatorname {tr} \left(d\left(\mathbf {CAXBX^{\top }} \right)\right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d(\mathbf {BX^{\top }} \right)+d\left(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d\left(\mathbf {BX^{\top }} \right)\right)+\operatorname {tr} \left(d(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} d\left(\mathbf {X^{\top }} \right)\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)+\operatorname {tr} (\mathbf {CA} \left(d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)^{\top }\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left((d\mathbf {X} )\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} \right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} (d\mathbf {X} )\right)+\operatorname {tr} \left(\mathbf {BX^{\top }} \mathbf {CA} (d\mathbf {X} )\right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }} \mathbf {CA} \right)d\mathbf {X} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} \right)^{\top }d\mathbf {X} \right)\end{aligned}}}$$

Поэтому,

${\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }CA} .}$(расположение числителя)

${\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} .}$(расположение знаменателя)

(Последний шаг см. в разделе «Преобразование дифференциальной формы в производную».)

Матричные скалярные тождества

Скалярные тождества

С участием векторов

С участием матриц

Тождества в дифференциальной форме

Зачастую проще работать в дифференциальной форме, а затем преобразовать обратно в нормальные производные. Это хорошо работает только при использовании макета числителя. В этих правилах a является скаляром.

В последней строке — дельта Кронекера и — набор операторов ортогонального проектирования, которые проектируются на k -й собственный вектор X .Q – матрица собственных векторов , – собственные значения. Матричная функция определяется через скалярную функцию для диагонализуемых матриц с помощью где с . ${\displaystyle \delta _{ij}}$ ${\displaystyle (\mathbf {P} _{k})_{ij}=(\mathbf {Q} )_{ik}(\mathbf {Q} ^{-1})_{kj}}$ ${\displaystyle \mathbf {X} =\mathbf {Q} {\boldsymbol {\Lambda }}\mathbf {Q} ^{-1}}$ ${\displaystyle ({\boldsymbol {\Lambda }})_{ii}=\lambda _{i}}$ ${\displaystyle f(\mathbf {X} )}$ ${\displaystyle f(x)}$ ${\textstyle f(\mathbf {X} )=\sum _{i}f(\lambda _{i})\mathbf {P} _{i}}$ ${\textstyle \mathbf {X} =\sum _{i}\lambda _{i}\mathbf {P} _{i}}$ ${\displaystyle \mathbf {P} _{i}\mathbf {P} _{j}=\delta _{ij}\mathbf {P} _{i}}$

Чтобы преобразовать в нормальную производную форму, сначала преобразуйте ее в одну из следующих канонических форм, а затем используйте эти тождества:

Приложения

Матричное дифференциальное исчисление используется в статистике и эконометрике, особенно для статистического анализа многомерных распределений , особенно многомерного нормального распределения и других эллиптических распределений . ^{[8] [9] [10]}

Он используется в регрессионном анализе для вычисления, например, обычной формулы регрессии наименьших квадратов для случая нескольких независимых переменных . ^[11] Он также используется в случайных матрицах, статистических моментах, локальной чувствительности и статистической диагностике. ^{[12] [13]}

Смотрите также

• Математический портал

• Производная (обобщения)
• Интегральный продукт
• исчисление Риччи

Примечания

1. Здесь относится к вектор-столбцу , состоящему из всех нулей, размера n , где n — длина x . ${\displaystyle \mathbf {0} }$
2. Здесь относится к матрице всех нулей той же формы, что и X. ${\displaystyle \mathbf {0} }$
3. Константа a исчезает в результате. Это намеренно. В общем,
   $${\displaystyle {\frac {d\ln au}{dx}}={\frac {1}{au}}{\frac {d(au)}{dx}}={\frac {1}{au}}a{\frac {du}{dx}}={\frac {1}{u}}{\frac {du}{dx}}={\frac {d\ln u}{dx}}.}$$
   или, также
   $${\displaystyle {\frac {d\ln au}{dx}}={\frac {d(\ln a+\ln u)}{dx}}={\frac {d\ln a}{dx}}+{\frac {d\ln u}{dx}}={\frac {d\ln u}{dx}}.}$$

Рекомендации

1. Томас П., Минка (28 декабря 2000 г.). «Старая и новая матричная алгебра, полезная для статистики». Примечание MIT Media Lab (1997; исправлено 12/00) . Проверено 5 февраля 2016 г.
2. Фелиппа, Карлос А. «Приложение D, Линейная алгебра: определители, обратные значения, ранг» (PDF) . ASEN 5007: Введение в методы конечных элементов . Боулдер, Колорадо: Университет Колорадо . Проверено 5 февраля 2016 г.Использует гессианское ( транспонирование в якобиан ) определение векторных и матричных производных.
3. Петерсен, Кааре Брандт; Педерсен, Майкл Сискинд. Поваренная книга «Матрица» (PDF) . Архивировано из оригинала 2 марта 2010 года . Проверено 5 февраля 2016 г.В этой книге используется смешанная раскладка, т.е. по Y внутри , по X внутри. ${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}.}$
4. Дучи, Джон К. «Свойства следа и производных матрицы» (PDF) . Стэндфордский Университет . Проверено 5 февраля 2016 г.
5. См. Определитель § Производная для вывода.
6. Джайлз, Майкл Б. (2008). «Расширенный набор результатов производных матриц для алгоритмического дифференцирования в прямом и обратном режиме» (PDF) . S2CID  17431500. Архивировано из оригинала (PDF) 27 февраля 2020 г. {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
7. Неопубликованная записка С. Адлера (IAS)
8. Фанг, Кай-Тай ; Чжан, Яо-Тин (1990). Обобщенный многомерный анализ . Science Press (Пекин) и Springer-Verlag (Берлин). ISBN 3540176519. 9783540176510.
9. Пан, Цзяньсинь; Фанг, Кайтай (2007). Модели кривой роста и статистическая диагностика . Пекин: Наука Пресс. ISBN 9780387950532.
10. Колло, Тыну; фон Розен, Дитрих (2005). Расширенная многомерная статистика с матрицами . Дордрехт: Спрингер. ISBN 978-1-4020-3418-3.
11. Магнус, Ян; Нойдекер, Хайнц (2019). Матричное дифференциальное исчисление с приложениями в статистике и эконометрике . Нью-Йорк: Джон Уайли. ISBN 9781119541202.
12. Лю, Шуанчжэ; Лейва, Виктор; Чжуан, Дэн; Ма, Тифенг; Фигероа-Суньига, Хорхе И. (2022). «Матричное дифференциальное исчисление с приложениями в многомерной линейной модели и ее диагностика». Журнал многомерного анализа . 188 : 104849. doi : 10.1016/j.jmva.2021.104849 .
13. Лю, Шуанчжэ; Тренклер, Гетц; Колло, Тыну; фон Розен, Дитрих; Баксалари, Оскар Мария (2023). «Профессор Хайнц Нойдекер и матричное дифференциальное исчисление». Статистические документы . doi : 10.1007/s00362-023-01499-w. S2CID  263661094.

дальнейшее чтение

• Абадир, Карим М.; Магнус, Ян Р. (2005). Матричная алгебра . Эконометрические упражнения. Кембридж: Издательство Кембриджского университета. ISBN 978-0-511-64796-3. OCLC  569411497.
• Лакс, Питер Д. (2007). «9. Исчисление вектор- и матричных функций». Линейная алгебра и ее приложения (2-е изд.). Хобокен, Нью-Джерси: Wiley-Interscience. ISBN 978-0-471-75156-4.
• Магнус, Ян Р. (октябрь 2010 г.). «О понятии матричной производной». Журнал многомерного анализа . 101 (9): 2200–2206. дои :10.1016/j.jmva.2010.05.005.. Обратите внимание, что эта статья в Википедии почти полностью изменена по сравнению с версией, критикуемой в этой статье.

Внешние ссылки

Программное обеспечение

• MatrixCalculus.org, веб-сайт для символического вычисления выражений матричного исчисления.
• NCAlgebra, пакет Mathematica с открытым исходным кодом , который имеет некоторые функции матричного исчисления.
• SymPy поддерживает производные символьных матриц в модуле матричных выражений, а также производные символьных тензоров в модуле выражений массивов.

Информация

• Справочное руководство по матрицам, Майк Брукс, Имперский колледж Лондона .
• Матричное дифференцирование (и некоторые другие материалы), Рэндал Дж. Барнс, факультет гражданского строительства, Университет Миннесоты.
• Заметки о матричном исчислении, Пол Л. Факлер, Университет штата Северная Каролина .
• Матричное дифференциальное исчисление. Архивировано 16 сентября 2012 г. в Wayback Machine (слайд-презентация), Чжан Ле, Эдинбургский университет .
• Введение в векторное и матричное дифференцирование (заметки о матричном дифференцировании в контексте эконометрики ), Хейно Бон Нильсен.
• Заметка о дифференцировании матриц (заметки о дифференцировании матриц), Павел Коваль, из Мюнхенского личного архива RePEc.
• Векторное/матричное исчисление. Дополнительные замечания по матричному дифференцированию.
• Матричные тождества (заметки о матричном дифференцировании), Сэм Роуэйс.