Матрица Гессе

(Математическая) матрица вторых производных

В математике матрица Гессе , матрица Гессе или (реже) матрица Гессе — это квадратная матрица частных производных второго порядка скалярной функции , или скалярного поля . Он описывает локальную кривизну функции многих переменных. Матрица Гессе была разработана в XIX веке немецким математиком Людвигом Отто Гессе и позже названа в его честь. Гессен первоначально использовал термин «функциональные детерминанты». Гессиан иногда обозначается H или, что неоднозначно, ∇ ² .

Определения и свойства

Предположим , что это функция, принимающая в качестве входных данных вектор и выдающая скаляр. Если все частные производные второго порядка существуют , то матрица Гессе представляет собой квадратную матрицу, обычно определяемую и упорядочиваемую как ${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} }$ ${\displaystyle \mathbf {x} \in \mathbb {R} ^{n}}$ ${\displaystyle f(\mathbf {x} )\in \mathbb {R} .}$ ${\displaystyle f}$ ${\displaystyle \mathbf {H} }$ ${\displaystyle f}$ ${\displaystyle n\times n}$

$${\displaystyle \mathbf {H} _{f}={\begin{bmatrix}{\dfrac {\partial ^{2}f}{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}f}{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}f}{\partial x_{n}^{2}}}\end{bmatrix}}.}$$

ij-

$${\displaystyle (\mathbf {H} _{f})_{i,j}={\frac {\partial ^{2}f}{\partial x_{i}\,\partial x_{j}}}.}$$

Если, кроме того, все вторые частные производные непрерывны, матрица Гессе является симметричной матрицей в силу симметрии вторых производных .

Определитель матрицы Гессе называется определителем Гессе . ^[1]

Матрица Гессе функции представляет собой транспонированную матрицу Якоби градиента функции ; то есть: ${\displaystyle f}$ ${\displaystyle f}$ ${\displaystyle \mathbf {H} (f(\mathbf {x} ))=\mathbf {J} (\nabla f(\mathbf {x} ))^{T}.}$

Приложения

Точки перегиба

Если — однородный многочлен от трех переменных, уравнение является неявным уравнением плоской проективной кривой . Точками перегиба кривой являются именно те неособые точки, в которых определитель Гессе равен нулю. Из теоремы Безу следует , что кубическая плоская кривая имеет не более чем точки перегиба, поскольку определитель Гессе является многочленом степени ${\displaystyle f}$ ${\displaystyle f=0}$ ${\displaystyle 9}$ ${\displaystyle 3.}$

Тест второй производной

Матрица Гессе выпуклой функции положительно полуопределена . Уточнение этого свойства позволяет нам проверить, является ли критическая точка локальным максимумом, локальным минимумом или седловой точкой, следующим образом: ${\displaystyle x}$

Если гессиан положительно определен при, то достигает изолированного локального минимума при. Если гессиан отрицательно определен при , то достигает изолированного локального максимума при . Если гессиан имеет как положительные, так и отрицательные собственные значения , то является седловой точкой для. В противном случае тест безрезультатно. Это означает, что в локальном минимуме гессиан является положительно-полуопределенным, а в локальном максимуме гессиан является отрицательно-полуопределенным. ${\displaystyle x,}$ ${\displaystyle f}$ ${\displaystyle x.}$ ${\displaystyle x,}$ ${\displaystyle f}$ ${\displaystyle x.}$ ${\displaystyle x}$ ${\displaystyle f.}$

Для положительно-полуопределенных и отрицательно-полуопределенных гессианов тест не дает результатов (критическая точка, где гессиан является полуопределенным, но не определенным, может быть локальным экстремумом или седловой точкой). Однако с точки зрения теории Морса можно сказать больше .

Проверка второй производной для функций одной и двух переменных проще, чем общий случай. В одной переменной гессиан содержит ровно одну вторую производную; если он положителен, то это локальный минимум, а если отрицателен, то является локальным максимумом; если он равен нулю, то тест не дает результатов. В двух переменных можно использовать определитель , поскольку определитель является произведением собственных значений. Если оно положительное, то собственные значения либо положительные, либо оба отрицательные. Если оно отрицательное, то два собственных значения имеют разные знаки. Если оно равно нулю, то тест второй производной не дает результатов. ${\displaystyle x}$ ${\displaystyle x}$

Эквивалентно, условия второго порядка, достаточные для локального минимума или максимума, могут быть выражены через последовательность главных (самых верхних левых) миноров (определителей подматриц) гессиана; эти условия являются частным случаем условий, приведенных в следующем разделе для граничных гессианов для оптимизации с ограничениями — случая, когда количество ограничений равно нулю. В частности, достаточным условием минимума является то, что все эти главные миноры являются положительными, тогда как достаточным условием максимума является то, что миноры чередуются по знаку, причем минор является отрицательным. ${\displaystyle 1\times 1}$

Критические точки

Если градиент (вектор частных производных) функции равен нулю в некоторой точке, то он имеет критическую точку (или стационарную точку ) в. Определитель гессиана в некоторых контекстах называется дискриминантом . Если этот определитель равен нулю, то он называется вырожденной критической точкой или неморсовской критической точкой . В противном случае он невырожден и называется критической точкой Морса . ${\displaystyle f}$ ${\displaystyle \mathbf {x} ,}$ ${\displaystyle f}$ ${\displaystyle \mathbf {x} .}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle f,}$ ${\displaystyle f.}$ ${\displaystyle f.}$

Матрица Гессе играет важную роль в теории Морса и теории катастроф , поскольку ее ядро ​​и собственные значения позволяют классифицировать критические точки. ^{[2] [3] [4]}

Определитель матрицы Гессе, вычисленный в критической точке функции, равен гауссовой кривизне функции, рассматриваемой как многообразие. Собственные значения гессиана в этой точке являются главными кривизнами функции, а собственные векторы — главными направлениями кривизны. (См. Гауссову кривизну § Связь с главными кривизнами .)

Использование в оптимизации

Матрицы Гессе используются в крупномасштабных задачах оптимизации в методах типа Ньютона , поскольку они являются коэффициентом квадратичного члена локального разложения Тейлора функции. То есть,

$${\displaystyle y=f(\mathbf {x} +\Delta \mathbf {x} )\approx f(\mathbf {x} )+\nabla f(\mathbf {x} )^{\mathrm {T} }\Delta \mathbf {x} +{\frac {1}{2}}\,\Delta \mathbf {x} ^{\mathrm {T} }\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} }$$

.функции потерьсетейусловные случайные полястатистические моделиусеченного Ньютонаквазиньютона . BFGS^[5] ${\displaystyle \nabla f}$ ${\displaystyle \left({\frac {\partial f}{\partial x_{1}}},\ldots ,{\frac {\partial f}{\partial x_{n}}}\right).}$ ${\displaystyle \Theta \left(n^{2}\right)}$

Такие аппроксимации могут использовать тот факт, что алгоритм оптимизации использует гессиан только как линейный оператор , и сначала заметят, что гессиан также появляется в локальном разложении градиента: ${\displaystyle \mathbf {H} (\mathbf {v} ),}$

$${\displaystyle \nabla f(\mathbf {x} +\Delta \mathbf {x} )=\nabla f(\mathbf {x} )+\mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} +{\mathcal {O}}(\|\Delta \mathbf {x} \|^{2})}$$

Учитывая некоторую скалярную величину, это дает ${\displaystyle \Delta \mathbf {x} =r\mathbf {v} }$ ${\displaystyle r,}$

$${\displaystyle \mathbf {H} (\mathbf {x} )\,\Delta \mathbf {x} =\mathbf {H} (\mathbf {x} )r\mathbf {v} =r\mathbf {H} (\mathbf {x} )\mathbf {v} =\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )+{\mathcal {O}}(r^{2}),}$$

$${\displaystyle \mathbf {H} (\mathbf {x} )\mathbf {v} ={\frac {1}{r}}\left[\nabla f(\mathbf {x} +r\mathbf {v} )-\nabla f(\mathbf {x} )\right]+{\mathcal {O}}(r)}$$

^[6] ${\displaystyle r}$ ${\displaystyle {\mathcal {O}}(r)}$

В частности, что касается эвристики рандомизированного поиска, ковариационная матрица стратегии эволюции адаптируется к обратной матрице Гессе с точностью до скалярного коэффициента и небольших случайных флуктуаций. Этот результат был формально доказан для стратегии с одним родителем и статической модели по мере увеличения размера популяции на основе квадратичного приближения. ^[7]

Другие приложения

Матрица Гессиана обычно используется для выражения операторов обработки изображений в обработке изображений и компьютерном зрении (см. Лапласиан гауссовского детектора капель (LoG), определитель детектора каплей Гессиана (DoH) и масштабное пространство ). Его можно использовать в обычном режиме анализа для расчета различных молекулярных частот в инфракрасной спектроскопии . ^[8] Его также можно использовать для диагностики местной чувствительности и статистической диагностики. ^[9]

Обобщения

Гессен с границей

Гессиан с границами используется для теста второй производной в некоторых задачах оптимизации с ограничениями. Учитывая функцию, рассмотренную ранее, но добавив ограничительную функцию, такую, что ограниченный гессиан является гессианом функции Лагранжа ^[10] ${\displaystyle f}$ ${\displaystyle g}$ ${\displaystyle g(\mathbf {x} )=c,}$ ${\displaystyle \Lambda (\mathbf {x} ,\lambda )=f(\mathbf {x} )+\lambda [g(\mathbf {x} )-c]:}$

$${\displaystyle \mathbf {H} (\Lambda )={\begin{bmatrix}{\dfrac {\partial ^{2}\Lambda }{\partial \lambda ^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\\\left({\dfrac {\partial ^{2}\Lambda }{\partial \lambda \partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial g}{\partial x_{2}}}&\cdots &{\dfrac {\partial g}{\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}^{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{1}\,\partial x_{n}}}\\[2.2ex]{\dfrac {\partial g}{\partial x_{2}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}^{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{2}\,\partial x_{n}}}\\[2.2ex]\vdots &\vdots &\vdots &\ddots &\vdots \\[2.2ex]{\dfrac {\partial g}{\partial x_{n}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{1}}}&{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}\,\partial x_{2}}}&\cdots &{\dfrac {\partial ^{2}\Lambda }{\partial x_{n}^{2}}}\end{bmatrix}}={\begin{bmatrix}0&{\dfrac {\partial g}{\partial \mathbf {x} }}\\\left({\dfrac {\partial g}{\partial \mathbf {x} }}\right)^{\mathsf {T}}&{\dfrac {\partial ^{2}\Lambda }{\partial \mathbf {x} ^{2}}}\end{bmatrix}}}$$

Если есть, скажем, ограничения, то ноль в верхнем левом углу представляет собой блок нулей, а сверху есть граничные строки, а слева — граничные столбцы. ${\displaystyle m}$ ${\displaystyle m\times m}$ ${\displaystyle m}$ ${\displaystyle m}$

Приведенные выше правила, гласящие, что экстремумы характеризуются (среди критических точек с неособым гессианом) положительно-определенным или отрицательно-определенным гессианом, здесь неприменимы, поскольку окаймленный гессиан не может быть ни отрицательно-определенным, ни положительно-определенным, как если бы любой вектор, единственная ненулевая запись которого является первой. ${\displaystyle \mathbf {z} ^{\mathsf {T}}\mathbf {H} \mathbf {z} =0}$ ${\displaystyle \mathbf {z} }$

Второй критерий производной состоит здесь из знаковых ограничений определителей некоторого набора подматриц гессиана с границами. ^[11] Интуитивно ограничения можно рассматривать как сведение задачи к задаче со свободными переменными. (Например, максимизация объекта с учетом ограничения может быть сведена к максимизации объекта без ограничений.) ${\displaystyle n-m}$ ${\displaystyle m}$ ${\displaystyle n-m}$ ${\displaystyle f\left(x_{1},x_{2},x_{3}\right)}$ ${\displaystyle x_{1}+x_{2}+x_{3}=1}$ ${\displaystyle f\left(x_{1},x_{2},1-x_{1}-x_{2}\right)}$

В частности, к последовательности ведущих главных миноров (определителей выровненных в верхнем левом углу подматриц) граничащего гессиана накладываются знаковые условия, для которых пренебрегают первыми ведущими главными минорами, причем наименьший минор состоит из усеченных первых строк и столбцы, следующий состоит из усеченных первых строк и столбцов и так далее, причем последний представляет собой весь гессен с рамкой; если больше, то наименьший ведущий главный минор - это сам гессиан. ^[12] Таким образом, необходимо учитывать второстепенные значения, каждый из которых оценивается в определенной точке и считается возможным максимумом или минимумом . Достаточным условием локального максимума является то, что эти миноры чередуются по знаку с наименьшим, имеющим знак. Достаточным условием локального минимума является то, что все эти миноры имеют знак (В неограниченном случае эти условия совпадают с условия, при которых гессиан без границ может быть отрицательно определенным или положительно определенным соответственно). ${\displaystyle 2m}$ ${\displaystyle 2m+1}$ ${\displaystyle 2m+2}$ ${\displaystyle 2m+1}$ ${\displaystyle n+m,}$ ${\displaystyle n-m}$ ${\displaystyle (-1)^{m+1}.}$ ${\displaystyle (-1)^{m}.}$ ${\displaystyle m=0}$

Векторные функции

Вместо этого if является векторным полем , то есть ${\displaystyle f}$ ${\displaystyle \mathbf {f} :\mathbb {R} ^{n}\to \mathbb {R} ^{m},}$

$${\displaystyle \mathbf {f} (\mathbf {x} )=\left(f_{1}(\mathbf {x} ),f_{2}(\mathbf {x} ),\ldots ,f_{m}(\mathbf {x} )\right),}$$

тензором ${\displaystyle n\times n}$ ${\displaystyle m}$ ${\displaystyle \mathbf {f} }$

$${\displaystyle \mathbf {H} (\mathbf {f} )=\left(\mathbf {H} (f_{1}),\mathbf {H} (f_{2}),\ldots ,\mathbf {H} (f_{m})\right).}$$

${\displaystyle m=1.}$

Обобщение на сложный случай

В контексте нескольких комплексных переменных гессиан можно обобщить. Предположим и запишем Тогда обобщенный гессиан равен Если удовлетворяет n-мерным условиям Коши–Римана , то комплексная матрица гессиана равна тождественному нулю. ${\displaystyle f\colon \mathbb {C} ^{n}\to \mathbb {C} ,}$ ${\displaystyle f\left(z_{1},\ldots ,z_{n}\right).}$ ${\displaystyle {\frac {\partial ^{2}f}{\partial z_{i}\partial {\overline {z_{j}}}}}.}$ ${\displaystyle f}$

Обобщения на римановы многообразия

Пусть – риманово многообразие и его связность Леви-Чивита . Пусть — гладкая функция. Определите тензор Гессе с помощью ${\displaystyle (M,g)}$ ${\displaystyle \nabla }$ ${\displaystyle f:M\to \mathbb {R} }$

$${\displaystyle \operatorname {Hess} (f)\in \Gamma \left(T^{*}M\otimes T^{*}M\right)\quad {\text{ by }}\quad \operatorname {Hess} (f):=\nabla \nabla f=\nabla df,}$$

${\displaystyle \left\{x^{i}\right\}}$

$${\displaystyle \operatorname {Hess} (f)=\nabla _{i}\,\partial _{j}f\ dx^{i}\!\otimes \!dx^{j}=\left({\frac {\partial ^{2}f}{\partial x^{i}\partial x^{j}}}-\Gamma _{ij}^{k}{\frac {\partial f}{\partial x^{k}}}\right)dx^{i}\otimes dx^{j}}$$

Кристоффелевские символы ${\displaystyle \Gamma _{ij}^{k}}$

$${\displaystyle \operatorname {Hess} (f)(X,Y)=\langle \nabla _{X}\operatorname {grad} f,Y\rangle \quad {\text{ and }}\quad \operatorname {Hess} (f)(X,Y)=X(Yf)-df(\nabla _{X}Y).}$$

Смотрите также

• Математический портал

• Определитель матрицы Гессе является ковариантом; см. Инвариант двоичной формы
• Идентичность поляризации , полезная для быстрых вычислений с использованием гессианов.
• Матрица Якобиана  - матрица всех частных производных первого порядка вектор-функции.Pages displaying short descriptions of redirect targets
• уравнение Гессе

Примечания

1. Бинмор, Кен ; Дэвис, Джоан (2007). Концепции и методы исчисления . Издательство Кембриджского университета. п. 190. ИСБН 978-0-521-77541-0. ОСЛК  717598615.
2. Каллахан, Джеймс Дж. (2010). Продвинутое исчисление: геометрический взгляд. Springer Science & Business Media. п. 248. ИСБН 978-1-4419-7332-0.
3. Кашаро, Б.; Фортунато, Д.; Франкавилья, М.; Масиелло, А., ред. (2011). Последние достижения в общей теории относительности. Springer Science & Business Media. п. 178. ИСБН 9788847021136.
4. Доменико П.Л. Кастриджано; Сандра А. Хейс (2004). Теория катастроф . Вествью Пресс. п. 18. ISBN 978-0-8133-4126-2.
5. Носедал, Хорхе ; Райт, Стивен (2000). Численная оптимизация . Спрингер Верлаг. ISBN 978-0-387-98793-4.
6. Перлмуттер, Барак А. (1994). «Быстрое точное умножение на гессиан» (PDF) . Нейронные вычисления . 6 (1): 147–160. дои : 10.1162/neco.1994.6.1.147. S2CID  1251969.
7. Шир, ОМ; А. Иегудаев (2020). «О ковариационно-гессианском отношении в эволюционных стратегиях». Теоретическая информатика . Эльзевир. 801 : 157–174. arXiv : 1806.03674 . дои : 10.1016/j.tcs.2019.09.002 .
8. Мотт, Адам Дж.; Рез, Питер (24 декабря 2014 г.). «Расчет инфракрасных спектров белков». Европейский биофизический журнал . 44 (3): 103–112. дои : 10.1007/s00249-014-1005-6. ISSN  0175-7571. PMID  25538002. S2CID  2945423.
9. Лю, Шуанчжэ; Лейва, Виктор; Чжуан, Дэн; Ма, Тифенг; Фигероа-Суньига, Хорхе И. (март 2022 г.). «Матричное дифференциальное исчисление с приложениями в многомерной линейной модели и ее диагностика». Журнал многомерного анализа . 188 : 104849. doi : 10.1016/j.jmva.2021.104849 .
10. Халлам, Арне (7 октября 2004 г.). «Econ 500: Количественные методы экономического анализа I» (PDF) . Штат Айова .
11. Нойдекер, Хайнц; Магнус, Ян Р. (1988). Матричное дифференциальное исчисление с приложениями в статистике и эконометрике . Нью-Йорк: Джон Уайли и сыновья . п. 136. ИСБН 978-0-471-91516-4.
12. Чан, Альфа К. (1984). Фундаментальные методы математической экономики (Третье изд.). МакГроу-Хилл. п. 386. ИСБН 978-0-07-010813-4.

дальнейшее чтение

• Льюис, Дэвид В. (1991). Матричная теория . Сингапур: World Scientific. ISBN 978-981-02-0689-5.
• Магнус, Ян Р.; Нойдекер, Хайнц (1999). «Второй дифференциал». Матричное дифференциальное исчисление: с приложениями в статистике и эконометрике (пересмотренное издание). Нью-Йорк: Уайли. стр. 99–115. ISBN 0-471-98633-Х.

Внешние ссылки

• «Гессиан функции», Математическая энциклопедия , EMS Press , 2001 [1994]
• Вайсштейн, Эрик В. «Гессен». Математический мир .