Выпуклая функция

Выпуклая функция на интервале .

Реальная функция с секущей линией между точками над самим графиком

Функция (черный цвет) является выпуклой тогда и только тогда, когда область над ее графиком (зеленый цвет) представляет собой выпуклое множество .

График двумерной выпуклой функции x ² + xy + y ² .

Выпуклый против невыпуклого

В математике действительная функция называется выпуклой , если отрезок между любыми двумя различными точками на графике функции лежит над графиком между двумя точками. Аналогично, функция является выпуклой, если ее надграфик (множество точек на графике функции или над ним) представляет собой выпуклое множество . Проще говоря, график выпуклой функции имеет форму чашки (или прямой линии, как у линейной функции), а график вогнутой функции имеет форму шапки . ${\displaystyle \cup }$ ${\displaystyle \cap }$

Дважды дифференцируемая функция одной переменной является выпуклой тогда и только тогда, когда ее вторая производная неотрицательна во всей области определения . ^[1] Хорошо известные примеры выпуклых функций одной переменной включают линейную функцию (где – действительное число ), квадратичную функцию ( как неотрицательное действительное число) и экспоненциальную функцию ( как неотрицательное действительное число). ${\displaystyle f(x)=cx}$ ${\displaystyle c}$ ${\displaystyle cx^{2}}$ ${\displaystyle c}$ ${\displaystyle ce^{x}}$ ${\displaystyle c}$

Выпуклые функции играют важную роль во многих областях математики. Они особенно важны при исследовании задач оптимизации , где отличаются рядом удобных свойств. Например, строго выпуклая функция на открытом множестве имеет не более одного минимума . Даже в бесконечномерных пространствах при подходящих дополнительных гипотезах выпуклые функции продолжают удовлетворять таким свойствам и в результате являются наиболее хорошо изученными функционалами в вариационном исчислении . В теории вероятностей выпуклая функция, примененная к ожидаемому значению случайной величины , всегда ограничена сверху ожидаемым значением выпуклой функции случайной величины. Этот результат, известный как неравенство Йенсена , может быть использован для вывода таких неравенств , как среднее арифметико-геометрическое неравенство и неравенство Гёльдера .

Определение

Визуализация выпуклой функции и неравенства Йенсена

Пусть – выпуклое подмножество вещественного векторного пространства , и пусть – функция. ${\displaystyle X}$ ${\displaystyle f:X\to \mathbb {R} }$

Тогда называется выпуклым тогда и только тогда, когда выполняется любое из следующих эквивалентных условий: ${\displaystyle f}$

1. Для всех и вся : ${\displaystyle 0\leq t\leq 1}$ ${\displaystyle x_{1},x_{2}\in X}$
   $${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)\leq tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$$
   Правая часть представляет собой прямую линию между и на графике как функцию увеличения от до или убывания от этой линии. Аналогично, аргумент функции в левой части представляет собой прямую линию между и внутри или -осью графика графика. Итак, это условие требует, чтобы прямая линия между любой парой точек на кривой была выше или чуть выше соответствует графику. ^[2] ${\displaystyle \left(x_{1},f\left(x_{1}\right)\right)}$ ${\displaystyle \left(x_{2},f\left(x_{2}\right)\right)}$ ${\displaystyle f}$ ${\displaystyle t;}$ ${\displaystyle t}$ ${\displaystyle 0}$ ${\displaystyle 1}$ ${\displaystyle t}$ ${\displaystyle 1}$ ${\displaystyle 0}$ ${\displaystyle f}$ ${\displaystyle x_{1}}$ ${\displaystyle x_{2}}$ ${\displaystyle X}$ ${\displaystyle x}$ ${\displaystyle f.}$ ${\displaystyle f}$
2. Для всех и вся такая, что : ${\displaystyle 0<t<1}$ ${\displaystyle x_{1},x_{2}\in X}$ ${\displaystyle x_{1}\neq x_{2}}$
   $${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)\leq tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$$
   Отличие этого второго условия от первого условия выше состоит в том, что это условие не включает точки пересечения (например, и ) между прямой, проходящей через пару точек на кривой (прямая линия представлена ​​как правая часть этого условия), а кривая первого условия включает в себя точки пересечения, как это становится или в или или . Фактически, точки пересечения не нужно рассматривать в состоянии выпуклости, используя ${\displaystyle \left(x_{1},f\left(x_{1}\right)\right)}$ ${\displaystyle \left(x_{2},f\left(x_{2}\right)\right)}$ ${\displaystyle f}$ ${\displaystyle f;}$ ${\displaystyle f\left(x_{1}\right)\leq f\left(x_{1}\right)}$ ${\displaystyle f\left(x_{2}\right)\leq f\left(x_{2}\right)}$ ${\displaystyle t=0}$ ${\displaystyle 1,}$ ${\displaystyle x_{1}=x_{2}.}$
   $${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)\leq tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$$
   потому что и всегда верны (поэтому бесполезно быть частью условия). ${\displaystyle f\left(x_{1}\right)\leq f\left(x_{1}\right)}$ ${\displaystyle f\left(x_{2}\right)\leq f\left(x_{2}\right)}$

Второе утверждение, характеризующее выпуклые функции, которые оцениваются в вещественной строке, также является утверждением, используемым для определения выпуклых функций , которые оцениваются в расширенной строке действительных чисел , где такой функции разрешено принимать значение. Первый оператор не используется, поскольку он позволяет принимать или в качестве значения, и в этом случае, если или соответственно, then будет неопределенным (поскольку умножения и не определены). Сумма также не определена, поэтому выпуклой расширенной функции с действительным знаком обычно разрешено принимать только одно из и в качестве значения. ${\displaystyle \mathbb {R} }$ ${\displaystyle [-\infty ,\infty ]=\mathbb {R} \cup \{\pm \infty \},}$ ${\displaystyle f}$ ${\displaystyle \pm \infty }$ ${\displaystyle t}$ ${\displaystyle 0}$ ${\displaystyle 1}$ ${\displaystyle f\left(x_{1}\right)=\pm \infty }$ ${\displaystyle f\left(x_{2}\right)=\pm \infty ,}$ ${\displaystyle tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$ ${\displaystyle 0\cdot \infty }$ ${\displaystyle 0\cdot (-\infty )}$ ${\displaystyle -\infty +\infty }$ ${\displaystyle -\infty }$ ${\displaystyle +\infty }$

Второе утверждение также можно изменить, чтобы получить определение строгой выпуклости , где последнее получается заменой на строгое неравенство . Явно отображение называется строго выпуклым тогда и только тогда, когда для всех действительных и всех таких, что : ${\displaystyle \,\leq \,}$ ${\displaystyle \,<.}$ ${\displaystyle f}$ ${\displaystyle 0<t<1}$ ${\displaystyle x_{1},x_{2}\in X}$ ${\displaystyle x_{1}\neq x_{2}}$

$${\displaystyle f\left(tx_{1}+(1-t)x_{2}\right)<tf\left(x_{1}\right)+(1-t)f\left(x_{2}\right)}$$

Строго выпуклая функция — это функция, у которой прямая между любой парой точек кривой находится над кривой, за исключением точек пересечения прямой и кривой. Примером функции, которая является выпуклой, но не строго выпуклой, является . Эта функция не является строго выпуклой, поскольку между любыми двумя точками, имеющими общую координату x, будет прямая линия, а любые две точки, НЕ имеющие общую координату x, будут иметь большее значение функции, чем точки между ними. ${\displaystyle f}$ ${\displaystyle f}$ ${\displaystyle f}$ ${\displaystyle f(x,y)=x^{2}+y}$

Функция называется вогнутой (соответственно строго вогнутой ), если ( умноженная на −1) является выпуклой (соответственно строго выпуклой). ${\displaystyle f}$ ${\displaystyle -f}$ ${\displaystyle f}$

Альтернативное наименование

Термин «выпуклый» часто называют «выпуклым вниз » или «вогнутым вверх» , а термин «вогнутый» часто называют «вогнутым вниз » или «выпуклым вверх» . ^{[3] [4] [5]} Если термин «выпуклый» используется без ключевых слов «вверх» или «вниз», то он относится строго к графу в форме чаши . Например, неравенство Йенсена относится к неравенству, включающему выпуклую или выпуклую (вниз) функцию. ^[6] ${\displaystyle \cup }$

Характеристики

Многие свойства выпуклых функций имеют для функций многих переменных такую ​​же простую формулировку, как и для функций одной переменной. Ниже приведены свойства для случая многих переменных, так как некоторые из них не указаны для функций одной переменной.

Функции одной переменной

• Предположим , что это функция одной действительной переменной, определенной на интервале, и пусть ${\displaystyle f}$
  $${\displaystyle R(x_{1},x_{2})={\frac {f(x_{2})-f(x_{1})}{x_{2}-x_{1}}}}$$
  (обратите внимание, что это наклон фиолетовой линии на рисунке выше; функция симметрична в смысле, который не меняется при замене и ). выпукла тогда и только тогда, когда монотонно не убывает при каждом фиксированном (или наоборот). Эта характеристика выпуклости весьма полезна для доказательства следующих результатов. ${\displaystyle R(x_{1},x_{2})}$ ${\displaystyle R}$ ${\displaystyle (x_{1},x_{2}),}$ ${\displaystyle R}$ ${\displaystyle x_{1}}$ ${\displaystyle x_{2}}$ ${\displaystyle f}$ ${\displaystyle R(x_{1},x_{2})}$ ${\displaystyle x_{1},}$ ${\displaystyle x_{2}}$
• Выпуклая функция одной действительной переменной, определенная на некотором открытом интервале, непрерывна на и допускает левые и правые производные , причем они монотонно не убывают . Как следствие, дифференцируемо во всех точках, но не более чем в счетном числе , причем множество, в которых не дифференцируемо, тем не менее, может быть плотным . Если замкнуто, то может не быть непрерывным на концах (пример показан в разделе примеров). ${\displaystyle f}$ ${\displaystyle C}$ ${\displaystyle C.}$ ${\displaystyle f}$ ${\displaystyle f}$ ${\displaystyle f}$ ${\displaystyle C}$ ${\displaystyle f}$ ${\displaystyle C}$
• Дифференцируемая функция одной переменной выпукла на отрезке тогда и только тогда, когда ее производная монотонно не убывает на этом отрезке. Если функция дифференцируема и выпукла, то она также непрерывно дифференцируема .
• Дифференцируемая функция одной переменной выпукла на отрезке тогда и только тогда, когда ее график лежит выше всех ее касательных : ^{[7] : 69}
  $${\displaystyle f(x)\geq f(y)+f'(y)(x-y)}$$
  для всех и в интервале. ${\displaystyle x}$ ${\displaystyle y}$
• Дважды дифференцируемая функция одной переменной выпукла на отрезке тогда и только тогда, когда ее вторая производная на этом интервале неотрицательна; это дает практический тест на выпуклость. Визуально дважды дифференцируемая выпуклая функция «выгибается вверх», без каких-либо изгибов в другую сторону ( точки перегиба ). Если ее вторая производная положительна во всех точках, то функция строго выпуклая, но обратное неверно . Например, вторая производная от равна нулю, но строго выпукла. ${\displaystyle f(x)=x^{4}}$ ${\displaystyle f''(x)=12x^{2}}$ ${\displaystyle x=0,}$ ${\displaystyle x^{4}}$
  • Это свойство и указанное выше свойство в терминах «... его производная монотонно не убывает ...» не равны, поскольку, если оно неотрицательно на интервале , то оно монотонно не убывает, в то время как его обратное неверно, например, монотонно не убывает на , пока его производная не определена в некоторых точках на . ${\displaystyle f''}$ ${\displaystyle X}$ ${\displaystyle f'}$ ${\displaystyle X}$ ${\displaystyle f'}$ ${\displaystyle X}$ ${\displaystyle f''}$ ${\displaystyle X}$
• Если является выпуклой функцией одной действительной переменной и , то является супераддитивной на положительных действительных числах , то есть для положительных действительных чисел и . ${\displaystyle f}$ ${\displaystyle f(0)\leq 0}$ ${\displaystyle f}$ ${\displaystyle f(a+b)\geq f(a)+f(b)}$ ${\displaystyle a}$ ${\displaystyle b}$

Доказательство

Поскольку функция выпукла, используя одно из приведенных выше определений выпуклой функции и допустив, что для всех вещественных ${\displaystyle f}$ ${\displaystyle x_{2}=0,}$ ${\displaystyle 0\leq t\leq 1,}$

$${\displaystyle f(tx_{1})=f(tx_{1}+(1-t)\cdot 0)\leq tf(x_{1})+(1-t)f(0)\leq tf(x_{1})\rightarrow f(tx_{1})\leq tf(x_{1}).}$$

Отсюда следует, что

$${\displaystyle f(a)+f(b)=f\left((a+b){\frac {a}{a+b}}\right)+f\left((a+b){\frac {b}{a+b}}\right)\leq {\frac {a}{a+b}}f(a+b)+{\frac {b}{a+b}}f(a+b)=f(a+b)\rightarrow f(a)+f(b)\leq f(a+b).}$$

• Функция называется выпуклой в средней точке на отрезке, если для всех ${\displaystyle f}$ ${\displaystyle C}$ ${\displaystyle x_{1},x_{2}\in C}$
  $${\displaystyle f\!\left({\frac {x_{1}+x_{2}}{2}}\right)\leq {\frac {f(x_{1})+f(x_{2})}{2}}.}$$
  Это условие лишь немного слабее выпуклости. Например, вещественная измеримая функция Лебега , выпуклая в средней точке, является выпуклой: это теорема Серпинского . ^[8] В частности, непрерывная функция, выпуклая в средней точке, будет выпуклой.

Функции нескольких переменных

• Функция , имеющая значение в расширенных действительных числах, является выпуклой тогда и только тогда, когда ее надграфик ${\displaystyle f:X\to [-\infty ,\infty ]}$ ${\displaystyle [-\infty ,\infty ]=\mathbb {R} \cup \{\pm \infty \}}$
  $${\displaystyle \{(x,r)\in X\times \mathbb {R} ~:~r\geq f(x)\}}$$
  представляет собой выпуклое множество.
• Дифференцируемая функция , определенная в выпуклой области, является выпуклой тогда и только тогда, когда она справедлива для всех в этой области. ${\displaystyle f}$ ${\displaystyle f(x)\geq f(y)+\nabla f(y)^{T}\cdot (x-y)}$ ${\displaystyle x,y}$
• Дважды дифференцируемая функция нескольких переменных является выпуклой на выпуклом множестве тогда и только тогда, когда ее матрица Гессе вторых частных производных положительно полуопределена внутри выпуклого множества.
• Для выпуклой функции множества подуровней и с являются выпуклыми множествами. Функция, удовлетворяющая этому свойству, называется квазивыпуклой функцией и может не быть выпуклой функцией. ${\displaystyle f,}$ ${\displaystyle \{x:f(x)<a\}}$ ${\displaystyle \{x:f(x)\leq a\}}$ ${\displaystyle a\in \mathbb {R} }$
• Следовательно, множество глобальных минимизаторов выпуклой функции является выпуклым множеством: - выпуклым. ${\displaystyle f}$ ${\displaystyle {\operatorname {argmin} }\,f}$
• Любой локальный минимум выпуклой функции также является глобальным минимумом . Строго выпуклая функция будет иметь не более одного глобального минимума. ^[9]
• Неравенство Йенсена применимо к любой выпуклой функции . Если — случайная величина, принимающая значения в области то где обозначает математическое ожидание . Действительно, выпуклые функции — это именно те, которые удовлетворяют гипотезе неравенства Йенсена . ${\displaystyle f}$ ${\displaystyle X}$ ${\displaystyle f,}$ ${\displaystyle \operatorname {E} (f(X))\geq f(\operatorname {E} (X)),}$ ${\displaystyle \operatorname {E} }$
• Однородная функция первого порядка двух положительных переменных и (то есть функция, удовлетворяющая для всех положительных действительных ), выпуклая по одной переменной, должна быть выпуклой по другой переменной. ^[10] ${\displaystyle x}$ ${\displaystyle y,}$ ${\displaystyle f(ax,ay)=af(x,y)}$ ${\displaystyle a,x,y>0}$

Операции, сохраняющие выпуклость

• ${\displaystyle -f}$вогнута тогда и только тогда, когда выпукла. ${\displaystyle f}$
• Если - любое действительное число, то оно выпукло тогда и только тогда, когда оно выпукло. ${\displaystyle r}$ ${\displaystyle r+f}$ ${\displaystyle f}$
• Неотрицательные взвешенные суммы:
  • если и все выпуклы, то и выпуклы. В частности, сумма двух выпуклых функций выпукла. ${\displaystyle w_{1},\ldots ,w_{n}\geq 0}$ ${\displaystyle f_{1},\ldots ,f_{n}}$ ${\displaystyle w_{1}f_{1}+\cdots +w_{n}f_{n}.}$
  • это свойство распространяется также на бесконечные суммы, интегралы и ожидаемые значения (при условии, что они существуют).
• Поэлементный максимум: пусть это набор выпуклых функций. Тогда выпукло. Область определения — это совокупность точек, в которых выражение конечно. Важные особые случаи: ${\displaystyle \{f_{i}\}_{i\in I}}$ ${\displaystyle g(x)=\sup \nolimits _{i\in I}f_{i}(x)}$ ${\displaystyle g(x)}$
  • Если выпуклые функции, то и выпуклые ${\displaystyle f_{1},\ldots ,f_{n}}$ ${\displaystyle g(x)=\max \left\{f_{1}(x),\ldots ,f_{n}(x)\right\}.}$
  • Теорема Данскина : если множество выпукло, то оно выпукло, даже если оно не является выпуклым множеством. ${\displaystyle f(x,y)}$ ${\displaystyle x}$ ${\displaystyle g(x)=\sup \nolimits _{y\in C}f(x,y)}$ ${\displaystyle x}$ ${\displaystyle C}$
• Состав:
  • Если и являются выпуклыми функциями и не убывает в одномерной области, то является выпуклой. Например, если выпукло, то так оно и есть, потому что оно выпукло и монотонно возрастает. ${\displaystyle f}$ ${\displaystyle g}$ ${\displaystyle g}$ ${\displaystyle h(x)=g(f(x))}$ ${\displaystyle f}$ ${\displaystyle e^{f(x)}}$ ${\displaystyle e^{x}}$
  • Если оно вогнуто, выпукло и не возрастает в одномерной области, то оно выпукло. ${\displaystyle f}$ ${\displaystyle g}$ ${\displaystyle h(x)=g(f(x))}$
  • Выпуклость инвариантна относительно аффинных отображений: то есть, если выпукло с областью определения , то так же является и , где с областью определения ${\displaystyle f}$ ${\displaystyle D_{f}\subseteq \mathbf {R} ^{m}}$ ${\displaystyle g(x)=f(Ax+b)}$ ${\displaystyle A\in \mathbf {R} ^{m\times n},b\in \mathbf {R} ^{m}}$ ${\displaystyle D_{g}\subseteq \mathbf {R} ^{n}.}$
• Минимизация: если выпукло в , то оно выпукло при условии, что это выпуклое множество и что ${\displaystyle f(x,y)}$ ${\displaystyle (x,y)}$ ${\displaystyle g(x)=\inf \nolimits _{y\in C}f(x,y)}$ ${\displaystyle x,}$ ${\displaystyle C}$ ${\displaystyle g(x)\neq -\infty .}$
• Если выпукло, то его перспектива с областью выпукла. ${\displaystyle f}$ ${\displaystyle g(x,t)=tf\left({\tfrac {x}{t}}\right)}$ ${\displaystyle \left\{(x,t):{\tfrac {x}{t}}\in \operatorname {Dom} (f),t>0\right\}}$
• Пусть векторное пространство. является выпуклым и удовлетворяет тогда и только тогда, когда для любых и любых неотрицательных действительных чисел , которые удовлетворяют ${\displaystyle X}$ ${\displaystyle f:X\to \mathbf {R} }$ ${\displaystyle f(0)\leq 0}$ ${\displaystyle f(ax+by)\leq af(x)+bf(y)}$ ${\displaystyle x,y\in X}$ ${\displaystyle a,b}$ ${\displaystyle a+b\leq 1.}$

Сильно выпуклые функции

Понятие сильной выпуклости расширяет и параметризует понятие строгой выпуклости. Интуитивно понятно, что сильно выпуклая функция — это функция, которая растет так же быстро, как квадратичная функция. ^[11] Сильно выпуклая функция является также строго выпуклой, но не наоборот. Если одномерная функция дважды непрерывно дифференцируема и областью определения является действительная прямая, то мы можем охарактеризовать ее следующим образом: ${\displaystyle f}$

• ${\displaystyle f}$выпукло тогда и только тогда, когда для всех ${\displaystyle f''(x)\geq 0}$ ${\displaystyle x.}$
• ${\displaystyle f}$строго выпуклый, если для всех (примечание: этого достаточно, но не обязательно). ${\displaystyle f''(x)>0}$ ${\displaystyle x}$
• ${\displaystyle f}$сильно выпуклый тогда и только тогда, когда для всех ${\displaystyle f''(x)\geq m>0}$ ${\displaystyle x.}$

Например, пусть будет строго выпуклым, и предположим, что существует последовательность точек такая, что . Несмотря на то , что функция не является сильно выпуклой, поскольку станет сколь угодно малой. ${\displaystyle f}$ ${\displaystyle (x_{n})}$ ${\displaystyle f''(x_{n})={\tfrac {1}{n}}}$ ${\displaystyle f''(x_{n})>0}$ ${\displaystyle f''(x)}$

В более общем смысле, дифференцируемая функция называется сильно выпуклой с параметром, если для всех точек ее области определения выполняется следующее неравенство : ^[12] ${\displaystyle f}$ ${\displaystyle m>0}$ ${\displaystyle x,y}$

$${\displaystyle (\nabla f(x)-\nabla f(y))^{T}(x-y)\geq m\|x-y\|_{2}^{2}}$$

$${\displaystyle \langle \nabla f(x)-\nabla f(y),x-y\rangle \geq m\|x-y\|^{2}}$$

внутренний продуктнорма^[13]эллиптическими ${\displaystyle \langle \cdot ,\cdot \rangle }$ ${\displaystyle \|\cdot \|}$

Эквивалентным условием является следующее: ^[14]

$${\displaystyle f(y)\geq f(x)+\nabla f(x)^{T}(y-x)+{\frac {m}{2}}\|y-x\|_{2}^{2}}$$

Чтобы функция была сильно выпуклой, не обязательно быть дифференцируемой. Третье определение ^[14] для сильно выпуклой функции с параметром состоит в том, что для всех в области определения и ${\displaystyle m,}$ ${\displaystyle x,y}$ ${\displaystyle t\in [0,1],}$

$${\displaystyle f(tx+(1-t)y)\leq tf(x)+(1-t)f(y)-{\frac {1}{2}}mt(1-t)\|x-y\|_{2}^{2}}$$

Обратите внимание, что это определение приближается к определению строгой выпуклости и идентично определению выпуклой функции, когда Несмотря на это, существуют функции, которые являются строго выпуклыми, но не являются сильно выпуклыми ни для одного (см. пример ниже). ${\displaystyle m\to 0,}$ ${\displaystyle m=0.}$ ${\displaystyle m>0}$

Если функция дважды непрерывно дифференцируема, то она сильно выпукла с параметром тогда и только тогда, когда для всех в области, где – единица и – матрица Гессе , а неравенство означает, что она положительно полуопределена . Это эквивалентно требованию, чтобы минимальное собственное значение было по крайней мере для всех. Если областью определения является просто действительная линия, то это всего лишь вторая производная, поэтому условие становится . Если тогда это означает, что гессиан положительно полуопределен (или если областью определения является вещественная прямая, это означает, что ), что означает, что функция выпуклая и, возможно, строго выпуклая, но не сильно выпуклая. ${\displaystyle f}$ ${\displaystyle m}$ ${\displaystyle \nabla ^{2}f(x)\succeq mI}$ ${\displaystyle x}$ ${\displaystyle I}$ ${\displaystyle \nabla ^{2}f}$ ${\displaystyle \succeq }$ ${\displaystyle \nabla ^{2}f(x)-mI}$ ${\displaystyle \nabla ^{2}f(x)}$ ${\displaystyle m}$ ${\displaystyle x.}$ ${\displaystyle \nabla ^{2}f(x)}$ ${\displaystyle f''(x),}$ ${\displaystyle f''(x)\geq m}$ ${\displaystyle m=0}$ ${\displaystyle f''(x)\geq 0}$

Полагая еще, что функция дважды непрерывно дифференцируема, можно показать, что из нижней оценки следует, что она сильно выпукла. Используя теорему Тейлора, существует ${\displaystyle \nabla ^{2}f(x)}$

$${\displaystyle z\in \{tx+(1-t)y:t\in [0,1]\}}$$

$${\displaystyle f(y)=f(x)+\nabla f(x)^{T}(y-x)+{\frac {1}{2}}(y-x)^{T}\nabla ^{2}f(z)(y-x)}$$

$${\displaystyle (y-x)^{T}\nabla ^{2}f(z)(y-x)\geq m(y-x)^{T}(y-x)}$$

Функция является сильно выпуклой с параметром m тогда и только тогда, когда функция ${\displaystyle f}$

$${\displaystyle x\mapsto f(x)-{\frac {m}{2}}\|x\|^{2}}$$

Дважды непрерывно дифференцируемая функция на компактной области , удовлетворяющая всем требованиям, является сильно выпуклой. Доказательство этого утверждения следует из теоремы о крайних значениях , которая утверждает, что непрерывная функция на компакте имеет максимум и минимум. ${\displaystyle f}$ ${\displaystyle X}$ ${\displaystyle f''(x)>0}$ ${\displaystyle x\in X}$

С сильно выпуклыми функциями обычно легче работать, чем с выпуклыми или строго выпуклыми функциями, поскольку они представляют собой меньший класс. Как и строго выпуклые функции, сильно выпуклые функции имеют единственные минимумы на компактах.

Свойства сильно выпуклых функций

Если f — сильно выпуклая функция с параметром m , то: ^{[15] : Предложение 6.1.4.}

• Для каждого действительного числа r набор уровней { x | ж ( Икс ) ≤ р } компактен .
• Функция f ^имеет единственный глобальный минимум на Rn .
• Градиент является липшицевым непрерывным с константой Липшица m . ${\displaystyle \nabla f}$

Равномерно выпуклые функции

Равномерно выпуклая функция ^{[16] [17]} с модулем , является функцией , которая для всех в области и удовлетворяет ${\displaystyle \phi }$ ${\displaystyle f}$ ${\displaystyle x,y}$ ${\displaystyle t\in [0,1],}$

$${\displaystyle f(tx+(1-t)y)\leq tf(x)+(1-t)f(y)-t(1-t)\phi (\|x-y\|)}$$

${\displaystyle \phi }$ ${\displaystyle \phi (\alpha )={\tfrac {m}{2}}\alpha ^{2}}$

Стоит отметить, что некоторые авторы требуют, чтобы модуль был возрастающей функцией, ^[17] , но этого условия требуют не все авторы. ^[16] ${\displaystyle \phi }$

Примеры

Функции одной переменной

• Функция имеет , поэтому f — выпуклая функция. Он также сильно выпуклый (а значит, и строго выпуклый) с сильной константой выпуклости 2. ${\displaystyle f(x)=x^{2}}$ ${\displaystyle f''(x)=2>0}$
• Функция имеет , поэтому f — выпуклая функция. Он строго выпуклый, хотя вторая производная не является строго положительной во всех точках. Он не сильно выпуклый. ${\displaystyle f(x)=x^{4}}$ ${\displaystyle f''(x)=12x^{2}\geq 0}$
• Функция абсолютного значения является выпуклой (как это отражено в неравенстве треугольника ), даже если она не имеет производной в точке. Она не является строго выпуклой. ${\displaystyle f(x)=|x|}$ ${\displaystyle x=0.}$
• Функция for выпуклая. ${\displaystyle f(x)=|x|^{p}}$ ${\displaystyle p\geq 1}$
• Показательная функция выпуклая. Она также строго выпукла, поскольку , но не сильно выпукла, поскольку вторая производная может быть сколь угодно близкой к нулю. В более общем смысле, функция является логарифмически выпуклой, если она является выпуклой функцией. Вместо этого иногда используется термин «сверхвыпуклый». ^[18] ${\displaystyle f(x)=e^{x}}$ ${\displaystyle f''(x)=e^{x}>0}$ ${\displaystyle g(x)=e^{f(x)}}$ ${\displaystyle f}$
• Функция с областью определения [0,1], определяемая for, является выпуклой; он непрерывен на открытом интервале , но не непрерывен в точках 0 и 1. ${\displaystyle f}$ ${\displaystyle f(0)=f(1)=1,f(x)=0}$ ${\displaystyle 0<x<1}$ ${\displaystyle (0,1),}$
• Функция имеет вторую производную ; таким образом, он выпуклый на множестве где и вогнутый на множестве где ${\displaystyle x^{3}}$ ${\displaystyle 6x}$ ${\displaystyle x\geq 0}$ ${\displaystyle x\leq 0.}$
• Примеры функций, которые монотонно возрастают , но не выпуклы, включают и . ${\displaystyle f(x)={\sqrt {x}}}$ ${\displaystyle g(x)=\log x}$
• Примеры функций, которые являются выпуклыми, но не монотонно возрастающими, включают и . ${\displaystyle h(x)=x^{2}}$ ${\displaystyle k(x)=-x}$
• Функция имеет которая больше 0, если это так, является выпуклой на интервале . На отрезке он вогнут . ${\displaystyle f(x)={\tfrac {1}{x}}}$ ${\displaystyle f''(x)={\tfrac {2}{x^{3}}}}$ ${\displaystyle x>0}$ ${\displaystyle f(x)}$ ${\displaystyle (0,\infty )}$ ${\displaystyle (-\infty ,0)}$
• Функция при , выпукла на отрезке и выпукла на отрезке , но не выпукла на отрезке из-за особенности при ${\displaystyle f(x)={\tfrac {1}{x^{2}}}}$ ${\displaystyle f(0)=\infty }$ ${\displaystyle (0,\infty )}$ ${\displaystyle (-\infty ,0)}$ ${\displaystyle (-\infty ,\infty )}$ ${\displaystyle x=0.}$

Функции n переменных

• Функция LogSumExp , также называемая функцией softmax, является выпуклой функцией.
• Функция в области определения положительно определенных матриц выпуклая. ^{[7] : 74} ${\displaystyle -\log \det(X)}$
• Всякое вещественнозначное линейное преобразование выпукло, но не строго выпукло, так как если линейно, то . Это утверждение справедливо и в том случае, если мы заменим слово «выпуклое» на «вогнутое». ${\displaystyle f}$ ${\displaystyle f(a+b)=f(a)+f(b)}$
• Всякая вещественная аффинная функция , то есть каждая функция вида одновременно выпукла и вогнута. ${\displaystyle f(x)=a^{T}x+b,}$
• Каждая норма является выпуклой функцией в силу неравенства треугольника и положительной однородности .
• Спектральный радиус неотрицательной матрицы является выпуклой функцией ее диагональных элементов. ^[19]

Смотрите также

• Вогнутая функция
• Выпуклый анализ
• Выпуклое сопряжение
• Выпуклая кривая
• Выпуклая оптимизация
• Геодезическая выпуклость
• Теорема Хана – Банаха
• Неравенство Эрмита–Адамара.
• Функция инвекс
• Неравенство Дженсена
• K-выпуклая функция
• Теорема Качуровского , связывающая выпуклость с монотонностью производной
• Неравенство Караматы
• Логарифмически выпуклая функция
• Псевдовыпуклая функция
• Квазивыпуклая функция
• Субпроизводная выпуклой функции

Примечания

1. «Конспекты лекций 2» (PDF) . www.stat.cmu.edu . Проверено 3 марта 2017 г.
2. «Вогнутость вверх и вниз». Архивировано из оригинала 18 декабря 2013 г.
3. Стюарт, Джеймс (2015). Исчисление (8-е изд.). Cengage Обучение. стр. 223–224. ISBN 978-1305266643.
4. В. Хэмминг, Ричард (2012). Методы математики, применяемые к исчислению, теории вероятностей и статистике (иллюстрированное издание). Курьерская корпорация. п. 227. ИСБН 978-0-486-13887-9.Выдержка со страницы 227
5. Уваров, Василий Борисович (1988). Математический анализ. Издательство «Мир». п. 126-127. ISBN 978-5-03-000500-3.
6. Прюгель-Беннетт, Адам (2020). The Probability Companion for Engineering and Computer Science (иллюстрированное издание). Издательство Кембриджского университета. п. 160. ИСБН 978-1-108-48053-6.Выдержка со страницы 160
7. Бойд, Стивен П.; Ванденберге, Ливен (2004). Выпуклая оптимизация (pdf) . Издательство Кембриджского университета. ISBN 978-0-521-83378-3. Проверено 15 октября 2011 г.
8. Донохью, Уильям Ф. (1969). Распределения и преобразования Фурье. Академическая пресса. п. 12. ISBN 9780122206504. Проверено 29 августа 2012 г.
9. «Если f строго выпукло в выпуклом множестве, покажите, что оно имеет не более 1 минимума». Математический StackExchange. 21 марта 2013 г. Проверено 14 мая 2016 г. .
10. Альтенберг, Л., 2012. Резольвентные положительные линейные операторы демонстрируют явление редукции. Труды Национальной академии наук, 109 (10), стр. 3705-3710.
11. "Сильная выпуклость · Блог Синъюй Чжоу" . xingyuzhou.org . Проверено 27 сентября 2023 г.
12. Дмитрий Берцекас (2003). Выпуклый анализ и оптимизация . Авторы: Анжелия Недич и Асуман Э. Оздаглар. Афина Сайентифик. п. 72. ИСБН 9781886529458.
13. Филипп Дж. Сиарле (1989). Введение в численную линейную алгебру и оптимизацию . Издательство Кембриджского университета. ISBN 9780521339841.
14. Юрий Нестеров (2004). Вводные лекции по выпуклой оптимизации: базовый курс . Академическое издательство Клувер. стр. 63–64. ISBN 9781402075537.
15. Немировский и Бен-Тал (2023). «Оптимизация III: Выпуклая оптимизация» (PDF) .
16. К. Залинеску (2002). Выпуклый анализ в общих векторных пространствах . Всемирная научная. ISBN 9812380671.
17. H. Bauschke и PL Combettes (2011). Выпуклый анализ и теория монотонных операторов в гильбертовых пространствах . Спрингер. п. 144. ИСБН 978-1-4419-9467-7.
18. Кингман, JFC (1961). «Свойство выпуклости положительных матриц». Ежеквартальный математический журнал . 12 : 283–284. дои : 10.1093/qmath/12.1.283.
19. Коэн, Дж. Э., 1981. Выпуклость доминирующего собственного значения существенно неотрицательной матрицы. Труды Американского математического общества, 81 (4), стр. 657-658.

Рекомендации

• Берцекас, Дмитрий (2003). Выпуклый анализ и оптимизация . Афина Сайентифик.
• Борвейн, Джонатан и Льюис, Адриан. (2000). Выпуклый анализ и нелинейная оптимизация. Спрингер.
• Донохью, Уильям Ф. (1969). Распределения и преобразования Фурье . Академическая пресса.
• Хириар-Уррути, Жан-Батист, и Лемарешаль, Клод . (2004). Основы выпуклого анализа. Берлин: Шпрингер.
• Красносельский М.А. , Рутицкий Я.Б. (1961). Выпуклые функции и пространства Орлича . Гронинген: P.Noordhoff Ltd.
• Лауритцен, Нильс (2013). Выпуклость бакалавриата . Мировое научное издательство.
• Люенбергер, Дэвид (1984). Линейное и нелинейное программирование . Аддисон-Уэсли.
• Люенбергер, Дэвид (1969). Оптимизация методами векторного пространства . Уайли и сыновья.
• Рокафеллар, RT (1970). Выпуклый анализ . Принстон: Издательство Принстонского университета.
• Томсон, Брайан (1994). Симметричные свойства действительных функций . ЦРК Пресс.
• Залинеску, К. (2002). Выпуклый анализ в общих векторных пространствах . Ривер Эдж, Нью-Джерси: World Scientific Publishing Co., Inc., стр. xx+367. ISBN 981-238-067-1. МР  1921556.

Внешние ссылки

• «Выпуклая функция (действительной переменной)», Математическая энциклопедия , EMS Press , 2001 [1994]
• «Выпуклая функция (комплексной переменной)», Математическая энциклопедия , EMS Press , 2001 [1994]