Субпроизводная

Обобщение производных на вещественные функции

Выпуклая функция (синий) и «касательные линии» (красный). ${\displaystyle x_{0}}$

В математике субпроизводные (или субградиент) обобщают производную на выпуклые функции , которые не обязательно дифференцируемы . Совокупность субпроизводных в точке называется субдифференциалом в этой точке. ^[1] Субпроизводные возникают в выпуклом анализе , изучении выпуклых функций , часто в связи с выпуклой оптимизацией .

Пусть – вещественная выпуклая функция, определенная на отрезке вещественной прямой. Такая функция не обязательно должна быть дифференцируемой во всех точках: например, функция абсолютного значения недифференцируема, когда . Однако, как видно на графике справа (где синий цвет имеет недифференцируемые изломы, подобные функции абсолютного значения), для любой области определения функции можно провести линию, проходящую через точку и которая либо находится везде, либо касаясь или ниже графика f . Наклон такой прямой называется субпроизводной . ${\displaystyle f:I\to \mathbb {R} }$ ${\displaystyle f(x)=|x|}$ ${\displaystyle x=0}$ ${\displaystyle f(x)}$ ${\displaystyle x_{0}}$ ${\displaystyle (x_{0},f(x_{0}))}$

Определение

Строго говоря, субпроизводная выпуклой функции в точке открытого интервала — это действительное число такое, что ${\displaystyle f:I\to \mathbb {R} }$ ${\displaystyle x_{0}}$ ${\displaystyle I}$ ${\displaystyle c}$

$${\displaystyle f(x)-f(x_{0})\geq c(x-x_{0})}$$

теореме о среднемсубпроизводныхнепустой замкнутый интервалодносторонние пределы ${\displaystyle x\in I}$ ${\displaystyle x_{0}}$ ${\displaystyle [a,b]}$ ${\displaystyle a}$ ${\displaystyle b}$

$${\displaystyle a=\lim _{x\to x_{0}^{-}}{\frac {f(x)-f(x_{0})}{x-x_{0}}},}$$

$${\displaystyle b=\lim _{x\to x_{0}^{+}}{\frac {f(x)-f(x_{0})}{x-x_{0}}}.}$$

функции. ^[2] ${\displaystyle [a,b]}$ ${\displaystyle f}$ ${\displaystyle x_{0}}$ ${\displaystyle \partial f(x_{0})}$ ${\displaystyle f}$ ${\displaystyle x_{0}}$ ${\displaystyle \partial f(x_{0})=\{f'(x_{0})\}}$ ${\displaystyle f}$ ${\displaystyle x_{0}}$

Пример

Рассмотрим функцию , которая является выпуклой. Тогда субдифференциалом в начале координат является интервал . Субдифференциал в любой точке является одноэлементным множеством , тогда как субдифференциал в любой точке является одноэлементным множеством . Это похоже на функцию знака , но не является однозначной в точке , а включает все возможные производные. ${\displaystyle f(x)=|x|}$ ${\displaystyle [-1,1]}$ ${\displaystyle x_{0}<0}$ ${\displaystyle \{-1\}}$ ${\displaystyle x_{0}>0}$ ${\displaystyle \{1\}}$ ${\displaystyle 0}$

Характеристики

• Выпуклая функция дифференцируема тогда и только тогда, когда субдифференциал представляет собой одноэлементное множество, то есть . ${\displaystyle f:I\to \mathbb {R} }$ ${\displaystyle x_{0}}$ ${\displaystyle \{f'(x_{0})\}}$
• Точка является глобальным минимумом выпуклой функции тогда и только тогда, когда нуль содержится в субдифференциале. Например, на рисунке выше можно провести горизонтальную «касательную линию» к графику at . Это последнее свойство является обобщением того факта, что производная функции, дифференцируемой в локальном минимуме, равна нулю. ${\displaystyle x_{0}}$ ${\displaystyle f}$ ${\displaystyle f}$ ${\displaystyle (x_{0},f(x_{0}))}$
• Если и являются выпуклыми функциями с субдифференциалами и являются внутренней точкой одной из функций, то субдифференциал есть ( где оператор сложения обозначает сумму Минковского ). Это звучит так: «Субдифференциал суммы есть сумма субдифференциалов». ^[3] ${\displaystyle f}$ ${\displaystyle g}$ ${\displaystyle \partial f(x)}$ ${\displaystyle \partial g(x)}$ ${\displaystyle x}$ ${\displaystyle f+g}$ ${\displaystyle \partial (f+g)(x)=\partial f(x)+\partial g(x)}$

Субградиент

Понятия субпроизводной и субдифференциала можно обобщить на функции нескольких переменных. Если выпуклая функция с действительным знаком, определенная на выпуклом открытом множестве в евклидовом пространстве , вектор в этом пространстве называется субградиентом в , если для любого из них есть это ${\displaystyle f:U\to \mathbb {R} }$ ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle v}$ ${\displaystyle x_{0}\in U}$ ${\displaystyle x\in U}$

${\displaystyle f(x)-f(x_{0})\geq v\cdot (x-x_{0}),}$

где точка обозначает скалярное произведение . Совокупность всех субградиентов at называется субдифференциалом at и обозначается . Субдифференциал всегда представляет собой непустой выпуклый компакт . ${\displaystyle x_{0}}$ ${\displaystyle x_{0}}$ ${\displaystyle \partial f(x_{0})}$

Эти концепции далее обобщаются на выпуклые функции на выпуклом множестве в локально выпуклом пространстве . Функционал в дуальном пространстве называется субградиентом в , если для всех ${\displaystyle f:U\to \mathbb {R} }$ ${\displaystyle V}$ ${\displaystyle v^{*}}$ ${\displaystyle V^{*}}$ ${\displaystyle x_{0}}$ ${\displaystyle U}$ ${\displaystyle x\in U}$

${\displaystyle f(x)-f(x_{0})\geq v^{*}(x-x_{0}).}$

Множество всех субградиентов at называется субдифференциалом at и снова обозначается . Субдифференциал всегда является выпуклым замкнутым множеством . Это может быть пустой набор; рассмотрим, например, неограниченный оператор , который является выпуклым, но не имеет субградиента. Если непрерывен, то субдифференциал непуст. ${\displaystyle x_{0}}$ ${\displaystyle x_{0}}$ ${\displaystyle \partial f(x_{0})}$ ${\displaystyle f}$

История

Субдифференциал выпуклых функций был введен Жан-Жаком Моро и Р. Тирреллом Рокафелларом в начале 1960-х годов. Обобщенный субдифференциал для невыпуклых функций был введен Ф. Х. Кларком и Р. Т. Рокафелларом в начале 1980-х годов. ^[4]

Смотрите также

• Слабая производная
• Субградиентный метод

Рекомендации

1. Бубек, С. (2014). Теория выпуклой оптимизации машинного обучения. ArXiv, абс/1405.4980.
2. Рокафеллар, RT (1970). Выпуклый анализ . Издательство Принстонского университета. п. 242 [теорема 25.1]. ISBN 0-691-08069-0.
3. Лемарешаль, Клод; Хириар-Уррути, Жан-Батист (2001). Основы выпуклого анализа . Шпрингер-Верлаг Берлин Гейдельберг. п. 183. ИСБН 978-3-642-56468-0.
4. Кларк, Фрэнк Х. (1983). Оптимизация и негладкий анализ . Нью-Йорк: Джон Уайли и сыновья . стр. xiii+308. ISBN  0-471-87504-Х. МР  0709590.

• Борвейн, Джонатан; Льюис, Адриан С. (2010). Выпуклый анализ и нелинейная оптимизация: теория и примеры (2-е изд.). Нью-Йорк: Спрингер. ISBN 978-0-387-31256-9.
• Хириар-Уррути, Жан-Батист; Лемарешаль, Клод (2001). Основы выпуклого анализа . Спрингер. ISBN 3-540-42205-6.
• Залинеску, К. (2002). Выпуклый анализ в общих векторных пространствах . World Scientific Publishing Co., Inc., стр. xx+367. ISBN 981-238-067-1. МР  1921556.

Внешние ссылки

• «Использование lim час → 0 ж ( Икс + час ) - ж ( Икс - час ) 2 час {\ displaystyle \ lim \limits _ {h \ to 0} {\ frac {f (x + h) -f (xh )}{2ч}}} ". Обмен стеками . 18 сентября 2011 г.