Субдеривативный

Обобщение производных на действительные функции

Выпуклая функция (синяя) и «подкасательные линии» в точке (красная). ${\displaystyle x_{0}}$

В математике субпроизводные (или субградиенты) обобщают производную на выпуклые функции , которые не обязательно дифференцируемы . Набор субпроизводных в точке называется субдифференциалом в этой точке. ^[1] Субпроизводные возникают в выпуклом анализе , изучении выпуклых функций , часто в связи с выпуклой оптимизацией .

Пусть будет вещественной -значной выпуклой функцией, определенной на открытом интервале вещественной прямой. Такая функция не обязана быть дифференцируемой во всех точках: Например, функция абсолютного значения недифференцируема, когда . Однако, как видно на графике справа (где синим цветом обозначены недифференцируемые изломы, подобные функции абсолютного значения), для любого в области определения функции можно провести линию, которая проходит через точку и которая всюду касается или находится ниже графика функции f . Наклон такой линии называется субпроизводной . ${\displaystyle f:I\to \mathbb {R} }$ ${\displaystyle f(x)=|x|}$ ${\displaystyle x=0}$ ${\displaystyle f(x)}$ ${\displaystyle x_{0}}$ ${\displaystyle (x_{0},f(x_{0}))}$

Определение

Строго говоря, субпроизводная выпуклой функции в точке открытого интервала — это действительное число, такое что для всех . По обратной теореме о среднем значении множество субпроизводных в для выпуклой функции является непустым замкнутым интервалом , где и — односторонние пределы Интервал всех субпроизводных называется субдифференциалом функции в , обозначаемым . Если является выпуклой, то ее субдифференциал в любой точке непуст. Более того, если ее субдифференциал в содержит ровно одну субпроизводную, то дифференцируем в и . ^[2] ${\displaystyle f:I\to \mathbb {R} }$ ${\displaystyle x_{0}}$ ${\displaystyle I}$ ${\displaystyle c}$ $${\displaystyle f(x)-f(x_{0})\geq c(x-x_{0})}$$ ${\displaystyle x\in I}$ ${\displaystyle x_{0}}$ ${\displaystyle [a,b]}$ ${\displaystyle a}$ ${\displaystyle b}$ $${\displaystyle a=\lim _{x\to x_{0}^{-}}{\frac {f(x)-f(x_{0})}{x-x_{0}}},}$$ $${\displaystyle b=\lim _{x\to x_{0}^{+}}{\frac {f(x)-f(x_{0})}{x-x_{0}}}.}$$ ${\displaystyle [a,b]}$ ${\displaystyle f}$ ${\displaystyle x_{0}}$ ${\displaystyle \partial f(x_{0})}$ ${\displaystyle f}$ ${\displaystyle x_{0}}$ ${\displaystyle f}$ ${\displaystyle x_{0}}$ ${\displaystyle \partial f(x_{0})=\{f'(x_{0})\}}$

Пример

Рассмотрим функцию, которая является выпуклой. Тогда субдифференциал в начале координат — это интервал . Субдифференциал в любой точке — это одноэлементное множество , в то время как субдифференциал в любой точке — это одноэлементное множество . Это похоже на функцию знака , но не является однозначной в , а вместо этого включает все возможные субпроизводные. ${\displaystyle f(x)=|x|}$ ${\displaystyle [-1,1]}$ ${\displaystyle x_{0}<0}$ ${\displaystyle \{-1\}}$ ${\displaystyle x_{0}>0}$ ${\displaystyle \{1\}}$ ${\displaystyle 0}$

Характеристики

• Выпуклая функция дифференцируема в тогда и только тогда, когда субдифференциал является одноэлементным множеством, что равно . ${\displaystyle f:I\to \mathbb {R} }$ ${\displaystyle x_{0}}$ ${\displaystyle \{f'(x_{0})\}}$
• Точка является глобальным минимумом выпуклой функции тогда и только тогда, когда ноль содержится в субдифференциале. Например, на рисунке выше можно провести горизонтальную «субкасательную линию» к графику при . Последнее свойство является обобщением того факта, что производная функции, дифференцируемой в локальном минимуме, равна нулю. ${\displaystyle x_{0}}$ ${\displaystyle f}$ ${\displaystyle f}$ ${\displaystyle (x_{0},f(x_{0}))}$
• Если и являются выпуклыми функциями с субдифференциалами и с внутренней точкой одной из функций, то субдифференциал есть (где оператор сложения обозначает сумму Минковского ). Это читается как «субдифференциал суммы есть сумма субдифференциалов». ^[3] ${\displaystyle f}$ ${\displaystyle g}$ ${\displaystyle \partial f(x)}$ ${\displaystyle \partial g(x)}$ ${\displaystyle x}$ ${\displaystyle f+g}$ ${\displaystyle \partial (f+g)(x)=\partial f(x)+\partial g(x)}$

Субградиент

Понятия субпроизводной и субдифференциала можно обобщить на функции нескольких переменных. Если - вещественнозначная выпуклая функция, определенная на выпуклом открытом множестве в евклидовом пространстве , вектор в этом пространстве называется субградиентом в , если для любого имеет место, что ${\displaystyle f:U\to \mathbb {R} }$ ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle v}$ ${\displaystyle x_{0}\in U}$ ${\displaystyle x\in U}$

${\displaystyle f(x)-f(x_{0})\geq v\cdot (x-x_{0}),}$

где точка обозначает скалярное произведение . Множество всех субградиентов в точке называется субдифференциалом в точке и обозначается . Субдифференциал всегда является непустым выпуклым компактным множеством . ${\displaystyle x_{0}}$ ${\displaystyle x_{0}}$ ${\displaystyle \partial f(x_{0})}$

Эти концепции далее обобщаются на выпуклые функции на выпуклом множестве в локально выпуклом пространстве . Функционал в сопряженном пространстве называется субградиентом в , если для всех , ${\displaystyle f:U\to \mathbb {R} }$ ${\displaystyle V}$ ${\displaystyle v^{*}}$ ${\displaystyle V^{*}}$ ${\displaystyle x_{0}}$ ${\displaystyle U}$ ${\displaystyle x\in U}$

${\displaystyle f(x)-f(x_{0})\geq v^{*}(x-x_{0}).}$

Множество всех субградиентов в называется субдифференциалом в и снова обозначается . Субдифференциал всегда является выпуклым замкнутым множеством . Он может быть пустым множеством; рассмотрим, например, неограниченный оператор , который является выпуклым, но не имеет субградиента. Если является непрерывным, то субдифференциал непуст. ${\displaystyle x_{0}}$ ${\displaystyle x_{0}}$ ${\displaystyle \partial f(x_{0})}$ ${\displaystyle f}$

История

Субдифференциал на выпуклых функциях был введен Жаном Жаком Моро и Р. Тирреллом Рокафелларом в начале 1960-х годов. Обобщенный субдифференциал для невыпуклых функций был введен Ф. Х. Кларком и Р. Т. Рокафелларом в начале 1980-х годов. ^[4]

Смотрите также

• Слабая производная
• Метод субградиента
• Обобщенная производная Кларка

Ссылки

1. Бубек, С. (2014). Теория выпуклой оптимизации для машинного обучения. ArXiv, abs/1405.4980.
2. Рокафеллар, РТ (1970). Выпуклый анализ . Princeton University Press. стр. 242 [Теорема 25.1]. ISBN 0-691-08069-0.
3. Лемарешаль, Клод; Хириар-Уррути, Жан-Батист (2001). Основы выпуклого анализа . Шпрингер-Верлаг Берлин Гейдельберг. п. 183. ИСБН 978-3-642-56468-0.
4. Кларк, Фрэнк Х. (1983). Оптимизация и негладкий анализ . Нью-Йорк: John Wiley & Sons . С. xiii+308. ISBN  0-471-87504-X. МР  0709590.

• Борвейн, Джонатан; Льюис, Адриан С. (2010). Выпуклый анализ и нелинейная оптимизация: теория и примеры (2-е изд.). Нью-Йорк: Springer. ISBN 978-0-387-31256-9.
• Хириар-Уррути, Жан-Батист; Лемарешаль, Клод (2001). Основы выпуклого анализа . Спрингер. ISBN 3-540-42205-6.
• Zălinescu, C. (2002). Выпуклый анализ в общих векторных пространствах . World Scientific Publishing Co., Inc. стр. xx+367. ISBN 981-238-067-1. МР  1921556.

Внешние ссылки

• "Использование lim h → 0 f ( x + h ) − f ( x − h ) 2 h {\displaystyle \lim \limits _{h\to 0}{\frac {f(x+h)-f(xh)}{2h}}} ". Stack Exchange . 18 сентября 2011 г.