Функция рампы

Кусочная функция, которая ограничивает свои входные данные до неотрицательных значений

График функции рампы

Функция рампы — это унарная вещественная функция , график которой имеет форму рампы . Она может быть выражена многочисленными определениями, например, «0 для отрицательных входов, выход равен входу для неотрицательных входов». Термин «рампа» может также использоваться для других функций, полученных масштабированием и сдвигом , а функция в этой статье — это единичная функция рампы (наклон 1, начиная с 0).

В математике рамповая функция также известна как положительная часть .

В машинном обучении она обычно известна как функция активации ReLU ^{[1] [2]} или выпрямитель по аналогии с однополупериодным выпрямлением в электротехнике . В статистике (при использовании в качестве функции правдоподобия ) она известна как тобитовая модель .

Эта функция имеет многочисленные приложения в математике и инженерии и имеет разные названия в зависимости от контекста. Существуют дифференцируемые варианты функции рампы.

Определения

Функция рампы ( R ( x ) : R → R ₀ ⁺ ) может быть определена аналитически несколькими способами. Возможные определения:

• Кусочная функция : $${\displaystyle R(x):={\begin{cases}x,&x\geq 0;\\0,&x<0\end{cases}}}$$
• Используя обозначение скобок Айверсона : или $${\displaystyle R(x):=x\cdot [x\geq 0]}$$ $${\displaystyle R(x):=x\cdot [x>0]}$$
• Максимальная функция : $${\displaystyle R(x):=\max(x,0)}$$
• Среднее значение независимой переменной и ее абсолютное значение (прямая линия с единичным градиентом и ее модулем): это можно вывести, заметив следующее определение max( a , b ) , для которого a = x и b = 0 $${\displaystyle R(x):={\frac {x+|x|}{2}}}$$ $${\displaystyle \max(a,b)={\frac {a+b+|a-b|}{2}}}$$
• Ступенчатая функция Хевисайда , умноженная на прямую линию с единичным градиентом: $${\displaystyle R\left(x\right):=xH(x)}$$
• Свертка ступенчатой ​​функции Хевисайда с самой собой: $${\displaystyle R\left(x\right):=H(x)*H(x)}$$
• Интеграл ступенчатой ​​функции Хевисайда: ^[3 ] $${\displaystyle R(x):=\int _{-\infty }^{x}H(\xi )\,d\xi }$$
• Скобки Маколея : $${\displaystyle R(x):=\langle x\rangle }$$
• Положительная часть функции тождества : $${\displaystyle R:=\operatorname {id} ^{+}}$$
• В качестве предельной функции: $${\displaystyle R\left(x\right):=\lim _{a\to \infty }{\begin{cases}{\frac {1}{a}},\quad x=0\\{\dfrac {x}{1-e^{-ax}}},\quad x\neq 0\end{cases}}}$$

Его можно приблизить сколь угодно близко, выбрав возрастающее положительное значение . ${\displaystyle a>0}$

Приложения

Функция линейного изменения имеет многочисленные приложения в технике, например, в теории цифровой обработки сигналов .

Выплата и прибыль от покупки опциона колл .

В финансах выплата опциона колл представляет собой наклонную плоскость (смещенную на цену исполнения ). Горизонтальное переворачивание наклонной плоскости дает опцион пут , тогда как вертикальное переворачивание (взятие отрицательного значения) соответствует продаже или «короткой» позиции по опциону. В финансах эта форма широко известна как « хоккейная клюшка », поскольку по форме напоминает хоккейную клюшку .

Зеркальная пара шарнирных функций с узлом при x=3,1

В статистике шарнирные функции многомерных адаптивных регрессионных сплайнов (MARS) являются пандусами и используются для построения регрессионных моделей .

Аналитические свойства

Неотрицательность

Во всей области определения функция неотрицательна, поэтому ее абсолютное значение равно ей самой, т.е. и $${\displaystyle \forall x\in \mathbb {R} :R(x)\geq 0}$$ $${\displaystyle \left|R(x)\right|=R(x)}$$

Доказательство

по определению 2 он неотрицателен в первой четверти и равен нулю во второй; поэтому везде он неотрицателен.

Производный

Ее производная — ступенчатая функция Хевисайда : $${\displaystyle R'(x)=H(x)\quad {\mbox{for }}x\neq 0.}$$

Вторая производная

Функция рампы удовлетворяет дифференциальному уравнению: где δ ( x ) — дельта Дирака . Это означает, что R ( x ) — функция Грина для оператора второй производной. Таким образом, любая функция f ( x ) с интегрируемой второй производной f ″( x ) будет удовлетворять уравнению: $${\displaystyle {\frac {d^{2}}{dx^{2}}}R(x-x_{0})=\delta (x-x_{0}),}$$ $${\displaystyle f(x)=f(a)+(x-a)f'(a)+\int _{a}^{b}R(x-s)f''(s)\,ds\quad {\mbox{for }}a<x<b.}$$

преобразование Фурье

$${\displaystyle {\mathcal {F}}{\big \{}R(x){\big \}}(f)=\int _{-\infty }^{\infty }R(x)e^{-2\pi ifx}\,dx={\frac {i\delta '(f)}{4\pi }}-{\frac {1}{4\pi ^{2}f^{2}}},}$$где δ ( x ) — дельта Дирака (в этой формуле появляется ее производная ).

преобразование Лапласа

Одностороннее преобразование Лапласа R ( x ) задается следующим образом: ^[4] $${\displaystyle {\mathcal {L}}{\big \{}R(x){\big \}}(s)=\int _{0}^{\infty }e^{-sx}R(x)dx={\frac {1}{s^{2}}}.}$$

Алгебраические свойства

Итерационная инвариантность

Каждая итеративная функция отображения рампы является самой собой, так как $${\displaystyle R{\big (}R(x){\big )}=R(x).}$$

Доказательство

$${\displaystyle R{\big (}R(x){\big )}:={\frac {R(x)+|R(x)|}{2}}={\frac {R(x)+R(x)}{2}}=R(x).}$$Это применяет неотрицательное свойство.

Смотрите также

• Модель Тобита
• Выпрямитель (нейронные сети)

Ссылки

1. Браунли, Джейсон (8 января 2019 г.). «Нежное введение в ректифицированную линейную единицу (ReLU)». Machine Learning Mastery . Получено 8 апреля 2021 г.
2. Лю, Даньцин (30 ноября 2017 г.). "Практическое руководство по ReLU". Medium . Получено 8 апреля 2021 г. .
3. Вайсштейн, Эрик В. «Функция рампы». MathWorld .
4. "Преобразование Лапласа функций". lpsa.swarthmore.edu . Получено 2019-04-05 .