Функция линейного изменения

Кусочная функция, которая фиксирует неотрицательный входной сигнал

График функции линейного изменения

Функция рампы — это унарная действительная функция , график которой имеет форму рампы . Это можно выразить множеством определений, например: «0 для отрицательных входов, выход равен входу для неотрицательных входов». Термин «линейное изменение» также можно использовать для других функций, полученных путем масштабирования и сдвига , и функция в этой статье представляет собой функцию единичного линейного изменения (наклон 1, начиная с 0).

В математике функция линейного изменения также известна как положительная часть .

В машинном обучении она широко известна как функция активации ReLU ^{[1] [2]} или выпрямитель по аналогии с полуволновым выпрямлением в электротехнике . В статистике (при использовании в качестве функции правдоподобия ) она известна как тобитовая модель .

Эта функция имеет множество применений в математике и технике и имеет разные названия в зависимости от контекста. Существуют дифференцируемые варианты функции линейного изменения.

Определения

Функция линейного изменения ( R ( x ) : R → R ₀ ⁺ ) может быть определена аналитически несколькими способами. Возможные определения:

• Кусочная функция :
  $${\displaystyle R(x):={\begin{cases}x,&x\geq 0;\\0,&x<0\end{cases}}}$$
• Максимальная функция :
  $${\displaystyle R(x):=\max(x,0)}$$
• Среднее значение независимой переменной и ее абсолютное значение (прямая линия с единичным градиентом и ее модулем):
  $${\displaystyle R(x):={\frac {x+|x|}{2}}}$$
  это можно получить, приняв во внимание следующее определение max( a , b ) ,
  $${\displaystyle \max(a,b)={\frac {a+b+|a-b|}{2}}}$$
  для которого a = x и b = 0
• Ступенчатая функция Хевисайда , умноженная на прямую с единичным градиентом:
  $${\displaystyle R\left(x\right):=xH(x)}$$
• Свертка ступенчатой ​​функции Хевисайда с самой собой :
  $${\displaystyle R\left(x\right):=H(x)*H(x)}$$
• Интеграл от ступенчатой ​​функции Хевисайда: ^[3]
  $${\displaystyle R(x):=\int _{-\infty }^{x}H(\xi )\,d\xi }$$
• Брекеты Маколея :
  $${\displaystyle R(x):=\langle x\rangle }$$
• Положительная часть функции идентичности :
  $${\displaystyle R:=\operatorname {id} ^{+}}$$

Приложения

Функция линейного изменения имеет множество применений в технике, например, в теории цифровой обработки сигналов .

Выплата и прибыль от покупки опциона колл .

В финансах выигрыш по опциону колл представляет собой линейное изменение (сдвигающееся в зависимости от цены исполнения ). Горизонтальное переворачивание графика дает опцион пут , тогда как вертикальное переворот (отрицательное значение) соответствует продаже или «короткой» позиции опциона. В финансах эту форму широко называют « хоккейной клюшкой », поскольку она похожа на хоккейную клюшку .

Зеркальная пара шарнирных функций с узлом в точке x=3,1.

В статистике шарнирные функции сплайнов многомерной адаптивной регрессии ( MARS) представляют собой пандусы и используются для построения моделей регрессии .

Аналитические свойства

Негативность

Во всей области функция неотрицательна, поэтому ее абсолютное значение равно самой себе, т.е.

$${\displaystyle \forall x\in \mathbb {R} :R(x)\geq 0}$$

$${\displaystyle \left|R(x)\right|=R(x)}$$

Доказательство

по определению 2 он неотрицательен в первой четверти и равен нулю во второй; поэтому везде оно неотрицательно.

Производная

Ее производной является ступенчатая функция Хевисайда :

$${\displaystyle R'(x)=H(x)\quad {\mbox{for }}x\neq 0.}$$

Вторая производная

Функция линейного изменения удовлетворяет дифференциальному уравнению:

$${\displaystyle {\frac {d^{2}}{dx^{2}}}R(x-x_{0})=\delta (x-x_{0}),}$$

δ ( x )дельта ДиракаR ( x )функцией Гринаf ( x )f ″( x )

$${\displaystyle f(x)=f(a)+(x-a)f'(a)+\int _{a}^{b}R(x-s)f''(s)\,ds\quad {\mbox{for }}a<x<b.}$$

преобразование Фурье

$${\displaystyle {\mathcal {F}}{\big \{}R(x){\big \}}(f)=\int _{-\infty }^{\infty }R(x)e^{-2\pi ifx}\,dx={\frac {i\delta '(f)}{4\pi }}-{\frac {1}{4\pi ^{2}f^{2}}},}$$

δ ( x )дельта Диракапроизводная

Преобразование Лапласа

Одностороннее преобразование Лапласа R ( x ) задается следующим образом: [ ^4]

$${\displaystyle {\mathcal {L}}{\big \{}R(x){\big \}}(s)=\int _{0}^{\infty }e^{-sx}R(x)dx={\frac {1}{s^{2}}}.}$$

Алгебраические свойства

Итерационная инвариантность

Каждая итерированная функция отображения рампы сама по себе является

$${\displaystyle R{\big (}R(x){\big )}=R(x).}$$

Доказательство

$${\displaystyle R{\big (}R(x){\big )}:={\frac {R(x)+|R(x)|}{2}}={\frac {R(x)+R(x)}{2}}=R(x).}$$

Это применяет неотрицательное свойство.

Смотрите также

• Модель Тобита
• Выпрямитель (нейронные сети)

Рекомендации

1. Браунли, Джейсон (8 января 2019 г.). «Нежное введение в выпрямленный линейный блок (ReLU)». Мастерство машинного обучения . Проверено 8 апреля 2021 г.
2. Лю, Даньцин (30 ноября 2017 г.). «Практическое руководство по ReLU». Середина . Проверено 8 апреля 2021 г.
3. Вайсштейн, Эрик В. «Функция линейного изменения». Математический мир .
4. «Преобразование функций Лапласа». lpsa.swarthmore.edu . Проверено 5 апреля 2019 г.