Сигмовидная функция

Математическая функция, имеющая характерную S-образную кривую или сигмовидную кривую.

Логистическая кривая

График функции ошибки

Сигмоидальная функция — это функция, график которой следует логистической функции . Она определяется формулой:

${\displaystyle \sigma (x)={\frac {1}{1+e^{-x}}}={\frac {e^{x}}{1+e^{x}}}=1-\sigma (-x).}$

Во многих областях, особенно в контексте искусственных нейронных сетей , термин «сигмоидальная функция» правильно распознается как синоним логистической функции. В то время как другие S-образные кривые, такие как кривая Гомпертца или кривая ogee , могут напоминать сигмоидальные функции, они являются различными математическими функциями с различными свойствами и приложениями.

Сигмоидальные функции, в частности логистическая функция, имеют область всех действительных чисел и обычно производят выходные значения в диапазоне от 0 до 1, хотя некоторые вариации, такие как гиперболический тангенс , производят выходные значения между −1 и 1. Эти функции обычно используются в качестве функций активации в искусственных нейронах и в качестве кумулятивных функций распределения в статистике . Логистическая сигмоидальная функция также обратима, причем ее обратная функция является функцией логита .

Определение

Сигмоидальная функция — это ограниченная , дифференцируемая , действительная функция, которая определена для всех действительных входных значений и имеет неотрицательную производную в каждой точке ^{[1] [2]} и ровно одну точку перегиба .

Характеристики

В общем случае сигмоидальная функция монотонна и имеет первую производную , которая имеет форму колокола . Наоборот, интеграл любой непрерывной, неотрицательной, колоколообразной функции (с одним локальным максимумом и без локального минимума, если только она не вырождена) будет сигмоидальным. Таким образом, кумулятивные функции распределения для многих распространенных распределений вероятностей являются сигмоидальными. Одним из таких примеров является функция ошибок , которая связана с кумулятивной функцией распределения нормального распределения ; другим является функция arctan , которая связана с кумулятивной функцией распределения распределения Коши .

Сигмоидальная функция ограничена парой горизонтальных асимптот : . ${\displaystyle x\rightarrow \pm \infty }$

Сигмоидальная функция является выпуклой для значений, меньших определенной точки, и вогнутой для значений, больших этой точки: во многих приведенных здесь примерах эта точка равна 0.

Примеры

Сравнение некоторых сигмоидных функций. На рисунке все функции нормализованы таким образом, что их наклон в начале координат равен 1.

• Логистическая функция $${\displaystyle f(x)={\frac {1}{1+e^{-x}}}}$$
• Гиперболический тангенс (смещенная и масштабированная версия логистической функции, представленной выше) $${\displaystyle f(x)=\tanh x={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}}$$
• Функция арктангенса $${\displaystyle f(x)=\arctan x}$$
• Функция Гудермана $${\displaystyle f(x)=\operatorname {gd} (x)=\int _{0}^{x}{\frac {dt}{\cosh t}}=2\arctan \left(\tanh \left({\frac {x}{2}}\right)\right)}$$
• Функция ошибки $${\displaystyle f(x)=\operatorname {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2}}\,dt}$$
• Обобщенная логистическая функция $${\displaystyle f(x)=\left(1+e^{-x}\right)^{-\alpha },\quad \alpha >0}$$
• Функция Smoothstep $${\displaystyle f(x)={\begin{cases}{\displaystyle \left(\int _{0}^{1}\left(1-u^{2}\right)^{N}du\right)^{-1}\int _{0}^{x}\left(1-u^{2}\right)^{N}\ du},&|x|\leq 1\\\\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\quad N\in \mathbb {Z} \geq 1}$$
• Некоторые алгебраические функции , например $${\displaystyle f(x)={\frac {x}{\sqrt {1+x^{2}}}}}$$
• и в более общем виде ^[3] $${\displaystyle f(x)={\frac {x}{\left(1+|x|^{k}\right)^{1/k}}}}$$
• С точностью до сдвигов и масштабирования многие сигмоиды являются частными случаями, где — обратное отрицательному преобразованию Бокса–Кокса значение , а и — параметры формы. ^[4] $${\displaystyle f(x)=\varphi (\varphi (x,\beta ),\alpha ),}$$ $${\displaystyle \varphi (x,\lambda )={\begin{cases}(1-\lambda x)^{1/\lambda }&\lambda \neq 0\\e^{-x}&\lambda =0\\\end{cases}}}$$ ${\displaystyle \alpha <1}$ ${\displaystyle \beta <1}$
• Функция плавного перехода ^[5], нормализованная к (-1,1):

$${\displaystyle {\begin{aligned}f(x)&={\begin{cases}{\displaystyle {\frac {2}{1+e^{-2m{\frac {x}{1-x^{2}}}}}}-1},&|x|<1\\\\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\\&={\begin{cases}{\displaystyle \tanh \left(m{\frac {x}{1-x^{2}}}\right)},&|x|<1\\\\\operatorname {sgn}(x)&|x|\geq 1\\\end{cases}}\end{aligned}}}$$с использованием гиперболического тангенса, упомянутого выше. Здесь, — свободный параметр, кодирующий наклон в точке , который должен быть больше или равен , поскольку любое меньшее значение приведет к функции с несколькими точками перегиба, которая, следовательно, не является истинной сигмоидой. Эта функция необычна, поскольку она фактически достигает предельных значений -1 и 1 в пределах конечного диапазона, что означает, что ее значение постоянно при -1 для всех и при 1 для всех . Тем не менее, она гладкая (бесконечно дифференцируемая, ) всюду , включая . ${\displaystyle m}$ ${\displaystyle x=0}$ ${\displaystyle {\sqrt {3}}}$ ${\displaystyle x\leq -1}$ ${\displaystyle x\geq 1}$ ${\displaystyle C^{\infty }}$ ${\displaystyle x=\pm 1}$

Приложения

Перевернутая логистическая S-образная кривая для моделирования связи между урожайностью пшеницы и засоленностью почвы

Многие естественные процессы, такие как кривые обучения сложных систем , демонстрируют прогрессию от небольших начал, которая ускоряется и приближается к кульминации с течением времени. Когда отсутствует конкретная математическая модель, часто используется сигмоидальная функция. ^[6]

Модель Ван Генухтена–Гупты основана на перевернутой S-образной кривой и применяется к реакции урожайности сельскохозяйственных культур на засоление почвы .

Примеры применения логистической S-образной кривой к реакции урожайности сельскохозяйственных культур (пшеницы) на засоление почвы и глубину залегания грунтовых вод в почве показаны в разделе «Моделирование реакции сельскохозяйственных культур в сельском хозяйстве» .

В искусственных нейронных сетях иногда для повышения эффективности используются негладкие функции; они известны как жесткие сигмоиды .

В обработке аудиосигналов сигмоидальные функции используются в качестве передаточных функций формирователя волн для имитации звука ограничения аналоговых схем . ^[7]

В биохимии и фармакологии уравнения Хилла и Хилла–Ленгмюра являются сигмоидальными функциями.

В компьютерной графике и рендеринге в реальном времени некоторые сигмоидальные функции используются для плавного смешивания цветов или геометрии между двумя значениями, без видимых швов или разрывов.

Кривые титрования между сильными кислотами и сильными основаниями имеют сигмоидальную форму из-за логарифмического характера шкалы pH .

Логистическую функцию можно эффективно рассчитать, используя Unums типа III . ^[8]

Смотрите также

• Ступенчатая функция  – линейная комбинация индикаторных функций реальных интервалов
• Функция знака  – Математическая функция, возвращающая -1, 0 или 1
• Ступенчатая функция Хевисайда  – Индикаторная функция положительных чисел
• Логистическая регрессия  – статистическая модель для бинарной зависимой переменной
• Логит  – функция в статистике
• Функция Softplus  – Тип функции активацииPages displaying short descriptions of redirect targets
• Модифицированный гиперболический тангенс Соболевой  – Математическая функция активации в анализе данных
• Функция Softmax  – плавная аппроксимация one-hot arg max
• Функция Swish  – Математическая функция активации в анализе данных
• Распределение Вейбулла  – Непрерывное распределение вероятностей
• Статистика Ферми–Дирака  – статистическое описание поведения фермионов.

Ссылки

1. Хан, Джун; Мораг, Клаудио (1995). «Влияние параметров сигмоидальной функции на скорость обучения методом обратного распространения». В Мира, Хосе; Сандовал, Франциско (ред.). От естественных к искусственным нейронным вычислениям . Конспект лекций по информатике. Том 930. С. 195–201. doi :10.1007/3-540-59497-3_175. ISBN 978-3-540-59497-0.
2. Ling, Yibei; He, Bin (декабрь 1993 г.). «Энтропический анализ моделей биологического роста». IEEE Transactions on Biomedical Engineering . 40 (12): 1193–2000. doi :10.1109/10.250574. PMID  8125495.
3. Даннинг, Эндрю Дж.; Кенслер, Дженнифер; Кудевиль, Лоран; Байе, Фабрис (28.12.2015). «Некоторые расширения в непрерывных методах для иммунологических коррелятов защиты». BMC Medical Research Methodology . 15 (107): 107. doi : 10.1186/s12874-015-0096-9 . PMC 4692073. PMID  26707389 . 
4. "grex --- Growth-curve Explorer". GitHub . 2022-07-09. Архивировано из оригинала 2022-08-25 . Получено 2022-08-25 .
5. EpsilonDelta (2022-08-16). «Функция плавного перехода в одном измерении | Серия «Функция плавного перехода», часть 1». 13:29/14:04 – через www.youtube.com.
6. Гиббс, Марк Н.; Маккей, Д. (ноябрь 2000 г.). «Вариационные гауссовские классификаторы процессов». Труды IEEE по нейронным сетям . 11 (6): 1458–1464. doi :10.1109/72.883477. PMID  18249869. S2CID  14456885.
7. Смит, Джулиус О. (2010). Физическая обработка аудиосигнала (ред. 2010 г.). W3K Publishing. ISBN 978-0-9745607-2-4. Архивировано из оригинала 2022-07-14 . Получено 2020-03-28 .
8. Густафсон, Джон Л .; Йонемото, Айзек (12.06.2017). «Победа над числами с плавающей точкой в ​​их собственной игре: арифметика Posit» (PDF) . Архивировано (PDF) из оригинала 14.07.2022 . Получено 28.12.2019 .

Дальнейшее чтение

• Митчелл, Том М. (1997). Машинное обучение . WCB McGraw–Hill . ISBN 978-0-07-042807-2.. (NB. В частности, см. «Главу 4: Искусственные нейронные сети» (в частности, стр. 96–97), где Митчелл использует слова «логистическая функция» и «сигмоидальная функция» как синонимы – эту функцию он также называет «сжимающей функцией» – а сигмоидальная (или логистическая) функция используется для сжатия выходных данных «нейронов» в многослойных нейронных сетях.)
• Хамфрис, Марк. "Непрерывный вывод, сигмовидная функция". Архивировано из оригинала 2022-07-14 . Получено 2022-07-14 .(Примечание. Свойства сигмоиды, включая то, как она может смещаться вдоль осей и как может трансформироваться ее область определения.)

Внешние ссылки

• "Подгонка логистических S-кривых (сигмоидов) к данным с использованием SegRegA". Архивировано из оригинала 2022-07-14.