Логит

Функция в статистике

График logit( x ) в области от 0 до 1, где основание логарифма равно e .

В статистике логит ( / ˈ l oʊ dʒ ɪ t / LOH -jit ) функция является функцией квантиля , связанной со стандартным логистическим распределением . Он имеет множество применений в анализе данных и машинном обучении, особенно в преобразовании данных .

Математически логит является обратной стандартной логистической функцией , поэтому логит определяется как ${\displaystyle \sigma (x)=1/(1+e^{-x})}$

${\displaystyle \operatorname {logit} p=\sigma ^{-1}(p)=\ln {\frac {p}{1-p}}\quad {\text{for}}\quad p\in (0,1).}$

По этой причине логит также называют логарифмом шансов , поскольку он равен логарифму шансов , где p — вероятность. Таким образом, логит — это тип функции, которая отображает значения вероятности из в действительные числа в ^[1] , аналогично функции пробита . ${\displaystyle {\frac {p}{1-p}}}$ ${\displaystyle (0,1)}$ ${\displaystyle (-\infty ,+\infty )}$

Определение

Если p — вероятность , то p /(1 − p ) — соответствующие шансы ; логит вероятности - это логарифм шансов, т.е.:

${\displaystyle \operatorname {logit} (p)=\ln \left({\frac {p}{1-p}}\right)=\ln(p)-\ln(1-p)=-\ln \left({\frac {1}{p}}-1\right)=2\operatorname {atanh} (2p-1).}$

Основание используемой функции логарифма не имеет большого значения в настоящей статье, если оно больше 1, но наиболее часто используется натуральный логарифм с основанием e . Выбор базы соответствует выбору логарифмической единицы для значения: база 2 соответствует шеннону , база  е — « нат », а база 10 — хартли ; эти единицы особенно используются в теоретико-информационных интерпретациях. Для каждого выбора базы функция logit принимает значения от отрицательной до положительной бесконечности.

«Логистическая» функция любого числа определяется обратным логитом : ${\displaystyle \alpha }$

${\displaystyle \operatorname {logit} ^{-1}(\alpha )=\operatorname {logistic} (\alpha )={\frac {1}{1+\exp(-\alpha )}}={\frac {\exp(\alpha )}{\exp(\alpha )+1}}={\frac {\tanh({\frac {\alpha }{2}})+1}{2}}}$

Разница между логитами двух вероятностей представляет собой логарифм отношения шансов ( R ), что обеспечивает сокращение для записи правильной комбинации отношений шансов только путем сложения и вычитания :

${\displaystyle \ln(R)=\ln \left({\frac {p_{1}/(1-p_{1})}{p_{2}/(1-p_{2})}}\right)=\ln \left({\frac {p_{1}}{1-p_{1}}}\right)-\ln \left({\frac {p_{2}}{1-p_{2}}}\right)=\operatorname {logit} (p_{1})-\operatorname {logit} (p_{2})\,.}$

История

Было предпринято несколько попыток адаптировать методы линейной регрессии к области, где выходными данными являются значения вероятности вместо любого действительного числа . Во многих случаях такие усилия были сосредоточены на моделировании этой проблемы путем сопоставления диапазона и последующего выполнения линейной регрессии на этих преобразованных значениях. В 1934 году Честер Иттнер Блисс использовал кумулятивную функцию нормального распределения для выполнения этого отображения и назвал свою модель пробитом (аббревиатурой от « вероятность без нее »). ^[2] Однако это требует больше вычислительных затрат. В 1944 году Джозеф Берксон использовал логарифм шансов и назвал эту функцию логит, сокращение от « логистическая единица » , следуя аналогии с пробитом: ^[3] ${\displaystyle (0,1)}$ ${\displaystyle (-\infty ,+\infty )}$ ${\displaystyle (0,1)}$ ${\displaystyle (-\infty ,+\infty )}$

Я использую этот термин [логит] вслед за Блиссом, который назвал аналогичную функцию, линейную для нормальной кривой, «пробитом». ${\displaystyle \ln p/q}$ ${\displaystyle x}$

Логарифмические коэффициенты широко использовались Чарльзом Сандерсом Пирсом (конец 19 века). ^[4] Г. А. Барнард в 1949 году ввёл широко используемый термин «логарифм шансов» ; ^{[5] [6]} логарифм шансов события — это логит вероятности события. ^[7] Барнард также ввел термин « лоды» как абстрактную форму «логарифма шансов», ^[8] но предположил, что «на практике обычно следует использовать термин «шансы», поскольку он более знаком в повседневной жизни». ^[9]

Использование и свойства

• Логит в логистической регрессии является частным случаем функции связи в обобщенной линейной модели : это каноническая функция связи для распределения Бернулли .
• Логит - функция является отрицательной производной двоичной функции энтропии .
• Логит также занимает центральное место в вероятностной модели измерения Раша , которая, помимо других областей , находит применение в психологической и образовательной оценке.
• Функцию обратного логита (т. е. логистическую функцию ) также иногда называют функцией выхода . ^[10]
• В эпидемиологии болезней растений логит используется для сопоставления данных с логистической моделью. Все три модели Гомпертца и мономолекулярной модели известны как модели семейства Ричардса.
• Функция логарифмических шансов вероятностей часто используется в алгоритмах оценки состояний ^[11] из-за ее численных преимуществ в случае малых вероятностей. Вместо умножения очень маленьких чисел с плавающей запятой вероятности логарифмических шансов можно просто суммировать для вычисления совместной вероятности (логарифмических шансов). ^{[12] [13]}

Сравнение с пробитом

Сравнение логит-функции с масштабированным пробитом (т.е. обратным CDF нормального распределения ), сравнение с , что делает наклоны одинаковыми в начале координат y . ${\displaystyle \operatorname {logit} (x)}$ ${\displaystyle {\tfrac {\Phi ^{-1}(x)}{\,{\sqrt {\pi /8\,}}\,}}}$

С функцией логит (и моделью логит ) тесно связаны пробит-функция и пробит-модель . Логит и пробит являются сигмовидными функциями с областью значений от 0 до 1, что делает их обе квантильными функциями , то есть обратными кумулятивной функции распределения (CDF) распределения вероятностей . Фактически, логит — это функция квантиля логистического распределения , а пробит — функция квантиля нормального распределения . Обозначается пробит-функция , где – CDF стандартного нормального распределения, как только что упоминалось: ${\displaystyle \Phi ^{-1}(x)}$ ${\displaystyle \Phi (x)}$

${\displaystyle \Phi (x)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}e^{-y^{2}/2}dy.}$

Как показано на графике справа, функции логит и пробит очень похожи, когда функция пробит масштабируется так, что ее наклон при y = 0 соответствует наклону логит . В результате пробит-модели иногда используются вместо логит-моделей , поскольку для некоторых приложений (например, в байесовской статистике ) реализация проще.

Смотрите также

• Сигмовидная функция , обратная логит-функции
• Дискретный выбор двоичного логита, полиномиального логита, условного логита, вложенного логита, смешанного логита, разнесенного логита и упорядоченного логита.
• Ограниченная зависимая переменная
• Логит-анализ в маркетинге
• Полиномиальный логит
• Оги , кривая аналогичной формы
• Персептрон
• Probit , еще одна функция с тем же доменом и диапазоном, что и logit.
• Ридит подсчет очков
• Преобразование данных (статистика)
• Арксин (преобразование)
• Модель Раша

Рекомендации

1. «Логит/Пробит» (PDF) .
2. Дж. С. Крамер (2003). «Истоки и развитие логит-модели» (PDF) . Кембриджский университет.
3. Берксон 1944, с. 361, сноска 2.
4. Стиглер, Стивен М. (1986). История статистики: измерение неопределенности до 1900 года . Кембридж, Массачусетс: Belknap Press издательства Гарвардского университета. ISBN 978-0-674-40340-6.
5. Хильбе, Джозеф М. (2009), Модели логистической регрессии, CRC Press, стр. 3, ISBN 9781420075779.
6. Барнард 1949, с. 120.
7. Крамер, Дж. С. (2003), Логит-модели из экономики и других областей, Cambridge University Press, стр. 13, ISBN 9781139438193.
8. Барнард 1949, с. 120 128.
9. Барнард 1949, с. 136.
10. «R: Обратная логит-функция» . Архивировано из оригинала 6 июля 2011 г. Проверено 18 февраля 2011 г.
11. Трун, Себастьян (2003). «Изучение сеточных карт занятости с помощью моделей прямых датчиков». Автономные роботы . 15 (2): 111–127. дои : 10.1023/А: 1025584807625. ISSN  0929-5593. S2CID  2279013.
12. Стайлер, Алекс (2012). «Статистические методы в робототехнике» (PDF) . п. 2 . Проверено 26 января 2017 г.
13. Дикманн, Дж.; Аппенродт, Н.; Клаппштейн, Дж.; Блохер, Х.Л.; Мунцигер, М.; Зайлер, А.; Хан, М.; Бренк, К. (01 января 2015 г.). «Заставить Берту видеть еще больше: вклад радара». Доступ IEEE . 3 : 1233–1247. дои : 10.1109/ACCESS.2015.2454533 . ISSN  2169-3536.

• Берксон, Джозеф (1944). «Применение логистической функции к биоанализу». Журнал Американской статистической ассоциации . 39 (227 (сентябрь)): 357–365. дои : 10.2307/2280041. JSTOR  2280041.
• Барнард, Джордж Альфред (1949). "Статистические выводы". Журнал Королевского статистического общества . Б. 11 (2): 115–149. JSTOR  2984075.

Внешние ссылки

• Какая функция связи — Logit, Probit или Cloglog? 12.04.2023

дальнейшее чтение

• Эштон, Уинифред Д. (1972). Логит-преобразование: с особым акцентом на его использование в биоанализе . Статистические монографии и курсы Гриффина. Том. 32. Чарльз Гриффин. ISBN 978-0-85264-212-2.