Логит

Функция в статистике

График logit( x ) в области от 0 до 1, где основание логарифма равно e .

В статистике функция logit ( / ˈl oʊ dʒ ɪ t / LOH -jit ) является функцией квантиля , связанной со стандартным логистическим распределением . Она имеет множество применений в анализе данных и машинном обучении , особенно в преобразованиях данных .

Математически логит является обратной функцией стандартной логистической функции , поэтому логит определяется как ${\displaystyle \sigma (x)=1/(1+e^{-x})}$

${\displaystyle \operatorname {logit} p=\sigma ^{-1}(p)=\ln {\frac {p}{1-p}}\quad {\text{for}}\quad p\in (0,1).}$

Из-за этого логит также называется логарифмом шансов , поскольку он равен логарифму шансов , где p — вероятность. Таким образом, логит — это тип функции, которая отображает значения вероятности из в действительные числа в , ^[1] родственной функции пробит . ${\displaystyle {\frac {p}{1-p}}}$ ${\displaystyle (0,1)}$ ${\displaystyle (-\infty ,+\infty )}$

Определение

Если p — вероятность , то p /(1 − p ) — соответствующий коэффициент ; логарифм вероятности — это логарифм коэффициента, т.е.:

${\displaystyle \operatorname {logit} (p)=\ln \left({\frac {p}{1-p}}\right)=\ln(p)-\ln(1-p)=-\ln \left({\frac {1}{p}}-1\right)=2\operatorname {atanh} (2p-1).}$

Основание используемой логарифмической функции не имеет большого значения в настоящей статье, пока оно больше 1, но натуральный логарифм с основанием e используется чаще всего. Выбор основания соответствует выбору логарифмической единицы для значения: основание 2 соответствует шеннону , основание  e — « нат », а основание 10 — хартли ; эти единицы особенно используются в информационно-теоретических интерпретациях. Для каждого выбора основания функция логита принимает значения между отрицательной и положительной бесконечностью.

«Логистическая» функция любого числа задается обратной функцией логита : ${\displaystyle \alpha }$

${\displaystyle \operatorname {logit} ^{-1}(\alpha )=\operatorname {logistic} (\alpha )={\frac {1}{1+\exp(-\alpha )}}={\frac {\exp(\alpha )}{\exp(\alpha )+1}}={\frac {\tanh({\frac {\alpha }{2}})+1}{2}}}$

Разница между логарифмами двух вероятностей представляет собой логарифм отношения шансов ( R ), что позволяет в сокращенном виде записать правильную комбинацию отношений шансов только путем сложения и вычитания :

${\displaystyle \ln(R)=\ln \left({\frac {p_{1}/(1-p_{1})}{p_{2}/(1-p_{2})}}\right)=\ln \left({\frac {p_{1}}{1-p_{1}}}\right)-\ln \left({\frac {p_{2}}{1-p_{2}}}\right)=\operatorname {logit} (p_{1})-\operatorname {logit} (p_{2})\,.}$

История

Было изучено несколько подходов для адаптации методов линейной регрессии к области, где выход представляет собой значение вероятности , а не любое действительное число . Во многих случаях такие усилия были сосредоточены на моделировании этой проблемы путем сопоставления диапазона с и последующего запуска линейной регрессии на этих преобразованных значениях. ^[2] ${\displaystyle (0,1)}$ ${\displaystyle (-\infty ,+\infty )}$ ${\displaystyle (0,1)}$ ${\displaystyle (-\infty ,+\infty )}$

В 1934 году Честер Иттнер Блисс использовал кумулятивную функцию нормального распределения для выполнения этого отображения и назвал свою модель пробит , сокращение от « probability un it ». Это, однако, более затратно в вычислительном отношении. ^[2]

В 1944 году Джозеф Берксон использовал логарифм шансов и назвал эту функцию логит , сокращение от « логистическая единица » , следуя аналогии с пробит:

«Я использую этот термин [логит], следуя Блиссу, который назвал аналогичную функцию, линейную на ⁠ ⁠ для нормальной кривой, «пробит»». ${\displaystyle \ln p/q}$ ${\displaystyle x}$

—  Джозеф Берксон (1944) ^[3]

Логарифм шансов широко использовался Чарльзом Сандерсом Пирсом (конец 19 века). ^[4] GA Barnard в 1949 году ввел общеупотребительный термин log-odds ; ^{[5] [6]} логарифм шансов события — это логит вероятности события. ^[7] Barnard также ввел термин lods как абстрактную форму «log-odds», ^[8] но предположил, что «на практике обычно следует использовать термин „odds“, поскольку он более знаком в повседневной жизни». ^[9]

Использование и свойства

• Логит в логистической регрессии является частным случаем функции связи в обобщенной линейной модели : это каноническая функция связи для распределения Бернулли .
• Говоря более абстрактно, логит является естественным параметром для биномиального распределения ; см. Экспоненциальное семейство § Биномиальное распределение .
• Функция логита представляет собой отрицательную производную функции бинарной энтропии .
• Логит также играет центральную роль в вероятностной модели Раша для измерения , которая применяется, помимо прочего, в психологической и образовательной оценке.
• Функция обратного логита (т. е. логистическая функция ) также иногда называется функцией экспита . ^[10]
• В эпидемиологии болезней растений логистическая модель, модель Гомпертца и мономолекулярная модель известны под общим названием моделей семейства Ричардса.
• Функция логарифмических шансов вероятностей часто используется в алгоритмах оценки состояния ^[11] из-за ее численных преимуществ в случае малых вероятностей. Вместо того, чтобы умножать очень маленькие числа с плавающей точкой, логарифмические шансы вероятностей можно просто суммировать для вычисления (логарифмической шансов) совместной вероятности. ^{[12] [13]}

Сравнение с пробит

Сравнение функции логита с масштабированным пробитом (т.е. обратной функцией CDF нормального распределения ), сравнение с , что делает наклоны одинаковыми в начале координаты y . ${\displaystyle \operatorname {logit} (x)}$ ${\displaystyle {\tfrac {\Phi ^{-1}(x)}{\,{\sqrt {\pi /8\,}}\,}}}$

Тесно связанными с функцией логита (и моделью логита ) являются функция пробита и модель пробита . Логит и пробит являются сигмоидальными функциями с областью определения от 0 до 1, что делает их обе функциями квантилей – т.е. обратными функциям кумулятивного распределения (CDF) распределения вероятностей . Фактически, логит является функцией квантиля логистического распределения , в то время как пробит является функцией квантиля нормального распределения . Функция пробита обозначается , где – CDF стандартного нормального распределения, как только что было упомянуто: ${\displaystyle \Phi ^{-1}(x)}$ ${\displaystyle \Phi (x)}$

${\displaystyle \Phi (x)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}e^{-y^{2}/2}dy.}$

Как показано на графике справа, функции логита и пробита чрезвычайно похожи, когда функция пробита масштабируется, так что ее наклон при y = 0 совпадает с наклоном логита . В результате, модели пробита иногда используются вместо моделей логита , потому что для определенных приложений (например, в теории отклика элемента ) реализация проще. ^[14]

Смотрите также

• Сигмоидальная функция , обратная логит-функции
• Дискретный выбор для бинарного логита, полиномиального логита, условного логита, вложенного логита, смешанного логита, развернутого логита и упорядоченного логита
• Ограниченная зависимая переменная
• Логит-анализ в маркетинге
• Мультиномиальный логит
• Ogee , кривая с похожей формой
• Персептрон
• Пробит , еще одна функция с тем же доменом и диапазоном, что и логит
• Ридит подсчет очков
• Преобразование данных (статистика)
• Арксинус (преобразование)
• модель Раша

Ссылки

1. "Логит/Пробит" (PDF) .
2. Cramer, JS (2003). "Истоки и развитие логит-модели" (PDF) . Cambridge UP.
3. Берксон 1944, стр. 361, сноска 2.
4. Стиглер, Стивен М. (1986). История статистики: измерение неопределенности до 1900 года . Кембридж, Массачусетс: Belknap Press of Harvard University Press. ISBN 978-0-674-40340-6.
5. Хильбе, Джозеф М. (2009), Модели логистической регрессии, CRC Press, стр. 3, ISBN 9781420075779.
6. Барнард 1949, стр. 120.
7. Крамер, Дж. С. (2003), Логит-модели из экономики и других областей, Cambridge University Press, стр. 13, ISBN 9781139438193.
8. Барнард 1949, стр. 120,128.
9. Барнард 1949, стр. 136.
10. "R: Обратная логарифмическая функция". Архивировано из оригинала 2011-07-06 . Получено 2011-02-18 .
11. Трун, Себастьян (2003). «Изучение карт сетки занятости с помощью моделей передних датчиков». Автономные роботы . 15 (2): 111–127. doi :10.1023/A:1025584807625. ISSN  0929-5593. S2CID  2279013.
12. Стайлер, Алекс (2012). "Статистические методы в робототехнике" (PDF) . стр. 2. Получено 26.01.2017 .
13. Дикманн, Дж.; Аппенродт, Н.; Клаппштейн, Дж.; Блёхер, Х. Л.; Мунтцингер, М.; Зайлер, А.; Хан, М.; Бренк, К. (01.01.2015). «Заставить Берту видеть еще больше: вклад радаров». IEEE Access . 3 : 1233–1247. Bibcode : 2015IEEEA...3.1233D. doi : 10.1109/ACCESS.2015.2454533 . ISSN  2169-3536.
14. Альберт, Джеймс Х. (2016). «Логит, пробит и другие функции отклика». Справочник по теории отклика элемента . Том два. Чепмен и Холл. стр. 3–22. doi :10.1201/b19166-1. ISBN 978-1-315-37364-5.

• Берксон, Джозеф (1944). «Применение логистической функции к биоанализу». Журнал Американской статистической ассоциации . 39 (227 (сентябрь)): 357–365. doi :10.2307/2280041. JSTOR  2280041.
• Барнард, Джордж Альфред (1949). «Статистический вывод». Журнал Королевского статистического общества . Б. 11 (2): 115–149. doi :10.1111/j.2517-6161.1949.tb00028.x. JSTOR  2984075.

Внешние ссылки

• Какая функция связи — Logit, Probit или Cloglog? 12.04.2023

Дальнейшее чтение

• Эштон, Уинифред Д. (1972). Логит-преобразование: с особым акцентом на его использование в биоанализе . Статистические монографии и курсы Гриффина. Том 32. Чарльз Гриффин. ISBN 978-0-85264-212-2.