Логистическая регрессия

Статистическая модель для бинарной зависимой переменной

Пример графика логистической регрессионной кривой, подобранной к данным. Кривая показывает предполагаемую вероятность сдачи экзамена (бинарная зависимая переменная) в зависимости от часов обучения (скалярная независимая переменная). См. § Пример для проработанных деталей.

В статистике логистическая модель (или логит-модель ) — это статистическая модель , которая моделирует логарифмические шансы события как линейную комбинацию одной или нескольких независимых переменных . В регрессионном анализе логистическая регрессия ^[1] (или логит-регрессия ) оценивает параметры логистической модели (коэффициенты в линейных или нелинейных комбинациях). В бинарной логистической регрессии есть одна бинарная зависимая переменная , кодируемая индикаторной переменной , где два значения помечены как «0» и «1», в то время как независимые переменные могут быть как бинарными переменными (два класса, кодируемые индикаторной переменной), так и непрерывными переменными (любое действительное значение). Соответствующая вероятность значения, помеченного как «1», может варьироваться от 0 (конечно, значение «0») до 1 (конечно, значение «1»), отсюда и маркировка; ^[2] функция, которая преобразует логарифмические шансы в вероятность, — это логистическая функция , отсюда и название. Единица измерения для шкалы логарифмических шансов называется логит , от log istic un it , отсюда и альтернативные названия. См. § Предыстория и § Определение для формальной математики, и § Пример для рабочего примера.

Бинарные переменные широко используются в статистике для моделирования вероятности наступления определенного класса или события, например, вероятности победы команды, здоровья пациента и т. д. (см. § Приложения), а логистическая модель является наиболее часто используемой моделью для бинарной регрессии примерно с 1970 года. ^[3] Бинарные переменные могут быть обобщены до категориальных переменных , когда существует более двух возможных значений (например, является ли изображение кошкой, собакой, львом и т. д.), а бинарная логистическая регрессия может быть обобщена до полиномиальной логистической регрессии . Если упорядочены множественные категории , можно использовать порядковую логистическую регрессию (например, порядковую логистическую модель пропорциональных шансов ^[4] ). См. § Расширения для получения дополнительных расширений. Сама по себе модель логистической регрессии просто моделирует вероятность выходных данных с точки зрения входных данных и не выполняет статистическую классификацию (она не является классификатором), хотя ее можно использовать для создания классификатора, например, выбрав пороговое значение и классифицируя входные данные с вероятностью, большей порогового значения, как один класс, а с вероятностью меньше порогового значения — как другой; это распространенный способ создания бинарного классификатора .

Аналогичные линейные модели для бинарных переменных с другой сигмоидальной функцией вместо логистической функции (для преобразования линейной комбинации в вероятность) также могут быть использованы, в частности, пробит-модель ; см. § Альтернативы. Определяющей характеристикой логистической модели является то, что увеличение одной из независимых переменных мультипликативно масштабирует шансы данного результата с постоянной скоростью, причем каждая независимая переменная имеет свой собственный параметр; для бинарной зависимой переменной это обобщает отношение шансов . Более абстрактно, логистическая функция является естественным параметром для распределения Бернулли , и в этом смысле является «самым простым» способом преобразования действительного числа в вероятность. В частности, она максимизирует энтропию (минимизирует добавленную информацию) и в этом смысле делает наименьшее количество предположений о моделируемых данных; см. § Максимальная энтропия.

Параметры логистической регрессии чаще всего оцениваются с помощью оценки максимального правдоподобия (MLE). Это не имеет замкнутой формы выражения, в отличие от линейных наименьших квадратов ; см. § Подгонка модели. Логистическая регрессия с помощью MLE играет такую ​​же основную роль для бинарных или категориальных ответов, как линейная регрессия с помощью обычных наименьших квадратов (OLS) для скалярных ответов: это простая, хорошо проанализированная базовая модель; см. § Сравнение с линейной регрессией для обсуждения. Логистическая регрессия как общая статистическая модель была первоначально разработана и популяризирована в первую очередь Джозефом Берксоном ^[5] , начиная с Берксона (1944), где он придумал «логит»; см. § История.

Приложения

Общий

Логистическая регрессия используется в различных областях, включая машинное обучение, большинство областей медицины и социальные науки. Например, шкала тяжести травм и повреждений ( TRISS ), которая широко используется для прогнозирования смертности у травмированных пациентов, была первоначально разработана Бойдом и др. с использованием логистической регрессии. ^[6] Многие другие медицинские шкалы, используемые для оценки тяжести состояния пациента, были разработаны с использованием логистической регрессии. ^{[7] [8] [9] [10]} Логистическая регрессия может использоваться для прогнозирования риска развития определенного заболевания (например, диабета ; ишемической болезни сердца ) на основе наблюдаемых характеристик пациента (возраст, пол, индекс массы тела , результаты различных анализов крови и т. д.). ^{[11] [12]} Другим примером может быть предсказание того, проголосует ли непальский избиратель за Непальский конгресс или Коммунистическую партию Непала или любую другую партию, на основе возраста, дохода, пола, расы, штата проживания, голосов на предыдущих выборах и т. д. ^[13] Этот метод также может использоваться в инженерии , особенно для прогнозирования вероятности сбоя данного процесса, системы или продукта. ^{[14] [15]} Он также используется в маркетинговых приложениях, таких как прогнозирование склонности клиента к покупке продукта или прекращению подписки и т. д. ^[16] В экономике его можно использовать для прогнозирования вероятности того, что человек окажется в рабочей силе, а бизнес-приложением будет прогнозирование вероятности дефолта домовладельца по ипотеке . Условные случайные поля , расширение логистической регрессии для последовательных данных, используются в обработке естественного языка . Специалисты по планированию действий в случае стихийных бедствий и инженеры полагаются на эти модели для прогнозирования решений, принимаемых домовладельцами или жильцами зданий при эвакуациях малого и большого масштаба, таких как пожары в зданиях, лесные пожары, ураганы и т. д. ^{[17] [18] [19]} Эти модели помогают в разработке надежных планов управления стихийными бедствиями и более безопасного проектирования для застроенной среды .

Контролируемое машинное обучение

Логистическая регрессия — это контролируемый алгоритм машинного обучения , широко используемый для задач бинарной классификации , таких как определение того, является ли электронное письмо спамом или нет, и диагностика заболеваний путем оценки наличия или отсутствия определенных состояний на основе результатов тестов пациентов. Этот подход использует логистическую (или сигмоидальную) функцию для преобразования линейной комбинации входных признаков в значение вероятности в диапазоне от 0 до 1. Эта вероятность указывает на вероятность того, что заданный вход соответствует одной из двух предопределенных категорий. Основной механизм логистической регрессии основан на способности логистической функции точно моделировать вероятность бинарных результатов. Благодаря своей отличительной S-образной кривой логистическая функция эффективно сопоставляет любое действительное число со значением в интервале от 0 до 1. Эта функция делает ее особенно подходящей для задач бинарной классификации, таких как сортировка электронных писем на «спам» или «не спам». Вычисляя вероятность того, что зависимая переменная будет отнесена к определенной группе, логистическая регрессия обеспечивает вероятностную структуру, которая поддерживает принятие обоснованных решений. ^[20]

Пример

Проблема

В качестве простого примера мы можем использовать логистическую регрессию с одной объясняющей переменной и двумя категориями, чтобы ответить на следующий вопрос:

Группа из 20 студентов тратит от 0 до 6 часов на подготовку к экзамену. Как количество часов, потраченных на подготовку, влияет на вероятность успешной сдачи экзамена студентом?

Причина использования логистической регрессии для этой задачи заключается в том, что значения зависимой переменной, pass и fail, хотя и представлены как «1» и «0», не являются кардинальными числами . Если бы задача была изменена таким образом, что pass/fail были заменены на оценку 0–100 (кардинальные числа), то можно было бы использовать простой регрессионный анализ .

В таблице указано количество часов, потраченных каждым студентом на учебу, а также сдали ли они экзамен (1) или не сдали (0).

Мы хотим подогнать логистическую функцию к данным, состоящим из изученных часов ( x _k ) и результата теста ( y _k  =1 для сдачи, 0 для не сдачи). Точки данных индексируются индексом k , который идет от до . Переменная x называется « объясняющей переменной », а переменная y называется « категориальной переменной », состоящей из двух категорий: «сдать» или «не сдать», соответствующих категориальным значениям 1 и 0 соответственно. ${\displaystyle k=1}$ ${\displaystyle k=K=20}$

Модель

График кривой логистической регрессии, подобранной к данным ( x _m , y _m ). Кривая показывает вероятность сдачи экзамена в зависимости от часов обучения.

Логистическая функция имеет вид:

${\displaystyle p(x)={\frac {1}{1+e^{-(x-\mu )/s}}}}$

где μ — параметр местоположения (средняя точка кривой, где ), а s — параметр масштаба . Это выражение можно переписать как: ${\displaystyle p(\mu )=1/2}$

${\displaystyle p(x)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x)}}}}$

где и известно как отсекаемый элемент (это отсекаемый элемент по вертикали или y -отсекаемый элемент линии ), и (обратный параметр масштаба или параметр скорости ): это отсекаемый элемент по оси y и наклон логарифмических коэффициентов как функции x . Наоборот, и . ${\displaystyle \beta _{0}=-\mu /s}$ ${\displaystyle y=\beta _{0}+\beta _{1}x}$ ${\displaystyle \beta _{1}=1/s}$ ${\displaystyle \mu =-\beta _{0}/\beta _{1}}$ ${\displaystyle s=1/\beta _{1}}$

Примечание: Эта модель на самом деле является упрощением, поскольку она предполагает, что все сдадут, если будут учиться достаточно долго (предел = 1). Предельное значение также должно быть переменным параметром, если вы хотите сделать его более реалистичным.

Соответствовать

Обычная мера качества соответствия для логистической регрессии использует логистические потери (или логарифмические потери ), отрицательное логарифмическое правдоподобие . Для заданных x _k и y _k запишите . ⁠ ⁠ — это вероятности того, что соответствующие ⁠ ⁠ будут равны единице, а ⁠ ⁠ — это вероятности того, что они будут равны нулю (см. распределение Бернулли ). Мы хотим найти значения ⁠ ⁠ и ⁠ ⁠, которые дают «наилучшее соответствие» данным. В случае линейной регрессии сумма квадратов отклонений соответствия от точек данных ( y _k ), квадрат ошибки потерь , принимается в качестве меры качества соответствия, и наилучшее соответствие получается, когда эта функция минимизируется . ${\displaystyle p_{k}=p(x_{k})}$ ${\displaystyle p_{k}}$ ${\displaystyle y_{k}}$ ${\displaystyle 1-p_{k}}$ ${\displaystyle \beta _{0}}$ ${\displaystyle \beta _{1}}$

Логарифм потерь для k -й точки ⁠ ⁠ ${\displaystyle \ell _{k}}$ равен:

${\displaystyle \ell _{k}={\begin{cases}-\ln p_{k}&{\text{ if }}y_{k}=1,\\-\ln(1-p_{k})&{\text{ if }}y_{k}=0.\end{cases}}}$

Логарифм потерь можно интерпретировать как « неожиданность » фактического результата ⁠ ⁠ ${\displaystyle y_{k}}$ относительно прогноза ⁠ ⁠ ${\displaystyle p_{k}}$ , и он является мерой информационного содержания . Логарифм потерь всегда больше или равен 0, равен 0 только в случае идеального прогноза (т. е. когда и , или и ) и стремится к бесконечности, когда прогноз ухудшается (т. е. когда и или и ), что означает, что фактический результат «более удивителен». Поскольку значение логистической функции всегда строго между нулем и единицей, логарифм потерь всегда больше нуля и меньше бесконечности. В отличие от линейной регрессии, где модель может иметь нулевые потери в точке, проходя через точку данных (и нулевые потери в целом, если все точки находятся на одной линии), в логистической регрессии невозможно иметь нулевые потери в любой точке, поскольку ⁠ ⁠ равно либо 0, либо 1, но ⁠ ⁠ . ${\displaystyle p_{k}=1}$ ${\displaystyle y_{k}=1}$ ${\displaystyle p_{k}=0}$ ${\displaystyle y_{k}=0}$ ${\displaystyle y_{k}=1}$ ${\displaystyle p_{k}\to 0}$ ${\displaystyle y_{k}=0}$ ${\displaystyle p_{k}\to 1}$ ${\displaystyle y_{k}}$ ${\displaystyle 0<p_{k}<1}$

Их можно объединить в одно выражение:

${\displaystyle \ell _{k}=-y_{k}\ln p_{k}-(1-y_{k})\ln(1-p_{k}).}$

Это выражение более формально известно как кросс-энтропия предсказанного распределения из фактического распределения , как распределения вероятностей на двухэлементном пространстве (пройдено, не пройдено). ${\displaystyle {\big (}p_{k},(1-p_{k}){\big )}}$ ${\displaystyle {\big (}y_{k},(1-y_{k}){\big )}}$

Сумма этих потерь, общие потери, представляет собой общую отрицательную логарифмическую вероятность ⁠ ⁠ ${\displaystyle -\ell }$ , и наилучшее соответствие получается для тех вариантов ⁠ ⁠ ${\displaystyle \beta _{0}}$ и ⁠ ⁠ , ${\displaystyle \beta _{1}}$для которых ⁠ ⁠ ${\displaystyle -\ell }$ минимизируется .

В качестве альтернативы, вместо минимизации потерь, можно максимизировать их обратную величину, (положительную) логарифмическую вероятность:

${\displaystyle \ell =\sum _{k:y_{k}=1}\ln(p_{k})+\sum _{k:y_{k}=0}\ln(1-p_{k})=\sum _{k=1}^{K}\left(\,y_{k}\ln(p_{k})+(1-y_{k})\ln(1-p_{k})\right)}$

или, что эквивалентно, максимизировать саму функцию правдоподобия , которая представляет собой вероятность того, что данный набор данных получен с помощью определенной логистической функции:

${\displaystyle L=\prod _{k:y_{k}=1}p_{k}\,\prod _{k:y_{k}=0}(1-p_{k})}$

Этот метод известен как оценка максимального правдоподобия .

Оценка параметров

Поскольку ℓ нелинейно по ⁠ ⁠ ${\displaystyle \beta _{0}}$ и ⁠ ⁠ ${\displaystyle \beta _{1}}$ , определение их оптимальных значений потребует численных методов. Один из методов максимизации ℓ состоит в требовании, чтобы производные ℓ по ⁠ ⁠ ${\displaystyle \beta _{0}}$ и ⁠ ⁠ ${\displaystyle \beta _{1}}$ были равны нулю:

${\displaystyle 0={\frac {\partial \ell }{\partial \beta _{0}}}=\sum _{k=1}^{K}(y_{k}-p_{k})}$

${\displaystyle 0={\frac {\partial \ell }{\partial \beta _{1}}}=\sum _{k=1}^{K}(y_{k}-p_{k})x_{k}}$

и процедура максимизации может быть выполнена путем решения двух приведенных выше уравнений для ⁠ ⁠ ${\displaystyle \beta _{0}}$ и ⁠ ⁠ ${\displaystyle \beta _{1}}$ , что, опять же, обычно требует использования численных методов.

Значения ⁠ ⁠ ${\displaystyle \beta _{0}}$ и ⁠ ⁠, ${\displaystyle \beta _{1}}$ которые максимизируют ℓ и L, используя приведенные выше данные, определяются следующим образом:

${\displaystyle \beta _{0}\approx -4.1}$

${\displaystyle \beta _{1}\approx 1.5}$

что дает значение для μ и s :

${\displaystyle \mu =-\beta _{0}/\beta _{1}\approx 2.7}$

${\displaystyle s=1/\beta _{1}\approx 0.67}$

Прогнозы

Коэффициенты ⁠ ⁠ ${\displaystyle \beta _{0}}$ и ⁠ ⁠ ${\displaystyle \beta _{1}}$ можно ввести в уравнение логистической регрессии для оценки вероятности успешной сдачи экзамена.

Например, для студента, который учится 2 часа, ввод значения в уравнение дает расчетную вероятность сдачи экзамена 0,25: ${\displaystyle x=2}$

${\displaystyle t=\beta _{0}+2\beta _{1}\approx -4.1+2\cdot 1.5=-1.1}$

${\displaystyle p={\frac {1}{1+e^{-t}}}\approx 0.25={\text{Probability of passing exam}}}$

Аналогично, для студента, который учится 4 часа, расчетная вероятность сдачи экзамена составляет 0,87:

${\displaystyle t=\beta _{0}+4\beta _{1}\approx -4.1+4\cdot 1.5=1.9}$

${\displaystyle p={\frac {1}{1+e^{-t}}}\approx 0.87={\text{Probability of passing exam}}}$

В данной таблице показана предполагаемая вероятность успешной сдачи экзамена для нескольких значений часов обучения.

Оценка модели

Логистический регрессионный анализ дает следующий результат.

По тесту Вальда выходные данные указывают на то, что часы обучения значительно связаны с вероятностью сдачи экзамена ( ). Вместо метода Вальда рекомендуемым методом ^[21] для расчета p -значения для логистической регрессии является тест отношения правдоподобия (LRT), который для этих данных дает (см. § Тесты отклонения и отношения правдоподобия ниже). ${\displaystyle p=0.017}$ ${\displaystyle p\approx 0.00064}$

Обобщения

Эта простая модель является примером бинарной логистической регрессии и имеет одну объясняющую переменную и бинарную категориальную переменную, которая может принимать одно из двух категориальных значений. Мультиномиальная логистическая регрессия является обобщением бинарной логистической регрессии для включения любого количества объясняющих переменных и любого количества категорий.

Фон

Рисунок 1. Стандартная логистическая функция ; для всех . ${\displaystyle \sigma (t)}$ ${\displaystyle \sigma (t)\in (0,1)}$ ${\displaystyle t}$

Определение логистической функции

Объяснение логистической регрессии можно начать с объяснения стандартной логистической функции . Логистическая функция — это сигмоидальная функция , которая принимает любые действительные входные данные и выводит значение от нуля до единицы. ^[2] Для логита это интерпретируется как принятие входных логарифмических шансов и получение выходной вероятности . Стандартная логистическая функция определяется следующим образом: ${\displaystyle t}$ ${\displaystyle \sigma :\mathbb {R} \rightarrow (0,1)}$

${\displaystyle \sigma (t)={\frac {e^{t}}{e^{t}+1}}={\frac {1}{1+e^{-t}}}}$

График логистической функции на интервале t (−6,6) представлен на рисунке 1.

Предположим, что является линейной функцией одной объясняющей переменной (случай, когда является линейной комбинацией нескольких объясняющих переменных, рассматривается аналогично). Тогда мы можем выразить это следующим образом: ${\displaystyle t}$ ${\displaystyle x}$ ${\displaystyle t}$ ${\displaystyle t}$

${\displaystyle t=\beta _{0}+\beta _{1}x}$

И общую логистическую функцию теперь можно записать как: ${\displaystyle p:\mathbb {R} \rightarrow (0,1)}$

${\displaystyle p(x)=\sigma (t)={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x)}}}}$

В логистической модели интерпретируется как вероятность того, что зависимая переменная равна успеху/случай, а не неудаче/неслучайности. Очевидно, что переменные отклика распределены не одинаково: отличаются от одной точки данных к другой, хотя они независимы, учитывая матрицу дизайна и общие параметры . ^[11] ${\displaystyle p(x)}$ ${\displaystyle Y}$ ${\displaystyle Y_{i}}$ ${\displaystyle P(Y_{i}=1\mid X)}$ ${\displaystyle X_{i}}$ ${\displaystyle X}$ ${\displaystyle \beta }$

Определение обратной логистической функции

Теперь мы можем определить функцию логарифма (логарифм шансов) как обратную стандартной логистической функции. Легко видеть, что она удовлетворяет: ${\displaystyle g=\sigma ^{-1}}$

${\displaystyle g(p(x))=\sigma ^{-1}(p(x))=\operatorname {logit} p(x)=\ln \left({\frac {p(x)}{1-p(x)}}\right)=\beta _{0}+\beta _{1}x,}$

и, что эквивалентно, после возведения в степень обеих сторон мы имеем коэффициенты:

${\displaystyle {\frac {p(x)}{1-p(x)}}=e^{\beta _{0}+\beta _{1}x}.}$

Толкование этих терминов

В приведенных выше уравнениях члены имеют следующий вид:

• ${\displaystyle g}$является функцией логита. Уравнение для иллюстрирует, что логит (т.е. логарифм шансов или натуральный логарифм шансов) эквивалентен выражению линейной регрессии. ${\displaystyle g(p(x))}$
• ${\displaystyle \ln }$обозначает натуральный логарифм .
• ${\displaystyle p(x)}$это вероятность того, что зависимая переменная равна случаю, учитывая некоторую линейную комбинацию предикторов. Формула для иллюстрирует, что вероятность того, что зависимая переменная равна случаю, равна значению логистической функции выражения линейной регрессии. Это важно, поскольку показывает, что значение выражения линейной регрессии может варьироваться от отрицательной до положительной бесконечности, и все же после преобразования результирующее выражение для вероятности находится в диапазоне от 0 до 1. ${\displaystyle p(x)}$ ${\displaystyle p(x)}$
• ${\displaystyle \beta _{0}}$является свободным членом уравнения линейной регрессии (значением критерия, когда предиктор равен нулю).
• ${\displaystyle \beta _{1}x}$— это коэффициент регрессии, умноженный на некоторое значение предиктора.
• основание обозначает показательную функцию. ${\displaystyle e}$

Определение коэффициентов

Шансы зависимой переменной, равной случаю (при некоторой линейной комбинации предикторов), эквивалентны экспоненциальной функции выражения линейной регрессии. Это иллюстрирует, как логит служит связующей функцией между вероятностью и выражением линейной регрессии. Учитывая, что логит колеблется между отрицательной и положительной бесконечностью, он обеспечивает адекватный критерий, на основании которого можно проводить линейную регрессию, и логит легко преобразуется обратно в шансы. ^[2] ${\displaystyle x}$

Итак, мы определяем шансы того, что зависимая переменная будет равна случаю (при некоторой линейной комбинации предикторов), следующим образом: ${\displaystyle x}$

${\displaystyle {\text{odds}}=e^{\beta _{0}+\beta _{1}x}.}$

Отношение шансов

Для непрерывной независимой переменной отношение шансов можно определить как:

Изображение представляет собой схему того, как выглядит отношение шансов в письменной форме, с помощью шаблона в дополнение к примеру оценки теста в разделе «Пример» содержания. Проще говоря, если мы гипотетически получим отношение шансов 2 к 1, мы можем сказать... «Для каждого увеличения часов обучения на одну единицу шансы сдать (группа 1) или провалить (группа 0) составляют (ожидаемо) 2 к 1 (Денис, 2019).

${\displaystyle \mathrm {OR} ={\frac {\operatorname {odds} (x+1)}{\operatorname {odds} (x)}}={\frac {\left({\frac {p(x+1)}{1-p(x+1)}}\right)}{\left({\frac {p(x)}{1-p(x)}}\right)}}={\frac {e^{\beta _{0}+\beta _{1}(x+1)}}{e^{\beta _{0}+\beta _{1}x}}}=e^{\beta _{1}}}$

Эта экспоненциальная зависимость дает интерпретацию для : шансы умножаются на для каждого увеличения x на 1 единицу. ^[22] ${\displaystyle \beta _{1}}$ ${\displaystyle e^{\beta _{1}}}$

Для двоичной независимой переменной отношение шансов определяется как, где a , b , c и d — ячейки в таблице сопряженности 2×2 . ^[23] ${\displaystyle {\frac {ad}{bc}}}$

Множественные объясняющие переменные

Если имеется несколько объясняющих переменных, приведенное выше выражение можно пересмотреть до . Затем, когда это используется в уравнении, связывающем логарифм шансов успеха со значениями предикторов, линейная регрессия будет множественной регрессией с m объясняющими переменными; все параметры для всех оцениваются. ${\displaystyle \beta _{0}+\beta _{1}x}$ ${\displaystyle \beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m}=\beta _{0}+\sum _{i=1}^{m}\beta _{i}x_{i}}$ ${\displaystyle \beta _{i}}$ ${\displaystyle i=0,1,2,\dots ,m}$

Опять же, более традиционные уравнения таковы:

${\displaystyle \log {\frac {p}{1-p}}=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m}}$

и

${\displaystyle p={\frac {1}{1+b^{-(\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{m}x_{m})}}}}$

где обычно . ${\displaystyle b=e}$

Определение

Набор данных содержит N точек. Каждая точка i состоит из набора m входных переменных x _{1, i} ... x _m,i (также называемых независимыми переменными , объясняющими переменными, предикторными переменными, признаками или атрибутами) и двоичной выходной переменной Y _i (также известной как зависимая переменная , переменная отклика, выходная переменная или класс), т. е. она может принимать только два возможных значения 0 (часто означающего «нет» или «неудача») или 1 (часто означающего «да» или «успех»). Цель логистической регрессии — использовать набор данных для создания прогностической модели выходной переменной.

Как и в линейной регрессии, предполагается, что выходные переменные Y _i зависят от объясняющих переменных x _{1, i} ... x _m,i .

Объяснительные переменные

Объясняющие переменные могут быть любого типа : действительные , бинарные , категориальные и т. д. Основное различие проводится между непрерывными переменными и дискретными переменными .

(Дискретные переменные, ссылающиеся на более чем два возможных варианта, обычно кодируются с помощью фиктивных переменных (или индикаторных переменных ), то есть для каждого возможного значения дискретной переменной создаются отдельные объясняющие переменные, принимающие значение 0 или 1, где 1 означает «переменная имеет заданное значение», а 0 означает «переменная не имеет этого значения».)

Переменные результата

Формально результаты Y _i описываются как распределенные по Бернулли данные, где каждый результат определяется ненаблюдаемой вероятностью p _i , которая специфична для данного результата, но связана с объясняющими переменными. Это может быть выражено в любой из следующих эквивалентных форм:

${\displaystyle {\begin{aligned}Y_{i}\mid x_{1,i},\ldots ,x_{m,i}\ &\sim \operatorname {Bernoulli} (p_{i})\\[5pt]\operatorname {\mathbb {E} } [Y_{i}\mid x_{1,i},\ldots ,x_{m,i}]&=p_{i}\\[5pt]\Pr(Y_{i}=y\mid x_{1,i},\ldots ,x_{m,i})&={\begin{cases}p_{i}&{\text{if }}y=1\\1-p_{i}&{\text{if }}y=0\end{cases}}\\[5pt]\Pr(Y_{i}=y\mid x_{1,i},\ldots ,x_{m,i})&=p_{i}^{y}(1-p_{i})^{(1-y)}\end{aligned}}}$

Значения этих четырех строк таковы:

1. Первая строка выражает распределение вероятностей каждого Y _i  : обусловленное объясняющими переменными, оно следует распределению Бернулли с параметрами p _i , вероятностью результата 1 для испытания i . Как отмечено выше, каждое отдельное испытание имеет свою собственную вероятность успеха, так же как каждое испытание имеет свои собственные объясняющие переменные. Вероятность успеха p _i не наблюдается, только результат отдельного испытания Бернулли с использованием этой вероятности.
2. Вторая строка выражает тот факт, что ожидаемое значение каждого Y _i равно вероятности успеха p _i , что является общим свойством распределения Бернулли. Другими словами, если мы проведем большое количество испытаний Бернулли, используя ту же вероятность успеха p _i , а затем возьмем среднее значение всех результатов 1 и 0, то результат будет близок к p _i . Это потому, что усреднение таким образом просто вычисляет долю увиденных успехов, которая, как мы ожидаем, сойдется к базовой вероятности успеха.
3. В третьей строке записана функция массы вероятности распределения Бернулли, определяющая вероятность увидеть каждый из двух возможных результатов.
4. Четвертая строка — это другой способ записи функции массы вероятности, который позволяет избежать необходимости писать отдельные случаи и более удобен для определенных типов вычислений. Это основано на том факте, что Y _i может принимать только значение 0 или 1. В каждом случае один из показателей будет равен 1, «выбирая» значение под ним, в то время как другой равен 0, «отменяя» значение под ним. Следовательно, результат равен либо p _{i ,} либо 1 −  p _i , как в предыдущей строке.

Линейная предикторная функция

Основная идея логистической регрессии заключается в использовании механизма, уже разработанного для линейной регрессии , путем моделирования вероятности p _i с использованием линейной предикторной функции , т. е. линейной комбинации объясняющих переменных и набора коэффициентов регрессии , которые являются специфическими для данной модели, но одинаковыми для всех испытаний. Линейная предикторная функция для конкретной точки данных i записывается как: ${\displaystyle f(i)}$

${\displaystyle f(i)=\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{m}x_{m,i},}$

где — коэффициенты регрессии, указывающие относительное влияние конкретной объясняющей переменной на результат. ${\displaystyle \beta _{0},\ldots ,\beta _{m}}$

Модель обычно представляется в более компактной форме следующим образом:

• Коэффициенты регрессии β ₀ , β ₁ , ..., β _m группируются в один вектор β размера m  + 1.
• Для каждой точки данных i добавляется дополнительная объясняющая псевдопеременная x _{0, i} с фиксированным значением 1, соответствующим коэффициенту пересечения β ₀ .
• Полученные объясняющие переменные x _{0, i} , x _{1, i} , ..., x _m,i затем группируются в один вектор X _i размера m  + 1.

Это позволяет записать функцию линейного предиктора следующим образом:

${\displaystyle f(i)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i},}$

используя обозначение скалярного произведения двух векторов.

Это пример выходных данных SPSS для модели логистической регрессии с использованием трех объясняющих переменных (употребление кофе в неделю, употребление энергетических напитков в неделю и употребление газированных напитков в неделю) и двух категорий (мужчины и женщины).

Множество объясняющих переменных, две категории

Приведенный выше пример бинарной логистической регрессии с одной объясняющей переменной можно обобщить до бинарной логистической регрессии с любым количеством объясняющих переменных x ₁ , x ₂ ,... и любым количеством категориальных значений . ${\displaystyle y=0,1,2,\dots }$

Для начала мы можем рассмотреть логистическую модель с M объясняющими переменными, x ₁ , x ₂ ... x _M и, как в примере выше, двумя категориальными значениями ( y = 0 и 1). Для простой бинарной модели логистической регрессии мы предположили линейную связь между предикторной переменной и логарифмическими шансами (также называемыми логит ) события, что . Эту линейную связь можно распространить на случай M объясняющих переменных: ${\displaystyle y=1}$

${\displaystyle t=\log _{b}{\frac {p}{1-p}}=\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}+\cdots +\beta _{M}x_{M}}$

где t — это логарифм-шансы, а — параметры модели. Было введено дополнительное обобщение, в котором основание модели ( b ) не ограничивается числом Эйлера e . В большинстве приложений основанием логарифма обычно считается e . Однако в некоторых случаях может быть проще сообщать результаты, работая в системе счисления с основанием 2 или 10. ${\displaystyle \beta _{i}}$ ${\displaystyle b}$

Для более компактной записи мы зададим объясняющие переменные и коэффициенты β как ⁠ ⁠ ${\displaystyle (M+1)}$ -мерные векторы:

${\displaystyle {\boldsymbol {x}}=\{x_{0},x_{1},x_{2},\dots ,x_{M}\}}$

${\displaystyle {\boldsymbol {\beta }}=\{\beta _{0},\beta _{1},\beta _{2},\dots ,\beta _{M}\}}$

с добавленной объясняющей переменной x ₀ = 1. Логит теперь можно записать как:

${\displaystyle t=\sum _{m=0}^{M}\beta _{m}x_{m}={\boldsymbol {\beta }}\cdot x}$

Решая уравнение для вероятности p, получаем : ${\displaystyle y=1}$

${\displaystyle p({\boldsymbol {x}})={\frac {b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}{1+b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}}={\frac {1}{1+b^{-{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}}=S_{b}(t)}$,

где - сигмоидальная функция с основанием . Вышеприведенная формула показывает, что как только фиксируются, мы можем легко вычислить либо логарифмические шансы того, что для данного наблюдения, либо вероятность того, что для данного наблюдения. Основной вариант использования логистической модели - получить наблюдение и оценить вероятность того, что . Оптимальные бета-коэффициенты снова могут быть найдены путем максимизации логарифмического правдоподобия. Для измерений K , определяемых как объясняющий вектор k -го измерения и как категориальный результат этого измерения, логарифмическое правдоподобие может быть записано в форме, очень похожей на простой случай выше: ${\displaystyle S_{b}}$ ${\displaystyle b}$ ${\displaystyle \beta _{m}}$ ${\displaystyle y=1}$ ${\displaystyle y=1}$ ${\displaystyle {\boldsymbol {x}}}$ ${\displaystyle p({\boldsymbol {x}})}$ ${\displaystyle y=1}$ ${\displaystyle {\boldsymbol {x}}_{k}}$ ${\displaystyle y_{k}}$ ${\displaystyle M=1}$

${\displaystyle \ell =\sum _{k=1}^{K}y_{k}\log _{b}(p({\boldsymbol {x_{k}}}))+\sum _{k=1}^{K}(1-y_{k})\log _{b}(1-p({\boldsymbol {x_{k}}}))}$

Как и в простом примере выше, нахождение оптимальных параметров β потребует численных методов. Один полезный метод заключается в том, чтобы приравнять производные логарифмического правдоподобия относительно каждого из параметров β к нулю, что даст набор уравнений, которые будут выполняться при максимуме логарифмического правдоподобия:

${\displaystyle {\frac {\partial \ell }{\partial \beta _{m}}}=0=\sum _{k=1}^{K}y_{k}x_{mk}-\sum _{k=1}^{K}p({\boldsymbol {x}}_{k})x_{mk}}$

где x _mk — значение объясняющей переменной x _m из k-го измерения.

Рассмотрим пример с объясняющими переменными, , и коэффициентами , , и , которые были определены вышеуказанным методом. Если говорить конкретно, то модель такова: ${\displaystyle M=2}$ ${\displaystyle b=10}$ ${\displaystyle \beta _{0}=-3}$ ${\displaystyle \beta _{1}=1}$ ${\displaystyle \beta _{2}=2}$

${\displaystyle t=\log _{10}{\frac {p}{1-p}}=-3+x_{1}+2x_{2}}$

${\displaystyle p={\frac {b^{{\boldsymbol {\beta }}\cdot {\boldsymbol {x}}}}{1+b^{{\boldsymbol {\beta }}\cdot x}}}={\frac {b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}}{1+b^{\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2}}}}={\frac {1}{1+b^{-(\beta _{0}+\beta _{1}x_{1}+\beta _{2}x_{2})}}}}$,

где p — вероятность события, что . Это можно интерпретировать следующим образом: ${\displaystyle y=1}$

• ${\displaystyle \beta _{0}=-3}$является y -пересечением . Это логарифм шансов события , когда предикторы . Возводя в степень, мы можем увидеть, что когда шансы события, которые составляют 1 к 1000, или . Аналогично, вероятность события, когда можно вычислить как ${\displaystyle y=1}$ ${\displaystyle x_{1}=x_{2}=0}$ ${\displaystyle x_{1}=x_{2}=0}$ ${\displaystyle y=1}$ ${\displaystyle 10^{-3}}$ ${\displaystyle y=1}$ ${\displaystyle x_{1}=x_{2}=0}$ ${\displaystyle 1/(1000+1)=1/1001.}$
• ${\displaystyle \beta _{1}=1}$означает, что увеличение на 1 увеличивает логарифм шансов на . Таким образом, если увеличивается на 1, шансы увеличиваются в . Вероятность также увеличилась , но она не увеличилась настолько, насколько увеличились шансы. ${\displaystyle x_{1}}$ ${\displaystyle 1}$ ${\displaystyle x_{1}}$ ${\displaystyle y=1}$ ${\displaystyle 10^{1}}$ ${\displaystyle y=1}$
• ${\displaystyle \beta _{2}=2}$означает, что увеличение на 1 увеличивает логарифмические шансы на . Таким образом, если увеличивается на 1, шансы увеличиваются в множитель Обратите внимание, что влияние на логарифмические шансы в два раза больше, чем влияние , но влияние на шансы в 10 раз больше. Но влияние на вероятность не настолько больше , как в 10 раз больше, в 10 раз больше только влияние на шансы. ${\displaystyle x_{2}}$ ${\displaystyle 2}$ ${\displaystyle x_{2}}$ ${\displaystyle y=1}$ ${\displaystyle 10^{2}.}$ ${\displaystyle x_{2}}$ ${\displaystyle x_{1}}$ ${\displaystyle y=1}$

Мультиномиальная логистическая регрессия: множество объясняющих переменных и множество категорий

В приведенных выше случаях двух категорий (биномиальная логистическая регрессия) категории были проиндексированы как «0» и «1», и у нас было две вероятности: вероятность того, что результат был в категории 1, была задана как , а вероятность того, что результат был в категории 0, была задана как . Сумма этих вероятностей равна 1, что должно быть верно, поскольку «0» и «1» являются единственно возможными категориями в этой настройке. ${\displaystyle p({\boldsymbol {x}})}$ ${\displaystyle 1-p({\boldsymbol {x}})}$

В общем, если у нас есть ⁠ ⁠ ${\displaystyle M+1}$ объясняющие переменные (включая x ₀ ) и ⁠ ⁠ ${\displaystyle N+1}$ категории, нам понадобятся ⁠ ⁠ ${\displaystyle N+1}$ отдельные вероятности, по одной для каждой категории, проиндексированные n , которые описывают вероятность того, что категориальный результат y будет в категории y=n , обусловленной вектором ковариатов x . Сумма этих вероятностей по всем категориям должна быть равна 1. Используя математически удобную базу e , эти вероятности равны:

${\displaystyle p_{n}({\boldsymbol {x}})={\frac {e^{{\boldsymbol {\beta }}_{n}\cdot {\boldsymbol {x}}}}{1+\sum _{u=1}^{N}e^{{\boldsymbol {\beta }}_{u}\cdot {\boldsymbol {x}}}}}}$для ${\displaystyle n=1,2,\dots ,N}$

${\displaystyle p_{0}({\boldsymbol {x}})=1-\sum _{n=1}^{N}p_{n}({\boldsymbol {x}})={\frac {1}{1+\sum _{u=1}^{N}e^{{\boldsymbol {\beta }}_{u}\cdot {\boldsymbol {x}}}}}}$

Каждая из вероятностей, за исключением будет иметь свой собственный набор коэффициентов регрессии . Можно видеть, что, как и требуется, сумма всех категорий n равна 1. Выбор для определения в терминах других вероятностей является искусственным. Любая из вероятностей могла быть выбрана для определения таким образом. Это особое значение n называется «индексом опоры», а логарифмические шансы ( t _n ) выражаются в терминах вероятности опоры и снова выражаются как линейная комбинация объясняющих переменных: ${\displaystyle p_{0}({\boldsymbol {x}})}$ ${\displaystyle {\boldsymbol {\beta }}_{n}}$ ${\displaystyle p_{n}({\boldsymbol {x}})}$ ${\displaystyle p_{0}({\boldsymbol {x}})}$

${\displaystyle t_{n}=\ln \left({\frac {p_{n}({\boldsymbol {x}})}{p_{0}({\boldsymbol {x}})}}\right)={\boldsymbol {\beta }}_{n}\cdot {\boldsymbol {x}}}$

Также следует отметить, что для простого случая восстанавливается случай с двумя категориями, при этом и . ${\displaystyle N=1}$ ${\displaystyle p({\boldsymbol {x}})=p_{1}({\boldsymbol {x}})}$ ${\displaystyle p_{0}({\boldsymbol {x}})=1-p_{1}({\boldsymbol {x}})}$

Логарифмическое правдоподобие того, что определенный набор из K измерений или точек данных будет сгенерирован вышеуказанными вероятностями, теперь может быть вычислено. Индексируя каждое измерение по k , обозначим k -й набор измеренных объясняющих переменных как , а их категориальные результаты как , которые могут быть равны любому целому числу в [0,N]. Логарифмическое правдоподобие тогда равно: ${\displaystyle {\boldsymbol {x}}_{k}}$ ${\displaystyle y_{k}}$

${\displaystyle \ell =\sum _{k=1}^{K}\sum _{n=0}^{N}\Delta (n,y_{k})\,\ln(p_{n}({\boldsymbol {x}}_{k}))}$

где — индикаторная функция , равная 1, если y _k = n , и нулю в противном случае. В случае двух объясняющих переменных эта индикаторная функция была определена как y _k, когда n = 1, и 1-y _k, когда n = 0. Это было удобно, но не обязательно. ^[24] Опять же, оптимальные бета-коэффициенты могут быть найдены путем максимизации логарифмической функции правдоподобия, как правило, с использованием численных методов. Возможный метод решения — установить производные логарифмической функции правдоподобия по каждому бета-коэффициенту равными нулю и решить для бета-коэффициентов: ${\displaystyle \Delta (n,y_{k})}$

${\displaystyle {\frac {\partial \ell }{\partial \beta _{nm}}}=0=\sum _{k=1}^{K}\Delta (n,y_{k})x_{mk}-\sum _{k=1}^{K}p_{n}({\boldsymbol {x}}_{k})x_{mk}}$

где - m -й коэффициент вектора , а - m -я объясняющая переменная k -го измерения. После того, как бета-коэффициенты были оценены на основе данных, мы сможем оценить вероятность того, что любой последующий набор объясняющих переменных приведет к любой из возможных категорий результатов. ${\displaystyle \beta _{nm}}$ ${\displaystyle {\boldsymbol {\beta }}_{n}}$ ${\displaystyle x_{mk}}$

Интерпретации

Существуют различные эквивалентные спецификации и интерпретации логистической регрессии, которые вписываются в различные типы более общих моделей и допускают различные обобщения.

Как обобщенная линейная модель

Конкретная модель, используемая в логистической регрессии, которая отличает ее от стандартной линейной регрессии и от других типов регрессионного анализа, используемых для двоичных результатов, заключается в том, как вероятность конкретного результата связана с линейной предикторной функцией:

${\displaystyle \operatorname {logit} (\operatorname {\mathbb {E} } [Y_{i}\mid x_{1,i},\ldots ,x_{m,i}])=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)=\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{m}x_{m,i}}$

Записанное с использованием более компактной записи, описанной выше, это выглядит так:

${\displaystyle \operatorname {logit} (\operatorname {\mathbb {E} } [Y_{i}\mid \mathbf {X} _{i}])=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}$

Эта формулировка выражает логистическую регрессию как тип обобщенной линейной модели , которая предсказывает переменные с различными типами распределений вероятностей путем подгонки линейной предикторной функции вышеуказанной формы к некоторому произвольному преобразованию ожидаемого значения переменной.

Интуиция преобразования с использованием функции логита (натуральный логарифм шансов) была объяснена выше ^{[ необходимо разъяснение ]} . Она также имеет практический эффект преобразования вероятности (которая ограничена диапазоном от 0 до 1) в переменную, которая варьируется — тем самым сопоставляя потенциальный диапазон функции линейного прогнозирования в правой части уравнения. ${\displaystyle (-\infty ,+\infty )}$

Как вероятности p _{i ,} так и коэффициенты регрессии не наблюдаются, и средства их определения не являются частью самой модели. Обычно они определяются с помощью некоторой процедуры оптимизации, например, оценки максимального правдоподобия , которая находит значения, которые наилучшим образом соответствуют наблюдаемым данным (т. е. которые дают наиболее точные прогнозы для уже наблюдаемых данных), обычно с учетом условий регуляризации , которые стремятся исключить маловероятные значения, например, чрезвычайно большие значения для любого из коэффициентов регрессии. Использование условия регуляризации эквивалентно выполнению оценки максимума апостериори (MAP), расширения максимального правдоподобия. (Регуляризация чаще всего выполняется с использованием квадратичной регуляризирующей функции , что эквивалентно размещению гауссова априорного распределения с нулевым средним на коэффициентах, но возможны и другие регуляризаторы.) Независимо от того, используется регуляризация или нет, обычно невозможно найти решение в замкнутой форме; Вместо этого необходимо использовать итерационный численный метод, такой как итеративно перевзвешенный метод наименьших квадратов (IRLS) или, что более распространено в наши дни, квазиньютоновский метод , такой как метод L-BFGS . ^[25]

Интерпретация оценок параметра β _j заключается в том, что это аддитивный эффект на логарифм шансов для единичного изменения объясняющей переменной j . В случае дихотомической объясняющей переменной, например, пол является оценкой шансов получить результат, скажем, для мужчин по сравнению с женщинами. ${\displaystyle e^{\beta }}$

Эквивалентная формула использует обратную функцию логит, которая является логистической функцией , то есть:

${\displaystyle \operatorname {\mathbb {E} } [Y_{i}\mid \mathbf {X} _{i}]=p_{i}=\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})={\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}}$

Формулу можно также записать в виде распределения вероятностей (в частности, с использованием функции массы вероятности ):

${\displaystyle \Pr(Y_{i}=y\mid \mathbf {X} _{i})={p_{i}}^{y}(1-p_{i})^{1-y}=\left({\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{y}\left(1-{\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{1-y}={\frac {e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}\cdot y}}{1+e^{{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}}$

Как модель скрытых переменных

Логистическая модель имеет эквивалентную формулировку как модель с латентной переменной . Эта формулировка распространена в теории моделей дискретного выбора и облегчает ее распространение на некоторые более сложные модели с множественными коррелированными выборами, а также сравнение логистической регрессии с тесно связанной пробит-моделью .

Представьте себе, что для каждого испытания i существует непрерывная скрытая переменная Y _i ^* (т.е. ненаблюдаемая случайная величина ), которая распределена следующим образом:

${\displaystyle Y_{i}^{\ast }={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon _{i}\,}$

где

${\displaystyle \varepsilon _{i}\sim \operatorname {Logistic} (0,1)\,}$

т.е. скрытая переменная может быть записана непосредственно через линейную предикторную функцию и аддитивную случайную величину ошибки , которая распределена в соответствии со стандартным логистическим распределением .

Тогда Y _i можно рассматривать как индикатор того, является ли эта скрытая переменная положительной:

${\displaystyle Y_{i}={\begin{cases}1&{\text{if }}Y_{i}^{\ast }>0\ {\text{ i.e. }}{-\varepsilon _{i}}<{\boldsymbol {\beta }}\cdot \mathbf {X} _{i},\\0&{\text{otherwise.}}\end{cases}}}$

Выбор моделирования переменной ошибки конкретно со стандартным логистическим распределением, а не общим логистическим распределением с произвольными значениями местоположения и масштаба, кажется ограничительным, но на самом деле это не так. Следует иметь в виду, что мы можем сами выбирать коэффициенты регрессии и очень часто можем использовать их для компенсации изменений параметров распределения переменной ошибки. Например, логистическое распределение переменной ошибки с ненулевым параметром местоположения μ (который задает среднее значение) эквивалентно распределению с нулевым параметром местоположения, где μ был добавлен к коэффициенту отсекателя. Обе ситуации дают одно и то же значение для Y _i ^* независимо от настроек объясняющих переменных. Аналогично, произвольный параметр масштаба s эквивалентен установке параметра масштаба на 1 и последующему делению всех коэффициентов регрессии на s . В последнем случае результирующее значение Y _i ^* будет меньше в s раз , чем в первом случае, для всех наборов объясняющих переменных, но, что важно, оно всегда будет оставаться по одну и ту же сторону от 0 и, следовательно, приводить к одному и тому же выбору Y _i .

(Это позволяет предположить, что нерелевантность параметра масштаба может не проявиться в более сложных моделях, где доступно более двух вариантов.)

Оказывается, эта формулировка в точности эквивалентна предыдущей, сформулированной в терминах обобщенной линейной модели и без каких-либо скрытых переменных . Это можно показать следующим образом, используя тот факт, что кумулятивная функция распределения (CDF) стандартного логистического распределения является логистической функцией , которая является обратной функцией логит-функции , т.е.

${\displaystyle \Pr(\varepsilon _{i}<x)=\operatorname {logit} ^{-1}(x)}$

Затем:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1\mid \mathbf {X} _{i})&=\Pr(Y_{i}^{\ast }>0\mid \mathbf {X} _{i})\\[5pt]&=\Pr({\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon _{i}>0)\\[5pt]&=\Pr(\varepsilon _{i}>-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})\\[5pt]&=\Pr(\varepsilon _{i}<{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&&{\text{(because the logistic distribution is symmetric)}}\\[5pt]&=\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&\\[5pt]&=p_{i}&&{\text{(see above)}}\end{aligned}}}$

Эта формулировка, которая является стандартной в моделях дискретного выбора , проясняет связь между логистической регрессией («логит-моделью») и пробит-моделью , которая использует переменную ошибки, распределенную в соответствии со стандартным нормальным распределением вместо стандартного логистического распределения. Как логистическое, так и нормальное распределение симметричны с базовой унимодальной формой «колоколообразной кривой». Единственное отличие состоит в том, что логистическое распределение имеет несколько более тяжелые хвосты , что означает, что оно менее чувствительно к выпадающим данным (и, следовательно, несколько более устойчиво к неверным спецификациям модели или ошибочным данным).

Двусторонняя модель скрытых переменных

Еще одна формула использует две отдельные скрытые переменные:

${\displaystyle {\begin{aligned}Y_{i}^{0\ast }&={\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}+\varepsilon _{0}\,\\Y_{i}^{1\ast }&={\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}\,\end{aligned}}}$

где

${\displaystyle {\begin{aligned}\varepsilon _{0}&\sim \operatorname {EV} _{1}(0,1)\\\varepsilon _{1}&\sim \operatorname {EV} _{1}(0,1)\end{aligned}}}$

где EV _{1 (0,1) — это стандартное} распределение экстремальных значений типа 1 : т.е.

${\displaystyle \Pr(\varepsilon _{0}=x)=\Pr(\varepsilon _{1}=x)=e^{-x}e^{-e^{-x}}}$

Затем

${\displaystyle Y_{i}={\begin{cases}1&{\text{if }}Y_{i}^{1\ast }>Y_{i}^{0\ast },\\0&{\text{otherwise.}}\end{cases}}}$

Эта модель имеет отдельную скрытую переменную и отдельный набор коэффициентов регрессии для каждого возможного результата зависимой переменной. Причина такого разделения заключается в том, что это позволяет легко расширить логистическую регрессию до многорезультатных категориальных переменных, как в многочленной логит- модели. В такой модели естественно моделировать каждый возможный результат, используя другой набор коэффициентов регрессии. Также возможно мотивировать каждую из отдельных скрытых переменных как теоретическую полезность , связанную с принятием соответствующего выбора, и таким образом мотивировать логистическую регрессию в терминах теории полезности . (В терминах теории полезности рациональный субъект всегда выбирает выбор с наибольшей связанной полезностью.) Это подход, используемый экономистами при формулировании моделей дискретного выбора , поскольку он и обеспечивает теоретически прочную основу, и облегчает интуицию относительно модели, что, в свою очередь, позволяет легко рассматривать различные виды расширений. (См. пример ниже.)

Выбор распределения экстремальных значений типа 1 кажется довольно произвольным, но он оправдывает математику, и его использование можно оправдать с помощью теории рационального выбора .

Оказывается, эта модель эквивалентна предыдущей модели, хотя это кажется неочевидным, поскольку теперь есть два набора коэффициентов регрессии и переменных ошибок, а переменные ошибок имеют разное распределение. Фактически, эта модель напрямую сводится к предыдущей с помощью следующих подстановок:

${\displaystyle {\boldsymbol {\beta }}={\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0}}$

${\displaystyle \varepsilon =\varepsilon _{1}-\varepsilon _{0}}$

Интуиция для этого исходит из того факта, что, поскольку мы выбираем на основе максимального из двух значений, имеет значение только их разность, а не точные значения — и это фактически удаляет одну степень свободы . Другим критическим фактом является то, что разность двух распределенных по экстремальным значениям переменных типа 1 является логистическим распределением, т. е. Мы можем продемонстрировать эквивалент следующим образом: ${\displaystyle \varepsilon =\varepsilon _{1}-\varepsilon _{0}\sim \operatorname {Logistic} (0,1).}$

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1\mid \mathbf {X} _{i})={}&\Pr \left(Y_{i}^{1\ast }>Y_{i}^{0\ast }\mid \mathbf {X} _{i}\right)&\\[5pt]={}&\Pr \left(Y_{i}^{1\ast }-Y_{i}^{0\ast }>0\mid \mathbf {X} _{i}\right)&\\[5pt]={}&\Pr \left({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}-\left({\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}+\varepsilon _{0}\right)>0\right)&\\[5pt]={}&\Pr \left(({\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}-{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i})+(\varepsilon _{1}-\varepsilon _{0})>0\right)&\\[5pt]={}&\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0})\cdot \mathbf {X} _{i}+(\varepsilon _{1}-\varepsilon _{0})>0)&\\[5pt]={}&\Pr(({\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0})\cdot \mathbf {X} _{i}+\varepsilon >0)&&{\text{(substitute }}\varepsilon {\text{ as above)}}\\[5pt]={}&\Pr({\boldsymbol {\beta }}\cdot \mathbf {X} _{i}+\varepsilon >0)&&{\text{(substitute }}{\boldsymbol {\beta }}{\text{ as above)}}\\[5pt]={}&\Pr(\varepsilon >-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&&{\text{(now, same as above model)}}\\[5pt]={}&\Pr(\varepsilon <{\boldsymbol {\beta }}\cdot \mathbf {X} _{i})&\\[5pt]={}&\operatorname {logit} ^{-1}({\boldsymbol {\beta }}\cdot \mathbf {X} _{i})\\[5pt]={}&p_{i}\end{aligned}}}$

Пример

В качестве примера рассмотрим выборы на уровне провинции, где выбор делается между правоцентристской партией, левоцентристской партией и сепаратистской партией (например, Parti Québécois , которая хочет, чтобы Квебек отделился от Канады ). Затем мы бы использовали три скрытые переменные, по одной для каждого выбора. Затем, в соответствии с теорией полезности , мы можем интерпретировать скрытые переменные как выражение полезности , которая является результатом принятия каждого из выборов. Мы также можем интерпретировать коэффициенты регрессии как указание силы, которую связанный фактор (т. е. объясняющая переменная) имеет в содействии полезности — или, точнее, величину, на которую единичное изменение объясняющей переменной изменяет полезность данного выбора. Избиратель может ожидать, что правоцентристская партия снизит налоги, особенно для богатых людей. Это не принесет людям с низким доходом никакой выгоды, т. е. никакого изменения полезности (поскольку они обычно не платят налоги); принесет умеренную выгоду (т. е. несколько больше денег или умеренное увеличение полезности) для людей со средним доходом; принесет значительную выгоду для людей с высоким доходом. С другой стороны, можно было бы ожидать, что левоцентристская партия повысит налоги и компенсирует это увеличением благосостояния и другой помощью для низших и средних классов. Это принесет значительную положительную выгоду людям с низким доходом, возможно, слабую выгоду людям со средним доходом и значительную отрицательную выгоду людям с высоким доходом. Наконец, сепаратистская партия не предпримет никаких прямых действий в экономике, а просто отделится. Избиратель с низким или средним доходом может ожидать в основном неясного выигрыша или потери полезности от этого, но избиратель с высоким доходом может ожидать отрицательной полезности, поскольку он/она, вероятно, будет владеть компаниями, которым будет сложнее вести бизнес в такой среде и, вероятно, потеряет деньги.

Эти интуиции можно выразить следующим образом:

Это ясно показывает, что

1. Для каждого выбора должны существовать отдельные наборы коэффициентов регрессии. Если выразить это в терминах полезности, это можно увидеть очень легко. Различные варианты оказывают разное влияние на чистую полезность; более того, влияние варьируется сложным образом, который зависит от характеристик каждого человека, поэтому должны быть отдельные наборы коэффициентов для каждой характеристики, а не просто одна дополнительная характеристика на выбор.
2. Хотя доход является непрерывной переменной, его влияние на полезность слишком сложно, чтобы рассматривать его как одну переменную. Либо его нужно напрямую разбить на диапазоны, либо нужно добавить более высокие степени дохода, чтобы полиномиальная регрессия по доходу была эффективно выполнена.

Как «логарифмически-линейная» модель

Еще одна формулировка объединяет двухфакторную формулировку скрытых переменных, представленную выше, с исходной формулой выше без скрытых переменных и в процессе обеспечивает ссылку на одну из стандартных формулировок полиномиального логита .

Здесь вместо того, чтобы записывать логарифм вероятностей p _i как линейный предиктор, мы разделяем линейный предиктор на два, по одному для каждого из двух результатов:

${\displaystyle {\begin{aligned}\ln \Pr(Y_{i}=0)&={\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}-\ln Z\\\ln \Pr(Y_{i}=1)&={\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}-\ln Z\end{aligned}}}$

Были введены два отдельных набора коэффициентов регрессии, как и в двухфакторной модели скрытых переменных, и два уравнения представляют собой форму, которая записывает логарифм связанной вероятности как линейный предиктор с дополнительным членом в конце. Этот член, как оказалось, служит нормализующим фактором, гарантируя, что результат является распределением. Это можно увидеть, возведя обе стороны в степень: ${\displaystyle -\ln Z}$

${\displaystyle {\begin{aligned}\Pr(Y_{i}=0)&={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}\\[5pt]\Pr(Y_{i}=1)&={\frac {1}{Z}}e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}\end{aligned}}}$

В этой форме ясно, что цель Z — гарантировать, что результирующее распределение по Y _i на самом деле является распределением вероятностей , т.е. его сумма равна 1. Это означает, что Z — это просто сумма всех ненормализованных вероятностей, и при делении каждой вероятности на Z вероятности становятся « нормализованными ». То есть:

${\displaystyle Z=e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}$

и полученные уравнения:

${\displaystyle {\begin{aligned}\Pr(Y_{i}=0)&={\frac {e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}\\[5pt]\Pr(Y_{i}=1)&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

Или в общем:

${\displaystyle \Pr(Y_{i}=c)={\frac {e^{{\boldsymbol {\beta }}_{c}\cdot \mathbf {X} _{i}}}{\sum _{h}e^{{\boldsymbol {\beta }}_{h}\cdot \mathbf {X} _{i}}}}}$

Это наглядно показывает, как обобщить эту формулировку для более чем двух результатов, как в мультиномиальном логите . Эта общая формулировка — это в точности функция softmax, как в

${\displaystyle \Pr(Y_{i}=c)=\operatorname {softmax} (c,{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i},{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i},\dots ).}$

Чтобы доказать, что это эквивалентно предыдущей модели, указанная выше модель переопределена, в том смысле, что она не может быть независимо определена: скорее , знание одного автоматически определяет другое. В результате модель неидентифицируема , в том смысле, что множественные комбинации β ₀ и β ₁ дадут одинаковые вероятности для всех возможных объясняющих переменных. Фактически, можно увидеть, что добавление любого постоянного вектора к ним обоим даст одинаковые вероятности: ${\displaystyle \Pr(Y_{i}=0)}$ ${\displaystyle \Pr(Y_{i}=1)}$ ${\displaystyle \Pr(Y_{i}=0)+\Pr(Y_{i}=1)=1}$

${\displaystyle {\begin{aligned}\Pr(Y_{i}=1)&={\frac {e^{({\boldsymbol {\beta }}_{1}+\mathbf {C} )\cdot \mathbf {X} _{i}}}{e^{({\boldsymbol {\beta }}_{0}+\mathbf {C} )\cdot \mathbf {X} _{i}}+e^{({\boldsymbol {\beta }}_{1}+\mathbf {C} )\cdot \mathbf {X} _{i}}}}\\[5pt]&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}e^{\mathbf {C} \cdot \mathbf {X} _{i}}}}\\[5pt]&={\frac {e^{\mathbf {C} \cdot \mathbf {X} _{i}}e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{\mathbf {C} \cdot \mathbf {X} _{i}}(e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}})}}\\[5pt]&={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}.\end{aligned}}}$

В результате мы можем упростить дело и восстановить идентифицируемость, выбрав произвольное значение для одного из двух векторов. Мы выбираем установить Тогда, ${\displaystyle {\boldsymbol {\beta }}_{0}=\mathbf {0} .}$

${\displaystyle e^{{\boldsymbol {\beta }}_{0}\cdot \mathbf {X} _{i}}=e^{\mathbf {0} \cdot \mathbf {X} _{i}}=1}$

и так

${\displaystyle \Pr(Y_{i}=1)={\frac {e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}{1+e^{{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}={\frac {1}{1+e^{-{\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}}}}=p_{i}}$

что показывает, что эта формулировка действительно эквивалентна предыдущей формулировке. (Как и в формулировке с двухфакторной скрытой переменной, любые настройки, где дадут эквивалентные результаты.) ${\displaystyle {\boldsymbol {\beta }}={\boldsymbol {\beta }}_{1}-{\boldsymbol {\beta }}_{0}}$

Большинство обработок модели мультиномиального логита начинаются либо с расширения "логарифмически линейной" формулировки, представленной здесь, либо с двухфакторной латентной переменной формулировки, представленной выше, поскольку обе ясно показывают, как модель может быть расширена для многофакторных результатов. В целом, представление со скрытыми переменными более распространено в эконометрике и политологии , где царят модели дискретного выбора и теория полезности , в то время как "логарифмически линейная" формулировка здесь более распространена в компьютерной науке , например, машинном обучении и обработке естественного языка .

Как однослойный персептрон

Модель имеет эквивалентную формулировку

${\displaystyle p_{i}={\frac {1}{1+e^{-(\beta _{0}+\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i})}}}.\,}$

Эту функциональную форму обычно называют однослойным персептроном или однослойной искусственной нейронной сетью . Однослойная нейронная сеть вычисляет непрерывный выход вместо ступенчатой ​​функции . Производная p _i по X  = ( x ₁ , ..., x _k ) вычисляется из общей формы:

${\displaystyle y={\frac {1}{1+e^{-f(X)}}}}$

где f ( X ) — аналитическая функция в X . При таком выборе однослойная нейронная сеть идентична модели логистической регрессии. Эта функция имеет непрерывную производную, что позволяет использовать ее в обратном распространении . Эта функция также предпочтительна, поскольку ее производная легко вычисляется:

${\displaystyle {\frac {\mathrm {d} y}{\mathrm {d} X}}=y(1-y){\frac {\mathrm {d} f}{\mathrm {d} X}}.\,}$

С точки зрения биномиальных данных

Тесно связанная модель предполагает, что каждое i связано не с одним испытанием Бернулли, а с n _i независимыми одинаково распределенными испытаниями, где наблюдение Y _i представляет собой число наблюдаемых успехов (сумма отдельных распределенных по Бернулли случайных величин), и, следовательно, следует биномиальному распределению :

${\displaystyle Y_{i}\,\sim \operatorname {Bin} (n_{i},p_{i}),{\text{ for }}i=1,\dots ,n}$

Примером такого распределения является доля семян ( p _i ), которые прорастают после посадки n _{i .}

С точки зрения ожидаемых значений эта модель выражается следующим образом:

${\displaystyle p_{i}=\operatorname {\mathbb {E} } \left[\left.{\frac {Y_{i}}{n_{i}}}\,\right|\,\mathbf {X} _{i}\right]\,,}$

так что

${\displaystyle \operatorname {logit} \left(\operatorname {\mathbb {E} } \left[\left.{\frac {Y_{i}}{n_{i}}}\,\right|\,\mathbf {X} _{i}\right]\right)=\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)={\boldsymbol {\beta }}\cdot \mathbf {X} _{i}\,,}$

Или эквивалентно:

${\displaystyle \Pr(Y_{i}=y\mid \mathbf {X} _{i})={n_{i} \choose y}p_{i}^{y}(1-p_{i})^{n_{i}-y}={n_{i} \choose y}\left({\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{y}\left(1-{\frac {1}{1+e^{-{\boldsymbol {\beta }}\cdot \mathbf {X} _{i}}}}\right)^{n_{i}-y}\,.}$

Эту модель можно подогнать, используя те же методы, что и приведенную выше более простую модель.

Подгонка модели

Оценка максимального правдоподобия (MLE)

Коэффициенты регрессии обычно оцениваются с использованием оценки максимального правдоподобия . ^{[26] [27]} В отличие от линейной регрессии с нормально распределенными остатками, невозможно найти выражение в замкнутой форме для значений коэффициентов, которые максимизируют функцию правдоподобия, поэтому вместо этого необходимо использовать итерационный процесс; например, метод Ньютона . Этот процесс начинается с предварительного решения, немного пересматривает его, чтобы посмотреть, можно ли его улучшить, и повторяет этот пересмотр до тех пор, пока не будет сделано больше улучшений, в этот момент говорят, что процесс сошёлся. ^[26]

В некоторых случаях модель может не достичь сходимости. Несходимость модели указывает на то, что коэффициенты не имеют смысла, поскольку итерационный процесс не смог найти подходящие решения. Неспособность сходимости может возникнуть по ряду причин: большое отношение предикторов к случаям, мультиколлинеарность , разреженность или полное разделение .

• Большое отношение переменных к случаям приводит к чрезмерно консервативной статистике Вальда (обсуждается ниже) и может привести к неконвергенции. Регуляризованная логистическая регрессия специально предназначена для использования в этой ситуации.
• Мультиколлинеарность относится к неприемлемо высоким корреляциям между предикторами. По мере увеличения мультиколлинеарности коэффициенты остаются несмещенными, но стандартные ошибки увеличиваются, а вероятность сходимости модели уменьшается. ^[26] Чтобы обнаружить мультиколлинеарность среди предикторов, можно провести линейный регрессионный анализ с интересующими предикторами с единственной целью — изучить статистику толерантности ^[26], используемую для оценки того, является ли мультиколлинеарность неприемлемо высокой.
• Разреженность данных означает наличие большой доли пустых ячеек (ячеек с нулевыми значениями). Нулевые значения ячеек особенно проблематичны для категориальных предикторов. С непрерывными предикторами модель может выводить значения для нулевых значений ячеек, но это не относится к категориальным предикторам. Модель не будет сходиться с нулевыми значениями ячеек для категориальных предикторов, поскольку натуральный логарифм нуля является неопределенным значением, поэтому окончательное решение модели не может быть достигнуто. Чтобы решить эту проблему, исследователи могут свернуть категории теоретически значимым способом или добавить константу ко всем ячейкам. ^[26]
• Другая численная проблема, которая может привести к отсутствию сходимости, — это полное разделение, которое относится к случаю, когда предикторы идеально предсказывают критерий — все случаи точно классифицированы, а вероятность максимизирована с бесконечными коэффициентами. В таких случаях следует пересмотреть данные, так как может быть какая-то ошибка. ^{[2] [ необходимо дополнительное объяснение ]}
• Можно также использовать полупараметрические или непараметрические подходы, например, с помощью методов локальной вероятности или непараметрических методов квазиправдоподобия, которые избегают предположений о параметрической форме для индексной функции и являются устойчивыми к выбору функции связи (например, пробит или логит). ^[28]

Итеративно перевзвешенные наименьшие квадраты (IRLS)

Бинарная логистическая регрессия ( или ) может, например, быть рассчитана с использованием итеративно перевзвешенных наименьших квадратов (IRLS), что эквивалентно максимизации логарифмического правдоподобия распределенного процесса Бернулли с использованием метода Ньютона . Если задача записана в векторно-матричной форме с параметрами , объясняющими переменными и ожидаемым значением распределения Бернулли , параметры можно найти с помощью следующего итерационного алгоритма: ${\displaystyle y=0}$ ${\displaystyle y=1}$ ${\displaystyle \mathbf {w} ^{T}=[\beta _{0},\beta _{1},\beta _{2},\ldots ]}$ ${\displaystyle \mathbf {x} (i)=[1,x_{1}(i),x_{2}(i),\ldots ]^{T}}$ ${\displaystyle \mu (i)={\frac {1}{1+e^{-\mathbf {w} ^{T}\mathbf {x} (i)}}}}$ ${\displaystyle \mathbf {w} }$

${\displaystyle \mathbf {w} _{k+1}=\left(\mathbf {X} ^{T}\mathbf {S} _{k}\mathbf {X} \right)^{-1}\mathbf {X} ^{T}\left(\mathbf {S} _{k}\mathbf {X} \mathbf {w} _{k}+\mathbf {y} -\mathbf {\boldsymbol {\mu }} _{k}\right)}$

где — диагональная весовая матрица, вектор ожидаемых значений, ${\displaystyle \mathbf {S} =\operatorname {diag} (\mu (i)(1-\mu (i)))}$ ${\displaystyle {\boldsymbol {\mu }}=[\mu (1),\mu (2),\ldots ]}$

${\displaystyle \mathbf {X} ={\begin{bmatrix}1&x_{1}(1)&x_{2}(1)&\ldots \\1&x_{1}(2)&x_{2}(2)&\ldots \\\vdots &\vdots &\vdots \end{bmatrix}}}$

Матрица регрессора и вектор переменных отклика. Более подробную информацию можно найти в литературе. ^[29] ${\displaystyle \mathbf {y} (i)=[y(1),y(2),\ldots ]^{T}}$

байесовский

Сравнение логистической функции с масштабированной обратной пробит-функцией (т.е. CDF нормального распределения ), сравнение с , что делает наклоны одинаковыми в начале координат. Это показывает более тяжелые хвосты логистического распределения. ${\displaystyle \sigma (x)}$ ${\textstyle \Phi ({\sqrt {\frac {\pi }{8}}}x)}$

В контексте байесовской статистики априорные распределения обычно размещаются на коэффициентах регрессии, например, в форме гауссовых распределений . В логистической регрессии нет сопряженного априорного распределения функции правдоподобия . Когда байесовский вывод выполнялся аналитически, это затрудняло вычисление апостериорного распределения, за исключением очень низких размерностей. Теперь, однако, автоматическое программное обеспечение, такое как OpenBUGS , JAGS , PyMC , Stan или Turing.jl, позволяет вычислять эти апостериорные распределения с помощью моделирования, поэтому отсутствие сопряженности не является проблемой. Однако, когда размер выборки или количество параметров велики, полное байесовское моделирование может быть медленным, и люди часто используют приближенные методы, такие как вариационные байесовские методы и распространение ожидания .

«Правило десяти»

Широко используемое « правило одного из десяти » гласит, что модели логистической регрессии дают стабильные значения для объясняющих переменных, если они основаны как минимум на 10 событиях на объясняющую переменную (EPV); где событие обозначает случаи, относящиеся к менее частой категории в зависимой переменной. Таким образом, исследование, разработанное для использования объясняющих переменных для события (например, инфаркта миокарда ), которое, как ожидается, произойдет у части участников исследования, потребует общего числа участников. Однако существуют значительные споры о надежности этого правила, которое основано на имитационных исследованиях и не имеет надежной теоретической основы. ^[30] По мнению некоторых авторов ^[31], правило является чрезмерно консервативным в некоторых обстоятельствах, при этом авторы заявляют: «Если мы (несколько субъективно) считаем, что покрытие доверительного интервала менее 93 процентов, ошибка первого типа более 7 процентов или относительное смещение более 15 процентов являются проблематичными, наши результаты показывают, что проблемы довольно часты при 2–4 EPV, нечасты при 5–9 EPV и все еще наблюдаются при 10–16 EPV. Наихудшие случаи каждой проблемы не были серьезными при 5–9 EPV и обычно сопоставимы с таковыми при 10–16 EPV». ^[32] ${\displaystyle k}$ ${\displaystyle p}$ ${\displaystyle 10k/p}$

Другие обнаружили результаты, которые не согласуются с вышеизложенным, используя другие критерии. Полезным критерием является то, будет ли подобранная модель, как ожидается, достигать той же предиктивной дискриминации в новой выборке, которую она, как оказалось, достигла в выборке разработки модели. Для этого критерия может потребоваться 20 событий на одну кандидатную переменную. ^[33] Также можно утверждать, что 96 наблюдений необходимы только для оценки пересечения модели достаточно точно, чтобы погрешность в предсказанных вероятностях составляла ±0,1 с уровнем достоверности 0,95. ^[13]

Ошибка и значимость подгонки

Тест на отклонение и отношение правдоподобия ─ простой случай

В любой процедуре подгонки добавление другого параметра подгонки к модели (например, бета-параметров в модели логистической регрессии) почти всегда улучшит способность модели предсказывать измеренные результаты. Это будет верно даже в том случае, если дополнительный член не имеет предсказательной ценности, поскольку модель будет просто « переобучать » шум в данных. Возникает вопрос, является ли улучшение, полученное при добавлении другого параметра подгонки, достаточно значительным, чтобы рекомендовать включение дополнительного члена, или же это просто то улучшение, которого можно ожидать от переобучения.

Короче говоря, для логистической регрессии определяется статистика, известная как отклонение , которая является мерой ошибки между соответствием логистической модели и выходными данными. В пределе большого количества точек данных отклонение распределено по закону хи-квадрат , что позволяет реализовать тест хи-квадрат для определения значимости объясняющих переменных.

Линейная регрессия и логистическая регрессия имеют много общего. Например, в простой линейной регрессии набор из K точек данных ( x _k , y _k ) подгоняется под предлагаемую модельную функцию формы . Подгонка достигается путем выбора параметров b , которые минимизируют сумму квадратов остатков (квадрат ошибки) для каждой точки данных: ${\displaystyle y=b_{0}+b_{1}x}$

${\displaystyle \varepsilon ^{2}=\sum _{k=1}^{K}(b_{0}+b_{1}x_{k}-y_{k})^{2}.}$

Минимальное значение, которое составляет соответствие, будет обозначено как ${\displaystyle {\hat {\varepsilon }}^{2}}$

Можно ввести идею нулевой модели , в которой предполагается, что переменная x бесполезна для прогнозирования результатов y _k : Точки данных подгоняются под функцию нулевой модели вида y  =  b ₀ с квадратом ошибки:

${\displaystyle \varepsilon ^{2}=\sum _{k=1}^{K}(b_{0}-y_{k})^{2}.}$

Процесс подгонки состоит из выбора значения b ₀ , которое минимизирует подгонку к нулевой модели, обозначенной как , где нижний индекс обозначает нулевую модель. Видно, что нулевая модель оптимизирована с помощью , где — среднее значение значений y _k , а оптимизированное значение равно: ${\displaystyle \varepsilon ^{2}}$ ${\displaystyle \varepsilon _{\varphi }^{2}}$ ${\displaystyle \varphi }$ ${\displaystyle b_{0}={\overline {y}}}$ ${\displaystyle {\overline {y}}}$ ${\displaystyle \varepsilon _{\varphi }^{2}}$

${\displaystyle {\hat {\varepsilon }}_{\varphi }^{2}=\sum _{k=1}^{K}({\overline {y}}-y_{k})^{2}}$

который пропорционален квадрату (нескорректированного) выборочного стандартного отклонения _точек данных yk .

Мы можем представить себе случай, когда точки данных y _k случайным образом назначаются различным x _k , а затем подгоняются с использованием предлагаемой модели. В частности, мы можем рассмотреть подгонки предлагаемой модели к каждой перестановке результатов y _k . Можно показать, что оптимизированная ошибка любой из этих подгонок никогда не будет меньше оптимальной ошибки нулевой модели, и что разница между этими минимальными ошибками будет следовать распределению хи-квадрат со степенями свободы, равными таковым у предлагаемой модели за вычетом степеней свободы нулевой модели, которая в этом случае будет . Используя тест хи-квадрат , мы можем затем оценить, сколько из этих переставленных наборов y _k дадут минимальную ошибку, меньшую или равную минимальной ошибке с использованием исходного y _k , и поэтому мы можем оценить, насколько значительное улучшение дает включение переменной x в предлагаемую модель. ${\displaystyle 2-1=1}$

Для логистической регрессии мерой соответствия является функция правдоподобия L или ее логарифм, логарифм правдоподобия ℓ . Функция правдоподобия L аналогична в случае линейной регрессии, за исключением того, что правдоподобие максимизируется, а не минимизируется. Обозначим максимизированный логарифм правдоподобия предлагаемой модели как . ${\displaystyle \varepsilon ^{2}}$ ${\displaystyle {\hat {\ell }}}$

В случае простой бинарной логистической регрессии набор из K точек данных в вероятностном смысле подгоняется под функцию вида:

${\displaystyle p(x)={\frac {1}{1+e^{-t}}}}$

где ⁠ ⁠ ${\displaystyle p(x)}$ — вероятность того, что . Логарифм шансов определяется как: ${\displaystyle y=1}$

${\displaystyle t=\beta _{0}+\beta _{1}x}$

а логарифм правдоподобия равен:

${\displaystyle \ell =\sum _{k=1}^{K}\left(y_{k}\ln(p(x_{k}))+(1-y_{k})\ln(1-p(x_{k}))\right)}$

Для нулевой модели вероятность определяется по формуле: ${\displaystyle y=1}$

${\displaystyle p_{\varphi }(x)={\frac {1}{1+e^{-t_{\varphi }}}}}$

Логарифмические шансы для нулевой модели определяются по формуле:

${\displaystyle t_{\varphi }=\beta _{0}}$

а логарифм правдоподобия равен:

${\displaystyle \ell _{\varphi }=\sum _{k=1}^{K}\left(y_{k}\ln(p_{\varphi })+(1-y_{k})\ln(1-p_{\varphi })\right)}$

Поскольку мы имеем максимум L , максимальное логарифмическое правдоподобие для нулевой модели равно ${\displaystyle p_{\varphi }={\overline {y}}}$

${\displaystyle {\hat {\ell }}_{\varphi }=K(\,{\overline {y}}\ln({\overline {y}})+(1-{\overline {y}})\ln(1-{\overline {y}}))}$

Оптимальным является: ${\displaystyle \beta _{0}}$

${\displaystyle \beta _{0}=\ln \left({\frac {\overline {y}}{1-{\overline {y}}}}\right)}$

где снова среднее значение y _k . Опять же, мы можем концептуально рассмотреть соответствие предлагаемой модели каждой перестановке y _k и можно показать, что максимальное логарифмическое правдоподобие этих перестановочных подгонок никогда не будет меньше, чем у нулевой модели: ${\displaystyle {\overline {y}}}$

${\displaystyle {\hat {\ell }}\geq {\hat {\ell }}_{\varphi }}$

Также, как аналог ошибки линейной регрессии, мы можем определить отклонение подгонки логистической регрессии как:

${\displaystyle D=\ln \left({\frac {{\hat {L}}^{2}}{{\hat {L}}_{\varphi }^{2}}}\right)=2({\hat {\ell }}-{\hat {\ell }}_{\varphi })}$

который всегда будет положительным или нулевым. Причина такого выбора заключается в том, что отклонение не только является хорошей мерой качества подгонки, но и приблизительно распределено по закону хи-квадрат, причем приближение улучшается по мере увеличения числа точек данных ( K ), становясь точно распределенным по закону хи-квадрат в пределе бесконечного числа точек данных. Как и в случае линейной регрессии, мы можем использовать этот факт для оценки вероятности того, что случайный набор точек данных даст лучшее подгонку, чем подгонка, полученная предлагаемой моделью, и, таким образом, оценить, насколько значительно модель улучшается при включении x _k точек данных в предлагаемую модель.

Для простой модели результатов тестов студентов, описанной выше, максимальное значение логарифмического правдоподобия нулевой модели равно Максимальное значение логарифмического правдоподобия для простой модели равно так, что отклонение равно ${\displaystyle {\hat {\ell }}_{\varphi }=-13.8629\ldots }$ ${\displaystyle {\hat {\ell }}=-8.02988\ldots }$ ${\displaystyle D=2({\hat {\ell }}-{\hat {\ell }}_{\varphi })=11.6661\ldots }$

Используя критерий значимости хи-квадрат , интеграл распределения хи-квадрат с одной степенью свободы от 11,6661... до бесконечности равен 0,00063649...

Это фактически означает, что около 6 из 10 000 подгонок под случайный y _k могут иметь лучшее соответствие (меньшее отклонение), чем заданный y _k , и поэтому мы можем заключить, что включение переменной x и данных в предлагаемую модель является очень значительным улучшением по сравнению с нулевой моделью. Другими словами, мы с уверенностью отвергаем нулевую гипотезу . ${\displaystyle 1-D\approx 99.94\%}$

Резюме по качеству соответствия

Качество соответствия в моделях линейной регрессии обычно измеряется с помощью R 2. Поскольку это не имеет прямого аналога в логистической регрессии, вместо этого можно использовать различные методы ^{[34] : гл.21,} включая следующие.

Тесты на отклонение и отношение правдоподобия

В линейном регрессионном анализе речь идет о разделении дисперсии с помощью вычислений суммы квадратов — дисперсия в критерии по существу делится на дисперсию, учитываемую предикторами, и остаточную дисперсию. В логистическом регрессионном анализе отклонение используется вместо вычислений суммы квадратов. ^[35] Отклонение аналогично вычислениям суммы квадратов в линейной регрессии ^[2] и является мерой отсутствия соответствия данным в модели логистической регрессии. ^[35] Когда доступна «насыщенная» модель (модель с теоретически идеальным соответствием), отклонение вычисляется путем сравнения заданной модели с насыщенной моделью. ^[2] Это вычисление дает тест отношения правдоподобия : ^[2]

${\displaystyle D=-2\ln {\frac {\text{likelihood of the fitted model}}{\text{likelihood of the saturated model}}}.}$

В приведенном выше уравнении D представляет отклонение, а ln представляет натуральный логарифм. Логарифм этого отношения правдоподобия (отношение подобранной модели к насыщенной модели) даст отрицательное значение, отсюда и необходимость отрицательного знака. Можно показать, что D следует приблизительному распределению хи-квадрат . ^[2] Меньшие значения указывают на лучшее соответствие, поскольку подобранная модель меньше отклоняется от насыщенной модели. При оценке по распределению хи-квадрат незначимые значения хи-квадрат указывают на очень малую необъяснимую дисперсию и, таким образом, на хорошее соответствие модели. И наоборот, значимое значение хи-квадрат указывает на то, что значительная часть дисперсии необъяснима.

Если насыщенная модель недоступна (обычный случай), отклонение рассчитывается просто как −2·(логарифм правдоподобия подобранной модели), а ссылка на логарифм правдоподобия насыщенной модели может быть удалена из всего последующего без вреда.

В логистической регрессии особенно важны две меры отклонения: нулевое отклонение и отклонение модели. Нулевое отклонение представляет собой разницу между моделью только с отсекателем (что означает «нет предикторов») и насыщенной моделью. Отклонение модели представляет собой разницу между моделью по крайней мере с одним предиктором и насыщенной моделью. ^[35] В этом отношении нулевая модель обеспечивает базовую линию, на которой можно сравнивать модели предикторов. Учитывая, что отклонение является мерой разницы между заданной моделью и насыщенной моделью, меньшие значения указывают на лучшее соответствие. Таким образом, чтобы оценить вклад предиктора или набора предикторов, можно вычесть отклонение модели из нулевого отклонения и оценить разницу по распределению хи-квадрат со степенями свободы ^[2], равными разнице в количестве оцененных параметров. ${\displaystyle \chi _{s-p}^{2},}$

Позволять

${\displaystyle {\begin{aligned}D_{\text{null}}&=-2\ln {\frac {\text{likelihood of null model}}{\text{likelihood of the saturated model}}}\\[6pt]D_{\text{fitted}}&=-2\ln {\frac {\text{likelihood of fitted model}}{\text{likelihood of the saturated model}}}.\end{aligned}}}$

Тогда разница между ними будет:

${\displaystyle {\begin{aligned}D_{\text{null}}-D_{\text{fitted}}&=-2\left(\ln {\frac {\text{likelihood of null model}}{\text{likelihood of the saturated model}}}-\ln {\frac {\text{likelihood of fitted model}}{\text{likelihood of the saturated model}}}\right)\\[6pt]&=-2\ln {\frac {\left({\dfrac {\text{likelihood of null model}}{\text{likelihood of the saturated model}}}\right)}{\left({\dfrac {\text{likelihood of fitted model}}{\text{likelihood of the saturated model}}}\right)}}\\[6pt]&=-2\ln {\frac {\text{likelihood of the null model}}{\text{likelihood of fitted model}}}.\end{aligned}}}$

Если отклонение модели значительно меньше нулевого отклонения, то можно сделать вывод, что предиктор или набор предикторов значительно улучшают соответствие модели. Это аналогично F -тесту, используемому в линейном регрессионном анализе для оценки значимости прогноза. ^[35]

Псевдо-R-квадрат

В линейной регрессии квадрат множественной корреляции R ² используется для оценки качества соответствия, поскольку он представляет собой долю дисперсии в критерии, которая объясняется предикторами. ^[35] В логистическом регрессионном анализе не существует согласованной аналогичной меры, но есть несколько конкурирующих мер, каждая из которых имеет свои ограничения. ^{[35] [36]}

На этой странице рассматриваются четыре наиболее часто используемых индекса и один менее часто используемый:

• Отношение правдоподобия R ² _L
• Кокс и Снелл R ² _CS
• Нагелькерке Р ² _Н
• Макфадден Р ² _МакФ
• Тюр Р ² _Т

Тест Хосмера-Лемешова

Тест Хосмера –Лемешоу использует статистику теста, которая асимптотически следует распределению , чтобы оценить, соответствуют ли наблюдаемые частоты событий ожидаемым частотам событий в подгруппах модельной популяции. Некоторые статистики считают этот тест устаревшим из-за его зависимости от произвольного биннинга предсказанных вероятностей и относительно низкой мощности. ^[37] ${\displaystyle \chi ^{2}}$

Значимость коэффициента

После подгонки модели исследователи, вероятно, захотят изучить вклад отдельных предикторов. Для этого им нужно изучить коэффициенты регрессии. В линейной регрессии коэффициенты регрессии представляют собой изменение критерия для каждого изменения единицы в предикторе. ^[35] Однако в логистической регрессии коэффициенты регрессии представляют собой изменение логита для каждого изменения единицы в предикторе. Учитывая, что логит не является интуитивно понятным, исследователи, скорее всего, сосредоточатся на влиянии предиктора на экспоненциальную функцию коэффициента регрессии — отношение шансов (см. определение). В линейной регрессии значимость коэффициента регрессии оценивается путем вычисления t- теста. В логистической регрессии существует несколько различных тестов, предназначенных для оценки значимости отдельного предиктора, в частности, тест отношения правдоподобия и статистика Вальда.

Тест отношения правдоподобия

Тест отношения правдоподобия, обсуждавшийся выше для оценки соответствия модели, также является рекомендуемой процедурой для оценки вклада отдельных «предикторов» в данную модель. ^{[2] [26] [35]} В случае модели с одним предиктором просто сравнивается отклонение модели предиктора с отклонением нулевой модели на распределении хи-квадрат с одной степенью свободы. Если модель предиктора имеет значительно меньшее отклонение (ср. хи-квадрат, использующий разницу в степенях свободы двух моделей), то можно сделать вывод, что между «предиктором» и результатом существует значимая связь. Хотя некоторые распространенные статистические пакеты (например, SPSS) предоставляют статистику теста отношения правдоподобия, без этого вычислительно интенсивного теста было бы сложнее оценить вклад отдельных предикторов в случае множественной логистической регрессии. ^{[ необходима цитата ]} Чтобы оценить вклад отдельных предикторов, можно ввести предикторы иерархически, сравнивая каждую новую модель с предыдущей, чтобы определить вклад каждого предиктора. ^[35] Среди статистиков ведутся споры о целесообразности так называемых «пошаговых» процедур. ^{[ обтекаемые слова ]} Существует опасение, что они могут не сохранить номинальные статистические свойства и могут стать вводящими в заблуждение. ^[38]

Статистика Вальда

В качестве альтернативы, при оценке вклада отдельных предикторов в заданной модели, можно изучить значимость статистики Вальда . Статистика Вальда, аналогичная t -тесту в линейной регрессии, используется для оценки значимости коэффициентов. Статистика Вальда представляет собой отношение квадрата коэффициента регрессии к квадрату стандартной ошибки коэффициента и асимптотически распределена как распределение хи-квадрат. ^[26]

${\displaystyle W_{j}={\frac {\beta _{j}^{2}}{SE_{\beta _{j}}^{2}}}}$

Хотя несколько статистических пакетов (например, SPSS, SAS) сообщают статистику Вальда для оценки вклада отдельных предикторов, статистика Вальда имеет ограничения. Когда коэффициент регрессии большой, стандартная ошибка коэффициента регрессии также имеет тенденцию быть больше, увеличивая вероятность ошибки типа II . Статистика Вальда также имеет тенденцию быть смещенной, когда данные разрежены. ^[35]

Выборка случай-контроль

Предположим, что случаи редки. Тогда мы можем захотеть делать выборку чаще, чем их распространенность в популяции. Например, предположим, что есть болезнь, которая поражает 1 человека из 10 000, и для сбора наших данных нам нужно провести полное физическое обследование. Может быть слишком дорого проводить тысячи физических обследований здоровых людей, чтобы получить данные только для нескольких больных людей. Таким образом, мы можем оценить большее количество больных людей, возможно, все редкие исходы. Это также ретроспективная выборка, или, что то же самое, это называется несбалансированными данными. Как правило, выборка контролей со скоростью, в пять раз превышающей количество случаев, даст достаточные контрольные данные. ^[39]

Логистическая регрессия уникальна тем, что ее можно оценить на несбалансированных данных, а не на случайно выбранных данных, и при этом получить правильные оценки коэффициентов влияния каждой независимой переменной на результат. То есть, если мы формируем логистическую модель из таких данных, если модель верна в генеральной совокупности, все параметры верны, за исключением . Мы можем внести исправления , если знаем истинную распространенность, следующим образом: ^[39] ${\displaystyle \beta _{j}}$ ${\displaystyle \beta _{0}}$ ${\displaystyle \beta _{0}}$

${\displaystyle {\widehat {\beta }}_{0}^{*}={\widehat {\beta }}_{0}+\log {\frac {\pi }{1-\pi }}-\log {{\tilde {\pi }} \over {1-{\tilde {\pi }}}}}$

где — истинная распространенность, — распространенность в выборке. ${\displaystyle \pi }$ ${\displaystyle {\tilde {\pi }}}$

Обсуждение

Как и другие формы регрессионного анализа , логистическая регрессия использует одну или несколько переменных-предикторов, которые могут быть как непрерывными, так и категориальными. Однако, в отличие от обычной линейной регрессии, логистическая регрессия используется для прогнозирования зависимых переменных, которые принимают членство в одной из ограниченного числа категорий (рассматривая зависимую переменную в биномиальном случае как результат испытания Бернулли ), а не непрерывный результат. Учитывая это различие, предположения линейной регрессии нарушаются. В частности, остатки не могут быть нормально распределены. Кроме того, линейная регрессия может делать бессмысленные прогнозы для бинарной зависимой переменной. Нужен способ преобразовать бинарную переменную в непрерывную, которая может принимать любое действительное значение (отрицательное или положительное). Для этого биномиальная логистическая регрессия сначала вычисляет шансы события , происходящего для различных уровней каждой независимой переменной, а затем берет ее логарифм , чтобы создать непрерывный критерий как преобразованную версию зависимой переменной. Логарифм шансов — это логит вероятности, логит определяется следующим образом: $${\displaystyle \operatorname {logit} p=\ln {\frac {p}{1-p}}\quad {\text{for }}0<p<1\,.}$$

Хотя зависимой переменной в логистической регрессии является Бернулли, логит-функция имеет неограниченную шкалу. ^[2] Логит-функция является связующей функцией в этом виде обобщенной линейной модели, т.е. $${\displaystyle \operatorname {logit} \operatorname {\mathcal {E}} (Y)=\beta _{0}+\beta _{1}x}$$

Y — это распределенная по закону Бернулли переменная отклика, а x — предикторная переменная; значения β являются линейными параметрами.

Затем логит вероятности успеха подгоняется под предикторы. Предсказанное значение логита преобразуется обратно в предсказанные шансы с помощью обратной функции натурального логарифма – экспоненциальной функции . Таким образом, хотя наблюдаемая зависимая переменная в бинарной логистической регрессии является переменной 0 или 1, логистическая регрессия оценивает шансы, как непрерывную переменную, того, что зависимая переменная является «успехом». В некоторых приложениях шансы – это все, что нужно. В других случаях требуется конкретное предсказание «да» или «нет» для того, является ли зависимая переменная «успехом» или нет; это категориальное предсказание может быть основано на вычисленных шансах успеха, при этом предсказанные шансы выше некоторого выбранного порогового значения преобразуются в предсказание успеха.

Максимальная энтропия

Из всех функциональных форм, используемых для оценки вероятностей конкретного категориального результата, которые оптимизируют соответствие путем максимизации функции правдоподобия (например, пробит-регрессия , регрессия Пуассона и т. д.), решение логистической регрессии уникально тем, что является решением с максимальной энтропией . ^[40] Это случай общего свойства: экспоненциальное семейство распределений максимизирует энтропию, учитывая ожидаемое значение. В случае логистической модели логистическая функция является естественным параметром распределения Бернулли (она находится в « канонической форме », а логистическая функция является канонической функцией связи), в то время как другие сигмоидальные функции являются неканоническими функциями связи; это лежит в основе ее математической элегантности и простоты оптимизации. Подробности см. в разделе Экспоненциальное семейство § Вывод максимальной энтропии .

Доказательство

Чтобы показать это, мы используем метод множителей Лагранжа . Лагранжиан равен энтропии плюс сумма произведений множителей Лагранжа на различные выражения ограничений. Будет рассмотрен общий многочленный случай, поскольку доказательство не сильно упрощается при рассмотрении более простых случаев. Приравнивание производной лагранжиана по различным вероятностям к нулю дает функциональную форму для этих вероятностей, которая соответствует тем, которые используются в логистической регрессии. ^[40]

Как и в предыдущем разделе о мультиномиальной логистической регрессии, мы рассмотрим ⁠ ⁠ ${\displaystyle M+1}$ объясняющие переменные, обозначенные ⁠ ⁠ ${\displaystyle x_{m}}$ и , которые включают . Всего будет K точек данных, проиндексированных , а точки данных будут заданы как и ⁠ ⁠ . X _mk также будет представлен как ⁠ ⁠ -мерный вектор . Будут ⁠ ⁠ возможные значения категориальной переменной y в диапазоне от 0 до N. ${\displaystyle x_{0}=1}$ ${\displaystyle k=\{1,2,\dots ,K\}}$ ${\displaystyle x_{mk}}$ ${\displaystyle y_{k}}$ ${\displaystyle (M+1)}$ ${\displaystyle {\boldsymbol {x}}_{k}=\{x_{0k},x_{1k},\dots ,x_{Mk}\}}$ ${\displaystyle N+1}$

Пусть p _n ( x ) будет вероятностью, заданной объясняющей переменной вектора x , что результат будет . Определите вероятность того, что для k -го измерения категориальный результат будет n . ${\displaystyle y=n}$ ${\displaystyle p_{nk}=p_{n}({\boldsymbol {x}}_{k})}$

Лагранжиан будет выражен как функция вероятностей p _nk и будет минимизирован путем приравнивания производных лагранжиана относительно этих вероятностей к нулю. Важным моментом является то, что вероятности рассматриваются одинаково, и тот факт, что они в сумме дают 1, является частью формулировки лагранжиана, а не предполагается с самого начала.

Первым вкладом в лагранжиан является энтропия :

${\displaystyle {\mathcal {L}}_{ent}=-\sum _{k=1}^{K}\sum _{n=0}^{N}p_{nk}\ln(p_{nk})}$

Логарифм правдоподобия равен:

${\displaystyle \ell =\sum _{k=1}^{K}\sum _{n=0}^{N}\Delta (n,y_{k})\ln(p_{nk})}$

Предполагая полиномиальную логистическую функцию, производная логарифмического правдоподобия относительно бета-коэффициентов была найдена равной:

${\displaystyle {\frac {\partial \ell }{\partial \beta _{nm}}}=\sum _{k=1}^{K}(p_{nk}x_{mk}-\Delta (n,y_{k})x_{mk})}$

Очень важным моментом здесь является то, что это выражение (что примечательно) не является явной функцией бета-коэффициентов. Это только функция вероятностей p _nk и данных. Вместо того, чтобы быть специфичным для предполагаемого случая мультиномиальной логистики, оно рассматривается как общее утверждение условия, при котором логарифмическое правдоподобие максимизируется, и не ссылается на функциональную форму p _nk . Тогда есть ( M +1) ( N +1) ограничений подгонки, и член ограничения подгонки в лагранжиане тогда равен:

${\displaystyle {\mathcal {L}}_{fit}=\sum _{n=0}^{N}\sum _{m=0}^{M}\lambda _{nm}\sum _{k=1}^{K}(p_{nk}x_{mk}-\Delta (n,y_{k})x_{mk})}$

где λ _nm — соответствующие множители Лагранжа. Существуют K ограничений нормализации, которые можно записать:

${\displaystyle \sum _{n=0}^{N}p_{nk}=1}$

так что нормировочный член в лагранжиане равен:

${\displaystyle {\mathcal {L}}_{norm}=\sum _{k=1}^{K}\alpha _{k}\left(1-\sum _{n=1}^{N}p_{nk}\right)}$

где α _k — соответствующие множители Лагранжа. Тогда Лагранжиан — это сумма трех вышеуказанных членов:

${\displaystyle {\mathcal {L}}={\mathcal {L}}_{ent}+{\mathcal {L}}_{fit}+{\mathcal {L}}_{norm}}$

Приравнивая производную лагранжиана по одной из вероятностей к нулю, получаем:

${\displaystyle {\frac {\partial {\mathcal {L}}}{\partial p_{n'k'}}}=0=-\ln(p_{n'k'})-1+\sum _{m=0}^{M}(\lambda _{n'm}x_{mk'})-\alpha _{k'}}$

Используя более сжатую векторную запись:

${\displaystyle \sum _{m=0}^{M}\lambda _{nm}x_{mk}={\boldsymbol {\lambda }}_{n}\cdot {\boldsymbol {x}}_{k}}$

и отбрасывая простые числа в индексах n и k , а затем решая для получаем: ${\displaystyle p_{nk}}$

${\displaystyle p_{nk}=e^{{\boldsymbol {\lambda }}_{n}\cdot {\boldsymbol {x}}_{k}}/Z_{k}}$

где:

${\displaystyle Z_{k}=e^{1+\alpha _{k}}}$

Налагая нормировочное ограничение, мы можем решить относительно Z _k и записать вероятности как:

${\displaystyle p_{nk}={\frac {e^{{\boldsymbol {\lambda }}_{n}\cdot {\boldsymbol {x}}_{k}}}{\sum _{u=0}^{N}e^{{\boldsymbol {\lambda }}_{u}\cdot {\boldsymbol {x}}_{k}}}}}$

Не все независимы. Мы можем добавить любой постоянный ⁠ ⁠ -мерный вектор к каждому из , не меняя значения вероятностей , так что останется только N , а не ⁠ ⁠ независимых . В разделе о полиномиальной логистической регрессии выше вычиталось из каждого , что устанавливало экспоненциальный член, включающий , равным 1, а бета-коэффициенты были заданы как . ${\displaystyle {\boldsymbol {\lambda }}_{n}}$ ${\displaystyle (M+1)}$ ${\displaystyle {\boldsymbol {\lambda }}_{n}}$ ${\displaystyle p_{nk}}$ ${\displaystyle N+1}$ ${\displaystyle {\boldsymbol {\lambda }}_{n}}$ ${\displaystyle {\boldsymbol {\lambda }}_{0}}$ ${\displaystyle {\boldsymbol {\lambda }}_{n}}$ ${\displaystyle {\boldsymbol {\lambda }}_{0}}$ ${\displaystyle {\boldsymbol {\beta }}_{n}={\boldsymbol {\lambda }}_{n}-{\boldsymbol {\lambda }}_{0}}$

Другие подходы

В приложениях машинного обучения, где логистическая регрессия используется для бинарной классификации, MLE минимизирует функцию потерь кросс-энтропии .

Логистическая регрессия — важный алгоритм машинного обучения . Цель — смоделировать вероятность того, что случайная величина будет равна 0 или 1, учитывая экспериментальные данные. ^[41] ${\displaystyle Y}$

Рассмотрим обобщенную линейную модельную функцию, параметризованную с помощью , ${\displaystyle \theta }$

${\displaystyle h_{\theta }(X)={\frac {1}{1+e^{-\theta ^{T}X}}}=\Pr(Y=1\mid X;\theta )}$

Поэтому,

${\displaystyle \Pr(Y=0\mid X;\theta )=1-h_{\theta }(X)}$

и поскольку , мы видим, что дается выражением Теперь мы вычисляем функцию правдоподобия , предполагая, что все наблюдения в выборке распределены независимо Бернулли, ${\displaystyle Y\in \{0,1\}}$ ${\displaystyle \Pr(y\mid X;\theta )}$ ${\displaystyle \Pr(y\mid X;\theta )=h_{\theta }(X)^{y}(1-h_{\theta }(X))^{(1-y)}.}$

${\displaystyle {\begin{aligned}L(\theta \mid y;x)&=\Pr(Y\mid X;\theta )\\&=\prod _{i}\Pr(y_{i}\mid x_{i};\theta )\\&=\prod _{i}h_{\theta }(x_{i})^{y_{i}}(1-h_{\theta }(x_{i}))^{(1-y_{i})}\end{aligned}}}$

Обычно логарифмическое правдоподобие максимизируется,

${\displaystyle N^{-1}\log L(\theta \mid y;x)=N^{-1}\sum _{i=1}^{N}\log \Pr(y_{i}\mid x_{i};\theta )}$

который максимизируется с помощью методов оптимизации, таких как градиентный спуск .

Если предположить, что пары выбираются равномерно из базового распределения, то в пределе большого  N , ${\displaystyle (x,y)}$

${\displaystyle {\begin{aligned}&\lim \limits _{N\rightarrow +\infty }N^{-1}\sum _{i=1}^{N}\log \Pr(y_{i}\mid x_{i};\theta )=\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\Pr(X=x,Y=y)\log \Pr(Y=y\mid X=x;\theta )\\[6pt]={}&\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\Pr(X=x,Y=y)\left(-\log {\frac {\Pr(Y=y\mid X=x)}{\Pr(Y=y\mid X=x;\theta )}}+\log \Pr(Y=y\mid X=x)\right)\\[6pt]={}&-D_{\text{KL}}(Y\parallel Y_{\theta })-H(Y\mid X)\end{aligned}}}$

где — условная энтропия , а — расхождение Кульбака–Лейблера . Это приводит к интуитивному пониманию того, что, максимизируя логарифмическое правдоподобие модели, вы минимизируете расхождение KL вашей модели от максимального распределения энтропии. Интуитивный поиск модели, которая делает наименьшее количество предположений в своих параметрах. ${\displaystyle H(Y\mid X)}$ ${\displaystyle D_{\text{KL}}}$

Сравнение с линейной регрессией

Логистическую регрессию можно рассматривать как частный случай обобщенной линейной модели и, таким образом, аналогичную линейной регрессии . Однако модель логистической регрессии основана на совершенно иных предположениях (о связи между зависимыми и независимыми переменными) по сравнению с предположениями линейной регрессии. В частности, ключевые различия между этими двумя моделями можно увидеть в следующих двух особенностях логистической регрессии. Во-первых, условное распределение является распределением Бернулли, а не гауссовым , поскольку зависимая переменная является двоичной. Во-вторых, прогнозируемые значения являются вероятностями и, следовательно, ограничены (0,1) посредством функции логистического распределения , поскольку логистическая регрессия предсказывает вероятность конкретных результатов, а не сами результаты. ${\displaystyle y\mid x}$

Альтернативы

Распространенной альтернативой логистической модели (логит-модели) является пробит-модель , как следует из связанных названий. С точки зрения обобщенных линейных моделей они отличаются выбором функции связи : логистическая модель использует логит-функцию (обратную логистическую функцию), в то время как пробит-модель использует пробит-функцию (обратную функцию ошибок ). Эквивалентно, в интерпретациях скрытых переменных этих двух методов первый предполагает стандартное логистическое распределение ошибок, а второй — стандартное нормальное распределение ошибок. ^[42] Вместо этого могут использоваться другие сигмоидные функции или распределения ошибок.

Логистическая регрессия является альтернативой методу Фишера 1936 года, линейному дискриминантному анализу . ^[43] Если предположения линейного дискриминантного анализа верны, то обусловливание может быть изменено на противоположное для получения логистической регрессии. Обратное, однако, неверно, поскольку логистическая регрессия не требует многомерного нормального предположения дискриминантного анализа. ^[44]

Предположение о наличии линейных предикторных эффектов можно легко ослабить, используя такие методы, как сплайн-функции . ^[13]

История

Подробная история логистической регрессии приведена в Cramer (2002). Логистическая функция была разработана как модель роста населения и названа «логистической» Пьером Франсуа Ферхюльстом в 1830-х и 1840-х годах под руководством Адольфа Кетле ; см. Логистическая функция § История для получения подробной информации. ^[45] В своей самой ранней статье (1838) Ферхюльст не указал, как он подгонял кривые к данным. ^{[46] [47]} В своей более подробной статье (1845) Ферхюльст определил три параметра модели, заставив кривую проходить через три наблюдаемые точки, что дало плохие прогнозы. ^{[48] [49]}

Логистическая функция была независимо разработана в химии как модель автокатализа ( Вильгельм Оствальд , 1883). ^[50] Автокаталитическая реакция — это реакция, в которой один из продуктов сам по себе является катализатором для той же реакции, в то время как поставка одного из реагентов фиксирована. Это естественным образом приводит к логистическому уравнению по той же причине, что и рост популяции: реакция является самоусиливающейся, но ограниченной.

Логистическая функция была независимо переоткрыта как модель роста населения в 1920 году Рэймондом Перлом и Лоуэллом Ридом , опубликована как Pearl & Reed (1920), что привело к ее использованию в современной статистике. Первоначально они не знали о работе Ферхюльста и, предположительно, узнали о ней от Л. Гюстава дю Паскье , но они не придали ему большого значения и не переняли его терминологию. ^[51] Приоритет Ферхюльста был признан, и термин «логистический» был возрожден Удни Юлом в 1925 году и с тех пор используется. ^[52] Перл и Рид впервые применили модель к населению Соединенных Штатов, а также первоначально подогнали кривую, заставив ее проходить через три точки; как и в случае с Ферхюльстом, это снова дало плохие результаты. ^[53]

В 1930-х годах модель пробит была разработана и систематизирована Честером Иттнером Блиссом , который ввел термин «пробит» в Bliss (1934), и Джоном Гэддумом в Gaddum (1933), а модель, подобранная по оценке максимального правдоподобия, Рональдом А. Фишером в Fisher (1935), как дополнение к работе Блисса. Модель пробит в основном использовалась в биоанализе , и ей предшествовали более ранние работы, датируемые 1860 годом; см. Модель пробит § История . Модель пробит повлияла на последующее развитие модели логита, и эти модели конкурировали друг с другом. ^[54]

Логистическая модель, вероятно, была впервые использована в качестве альтернативы пробит-модели в биоанализе Эдвином Бидвеллом Уилсоном и его студенткой Джейн Вустер в Wilson & Worcester (1943). ^[55] Однако развитие логистической модели как общей альтернативы пробит-модели было в основном обусловлено работой Джозефа Берксона на протяжении многих десятилетий, начиная с Берксона (1944), где он придумал «логит», по аналогии с «пробит», и продолжая Берксоном (1951) и последующими годами. ^[56] Логит-модель изначально была отклонена как уступающая пробит-модели, но «постепенно достигла равноправия с пробит-моделью», ^[57], особенно между 1960 и 1970 годами. К 1970 году логит-модель достигла паритета с пробит-моделью, используемой в статистических журналах, а затем превзошла ее. Эта относительная популярность была обусловлена ​​принятием логита за пределами биоанализа, а не вытеснением пробита в биоанализе, и его неформальным использованием на практике; популярность логита объясняется вычислительной простотой логит-модели, математическими свойствами и универсальностью, что позволяет использовать ее в различных областях. ^[3]

В это время были внесены различные усовершенствования, в частности, Дэвидом Коксом , как в работе Кокса (1958). ^[4]

Модель мультиномиального логита была введена независимо Коксом (1966) и Тейлом (1969), что значительно увеличило сферу применения и популярность модели логита. ^[58] В 1973 году Дэниел Макфадден связал мультиномиальный логит с теорией дискретного выбора , в частности с аксиомой выбора Люса , показав, что мультиномиальный логит следует из предположения о независимости нерелевантных альтернатив и интерпретации шансов альтернатив как относительных предпочтений; ^[59] это дало теоретическую основу для логистической регрессии. ^[58]

Расширения

Существует большое количество расширений:

• Мультиномиальная логистическая регрессия (или мультиномиальная логит ) обрабатывает случай многофакторной категориальной зависимой переменной (с неупорядоченными значениями, также называемой «классификацией»). Общий случай наличия зависимых переменных с более чем двумя значениями называется политомической регрессией .
• Упорядоченная логистическая регрессия (или упорядоченная логит ) обрабатывает порядковые зависимые переменные (упорядоченные значения).
• Смешанный логит — это расширение полиномиального логита, которое позволяет устанавливать корреляции между вариантами выбора зависимой переменной.
• Расширением логистической модели на наборы взаимозависимых переменных является условное случайное поле .
• Условная логистическая регрессия обрабатывает согласованные или стратифицированные данные, когда слои небольшие. Она в основном используется при анализе наблюдательных исследований .

Смотрите также

• Математический портал

• Логистическая функция
• Дискретный выбор
• Модель Джарроу–Тернбулла
• Ограниченная зависимая переменная
• Мультиномиальная логическая модель
• Заказанный логит
• Тест Хосмера-Лемешова
• Оценка по шкале Бриера
• mlpack - содержит реализацию логистической регрессии на языке C++
• Местная выборка случай-контроль
• Дерево логистической модели

Ссылки

1. Толлес, Джулиана; Мёрер, Уильям Дж. (2016). «Логистическая регрессия, связывающая характеристики пациента с результатами». JAMA . 316 (5): 533–4. doi :10.1001/jama.2016.7653. ISSN  0098-7484. OCLC  6823603312. PMID  27483067.
2. Hosmer, David W.; Lemeshow, Stanley (2000). Прикладная логистическая регрессия (2-е изд.). Wiley. ISBN 978-0-471-35632-5. ^{[ нужна страница ]}
3. Cramer 2002, стр. 10–11.
4. Walker, SH; Duncan, DB (1967). «Оценка вероятности события как функции нескольких независимых переменных». Biometrika . 54 (1/2): 167–178. doi :10.2307/2333860. JSTOR  2333860.
5. Крамер 2002, стр. 8.
6. Boyd, CR; Tolson, MA; Copes, WS (1987). «Оценка ухода за травматологами: метод TRISS. Оценка травмы и оценка тяжести травмы». Журнал травмы . 27 (4): 370–378. doi : 10.1097/00005373-198704000-00005 . PMID  3106646.
7. Kologlu, M.; Elker, D.; Altun, H.; Sayek, I. (2001). «Валидация MPI и PIA II в двух различных группах пациентов с вторичным перитонитом». Гепатогастроэнтерология . 48 (37): 147–51. PMID  11268952.
8. Биондо, С.; Рамос, Э.; Дейрос, М.; Раге, Ж.М.; Де Ока, Дж.; Морено, П.; Фарран, Л.; Джаурриета, Э. (2000). «Прогностические факторы смертности при перитоните левой толстой кишки: новая система оценки». Журнал Американского колледжа хирургов . 191 (6): 635–42. дои : 10.1016/S1072-7515(00)00758-4. ПМИД  11129812.
9. Маршалл, Дж. К.; Кук, Д. Д.; Христу, Н. В.; Бернард, ГР; Спрунг, КЛ; Сиббалд, В. Дж. (1995). «Оценка множественной органной дисфункции: надежный дескриптор сложного клинического исхода». Critical Care Medicine . 23 (10): 1638–52. doi :10.1097/00003246-199510000-00007. PMID  7587228.
10. Le Gall, JR; Lemeshow, S.; Saulnier, F. (1993). «Новая упрощенная шкала острой физиологии (SAPS II) на основе многоцентрового исследования в Европе и Северной Америке». JAMA . 270 (24): 2957–63. doi :10.1001/jama.1993.03510240069035. PMID  8254858.
11. Дэвид А. Фридман (2009). Статистические модели: теория и практика . Cambridge University Press . стр. 128.
12. Truett, J; Cornfield, J; Kannel, W (1967). «Многомерный анализ риска ишемической болезни сердца во Фрамингеме». Журнал хронических заболеваний . 20 (7): 511–24. doi :10.1016/0021-9681(67)90082-3. PMID  6028270.
13. Harrell, Frank E. (2015). Стратегии регрессионного моделирования . Springer Series in Statistics (2-е изд.). Нью-Йорк; Springer. doi :10.1007/978-3-319-19425-7. ISBN 978-3-319-19424-0.
14. M. Strano; BM Colosimo (2006). «Логистический регрессионный анализ для экспериментального определения предельных диаграмм формования». Международный журнал станков и производства . 46 (6): 673–682. doi :10.1016/j.ijmachtools.2005.07.005.
15. Палей, СК; Дас, СК (2009). «Модель логистической регрессии для прогнозирования рисков обрушения кровли в выработках бордюров и столбов в угольных шахтах: подход». Safety Science . 47 : 88–96. doi :10.1016/j.ssci.2008.01.002.
16. Берри, Майкл JA (1997). Методы интеллектуального анализа данных для маркетинга, продаж и поддержки клиентов . Wiley. стр. 10.
17. Меса-Аранго, Родриго; Хасан, Самиул; Уккусури, Сатиш В.; Мюррей-Туите, Памела (февраль 2013 г.). «Модель на уровне домохозяйств для выбора типа пункта назначения эвакуации при урагане с использованием данных об урагане Иван». Обзор природных опасностей . 14 (1): 11–20. doi :10.1061/(ASCE)NH.1527-6996.0000083. ISSN  1527-6988.
18. Wibbenmeyer, Matthew J.; Hand, Michael S.; Calkin, David E.; Venn, Tyron J.; Thompson, Matthew P. (июнь 2013 г.). «Предпочтения в отношении риска при принятии стратегических решений по лесным пожарам: эксперимент по выбору с участием менеджеров по лесным пожарам в США». Анализ риска . 33 (6): 1021–1037. Bibcode : 2013RiskA..33.1021W. doi : 10.1111/j.1539-6924.2012.01894.x. ISSN  0272-4332. PMID  23078036. S2CID  45282555.
19. Lovreglio, Ruggiero; Borri, Dino; dell'Olio, Luigi; Ibeas, Angel (2014-02-01). «Дискретная модель выбора на основе случайных полезностей для выбора выхода при экстренной эвакуации». Safety Science . 62 : 418–426. doi :10.1016/j.ssci.2013.10.004. ISSN  0925-7535.
20. "Логистическая регрессия". CORP-MIDS1 (MDS) . Получено 2024-03-16 .
21. Нейман, Дж.; Пирсон , Э.С. (1933), «О проблеме наиболее эффективных проверок статистических гипотез» (PDF) , Philosophical Transactions of the Royal Society of London A , 231 (694–706): 289–337, Bibcode : 1933RSPTA.231..289N, doi : 10.1098/rsta.1933.0009 , JSTOR  91247
22. «Как интерпретировать отношение шансов в логистической регрессии?». Институт цифровых исследований и образования.
23. Эверитт, Брайан (1998). Кембриджский словарь статистики . Кембридж, Великобритания, Нью-Йорк: Cambridge University Press. ISBN 978-0-521-59346-5.
24. Например, индикаторную функцию в этом случае можно определить как ${\displaystyle \Delta (n,y)=1-(y-n)^{2}}$
25. Малуф, Роберт (2002). «Сравнение алгоритмов для оценки параметра максимальной энтропии». Труды Шестой конференции по изучению естественного языка (CoNLL-2002) . стр. 49–55. doi : 10.3115/1118853.1118871 .
26. Менард, Скотт В. (2002). Прикладная логистическая регрессия (2-е изд.). SAGE. ISBN 978-0-7619-2208-7. ^{[ нужна страница ]}
27. Гурьеру, Кристиан; Монфорт, Ален (1981). «Асимптотические свойства оценки максимального правдоподобия в дихотомических логит-моделях». Журнал эконометрики . 17 (1): 83–97. doi :10.1016/0304-4076(81)90060-9.
28. Пак, Бёнг У.; Симар, Леопольд; Зеленюк, Валентин (2017). «Непараметрическая оценка динамических моделей дискретного выбора для данных временных рядов» (PDF) . Вычислительная статистика и анализ данных . 108 : 97–120. doi :10.1016/j.csda.2016.10.024.
29. Мерфи, Кевин П. (2012). Машинное обучение – вероятностная перспектива . MIT Press. стр. 245. ISBN 978-0-262-01802-9.
30. Ван Смеден, М.; Де Гроот, JA; Мунс, KG; Коллинз, GS; Альтман, DG; Эйкеманс, MJ; Рейтсма, JB (2016). «Нет обоснования для критерия 1 переменной на 10 событий для бинарного логистического регрессионного анализа». BMC Medical Research Methodology . 16 (1): 163. doi : 10.1186/s12874-016-0267-3 . PMC 5122171. PMID  27881078 . 
31. Педуцци, П.; Конкато, Дж.; Кемпер, Э.; Холфорд, ТР.; Файнстайн, АР. (декабрь 1996 г.). «Имитационное исследование числа событий на переменную в логистическом регрессионном анализе». Журнал клинической эпидемиологии . 49 (12): 1373–9. doi : 10.1016/s0895-4356(96)00236-3 . PMID  8970487.
32. Vittinghoff, E.; McCulloch, CE (12 января 2007 г.). «Ослабление правила десяти событий на переменную в логистической регрессии и регрессии Кокса». American Journal of Epidemiology . 165 (6): 710–718. doi : 10.1093/aje/kwk052 . PMID  17182981.
33. Ван дер Плёг, Тьерд; Остин, Питер К.; Стейерберг, Эвоут В. (2014). «Современные методы моделирования требуют больших объемов данных: имитационное исследование для прогнозирования дихотомических конечных точек». BMC Medical Research Methodology . 14 : 137. doi : 10.1186/1471-2288-14-137 . PMC 4289553. PMID  25532820 . 
34. Грин, Уильям Н. (2003). Эконометрический анализ (Пятое издание). Prentice-Hall. ISBN 978-0-13-066189-0.
35. Коэн, Джейкоб; Коэн, Патрисия; Уэст, Стивен Г.; Эйкен, Леона С. (2002). Прикладной множественный регрессионный/корреляционный анализ для поведенческих наук (3-е изд.). Routledge. ISBN 978-0-8058-2223-6. ^{[ нужна страница ]}
36. Эллисон, Пол Д. «Меры соответствия для логистической регрессии» (PDF) . Statistical Horizons LLC и Университет Пенсильвании.
37. Hosmer, DW (1997). "Сравнение тестов согласия для модели логистической регрессии". Stat Med . 16 (9): 965–980. doi :10.1002/(sici)1097-0258(19970515)16:9<965::aid-sim509>3.3.co;2-f. PMID  9160492.
38. Харрелл, Фрэнк Э. (2010). Стратегии регрессионного моделирования: с приложениями к линейным моделям, логистической регрессии и анализу выживаемости . Нью-Йорк: Springer. ISBN 978-1-4419-2918-1.^{[ нужна страница ]}
39. https://class.stanford.edu/c4x/HumanitiesScience/StatLearning/asset/classification.pdf слайд 16
40. Mount, J. (2011). "Эквивалентность моделей логистической регрессии и максимальной энтропии" (PDF) . Получено 23 февраля 2022 г.
41. Нг, Эндрю (2000). «CS229 Lecture Notes» (PDF) . CS229 Lecture Notes : 16–19.
42. Родригес, Г. (2007). Заметки лекций по обобщенным линейным моделям. стр. Глава 3, стр. 45.
43. Гарет Джеймс; Даниэла Виттен; Тревор Хасти; Роберт Тибширани (2013). Введение в статистическое обучение. Springer. стр. 6.
44. Похар, Майя; Блас, Матея; Терк, Сандра (2004). «Сравнение логистической регрессии и линейного дискриминантного анализа: моделирование». Методолошки Звездки . 1 (1).
45. Крамер 2002, стр. 3–5.
46. Ферхюльст, Пьер-Франсуа (1838). «Обратите внимание на то, что население стремится к росту сына» (PDF) . Переписка по математике и физике . 10 : 113–121 . Проверено 3 декабря 2014 г.
47. Крамер 2002, стр. 4, «Он не сказал, как он подогнал кривые».
48. Ферхюльст, Пьер-Франсуа (1845). «Математические исследования закона роста населения». Новые мемуары Королевской академии наук и изящной словесности Брюсселя . 18 . Проверено 18 февраля 2013 г.
49. Крамер 2002, стр. 4.
50. Крамер 2002, стр. 7.
51. Крамер 2002, стр. 6.
52. Крамер 2002, стр. 6–7.
53. Крамер 2002, стр. 5.
54. Крамер 2002, стр. 7–9.
55. Крамер 2002, стр. 9.
56. Крамер 2002, стр. 8, «Насколько я могу судить, введение логистики в качестве альтернативы нормальной функции вероятности является работой одного человека, Джозефа Берксона (1899–1982), ...»
57. Крамер 2002, стр. 11.
58. Cramer 2002, стр. 13.
59. Макфадден, Дэниел (1973). «Условный логит-анализ качественного поведения выбора» (PDF) . В P. Zarembka (ред.). Frontiers in Econometrics . New York: Academic Press. стр. 105–142. Архивировано из оригинала (PDF) 27.11.2018 . Получено 20.04.2019 .

Источники

• Берксон, Джозеф (1944). «Применение логистической функции к биоанализу». Журнал Американской статистической ассоциации . 39 (227): 357–365. doi :10.1080/01621459.1944.10500699. JSTOR  2280041.
• Берксон, Джозеф (1951). «Почему я предпочитаю логиты пробитам». Биометрия . 7 (4): 327–339. doi :10.2307/3001655. ISSN  0006-341X. JSTOR  3001655.
• Bliss, CI (1934). «Метод пробитов». Science . 79 (2037): 38–39. Bibcode :1934Sci....79...38B. doi :10.1126/science.79.2037.38. PMID  17813446. Эти произвольные единицы вероятности были названы «пробитами».
• Кокс, Дэвид Р. (1958). «Регрессионный анализ бинарных последовательностей (с обсуждением)». JR Stat Soc B . 20 (2): 215–242. doi :10.1111/j.2517-6161.1958.tb00292.x. JSTOR  2983890.
• Кокс, Дэвид Р. (1966). «Некоторые процедуры, связанные с логистической качественной кривой отклика». В FN David (ред.). Research Papers in Probability and Statistics (Festschrift for J. Neyman) . Лондон: Wiley. С. 55–71.
• Крамер, Дж. С. (2002). Истоки логистической регрессии (PDF) (Технический отчет). Том 119. Институт Тинбергена. С. 167–178. doi :10.2139/ssrn.360300.
  • Опубликовано в: Cramer, JS (2004). "Ранние истоки модели логита". Исследования по истории и философии науки Часть C: Исследования по истории и философии биологических и биомедицинских наук . 35 (4): 613–626. doi :10.1016/j.shpsc.2004.09.003.
• Фишер, РА (1935). «Дело о нулевых выживших в пробит-анализах». Annals of Applied Biology . 22 : 164–165. doi :10.1111/j.1744-7348.1935.tb07713.x. Архивировано из оригинала 2014-04-30.
• Гэддум, Джон Х. (1933). Отчеты о биологических стандартах: Методы биологического анализа в зависимости от квантового отклика. III . Канцелярия Её Величества. OCLC  808240121.
• Тейл, Анри (1969). «Мультиномиальное расширение линейной логит-модели». International Economic Review . 10 (3): 251–59. doi :10.2307/2525642. JSTOR  2525642.
• Pearl, Raymond; Reed, Lowell J. (июнь 1920 г.). «О темпах роста населения Соединенных Штатов с 1790 г. и их математическом представлении». Труды Национальной академии наук . 6 (6): 275–288. Bibcode :1920PNAS....6..275P. doi : 10.1073/pnas.6.6.275 . PMC  1084522 . PMID  16576496.
• Wilson, EB ; Worcester, J. (1943). «Определение LD50 и его ошибки выборки в биоанализе». Труды Национальной академии наук Соединенных Штатов Америки . 29 (2): 79–85. Bibcode :1943PNAS...29...79W. doi : 10.1073/pnas.29.2.79 . PMC  1078563 . PMID  16588606.

• Агрести, Алан. (2002). Категориальный анализ данных . Нью-Йорк: Wiley-Interscience. ISBN 978-0-471-36093-3.
• Амемия, Такеши (1985). «Модели качественного реагирования». Advanced Econometrics . Oxford: Basil Blackwell. стр. 267–359. ISBN 978-0-631-13345-2.
• Балакришнан, Н. (1991). Справочник по логистической дистрибуции . Marcel Dekker, Inc. ISBN 978-0-8247-8587-1.
• Гурьеру, Кристиан (2000). «Простая дихотомия». Эконометрика качественных зависимых переменных . Нью-Йорк: Cambridge University Press. С. 6–37. ISBN 978-0-521-58985-7.
• Грин, Уильям Х. (2003). Эконометрический анализ, пятое издание . Prentice Hall. ISBN 978-0-13-066189-0.
• Хильбе, Джозеф М. (2009). Модели логистической регрессии . Chapman & Hall/CRC Press. ISBN 978-1-4200-7575-5.
• Хосмер, Дэвид (2013). Прикладная логистическая регрессия . Хобокен, Нью-Джерси: Wiley. ISBN 978-0-470-58247-3.
• Хауэлл, Дэвид С. (2010). Статистические методы в психологии, 7-е изд . Белмонт, Калифорния; Томсон Уодсворт. ISBN 978-0-495-59786-5.
• Педуцци, П.; Дж. Конкато; Э. Кемпер; Т. Р. Холфорд; А. Р. Файнстайн (1996). «Имитационное исследование количества событий на переменную в логистическом регрессионном анализе». Журнал клинической эпидемиологии . 49 (12): 1373–1379. doi : 10.1016/s0895-4356(96)00236-3 . PMID  8970487.
• Берри, Майкл Дж. А.; Линофф, Гордон (1997). Методы интеллектуального анализа данных для маркетинга, продаж и поддержки клиентов . Wiley.

Внешние ссылки

• Медиа, связанные с Логистическая регрессия на Wikimedia Commons
• Лекция по эконометрике (тема: модель Logit) на YouTube от Марка Тома
• Учебник по логистической регрессии
• mlelr: программное обеспечение на языке C для учебных целей