Пробит-модель

Статистическая регрессия, в которой зависимая переменная может принимать только два значения.

В статистике пробит -модель — это тип регрессии , где зависимая переменная может принимать только два значения, например, женат или не женат. Это слово представляет собой комбинацию слов « вероятность » + «un it» . ^[1] Цель модели — оценить вероятность того, что наблюдение с определенными характеристиками попадет в конкретную из категорий; более того, классификация наблюдений на основе их предсказанных вероятностей является разновидностью модели бинарной классификации .

Пробит - модель — популярная спецификация модели двоичного отклика . По существу, он решает тот же набор проблем, что и логистическая регрессия, используя аналогичные методы. При рассмотрении в рамках обобщенной линейной модели пробит-модель использует функцию пробит- связи . ^[2] Чаще всего она оценивается с использованием процедуры максимального правдоподобия , ^[3] такая оценка называется пробит-регрессией .

Концептуальная основа

Предположим, что переменная ответа Y является двоичной , то есть может иметь только два возможных результата , которые мы обозначим как 1 и 0. Например, Y может обозначать наличие/отсутствие определенного условия, успех/отказ какого-либо устройства, ответ да/ нет в опросе и т. д. У нас также есть вектор регрессоров X , которые , как предполагается, влияют на результат Y. В частности, мы предполагаем, что модель имеет вид

${\displaystyle P(Y=1\mid X)=\Phi (X^{\operatorname {T} }\beta ),}$

где P — вероятность , а — кумулятивная функция распределения ( CDF ) стандартного нормального распределения . Параметры β обычно оцениваются по принципу максимального правдоподобия . ${\displaystyle \Phi }$

Можно мотивировать пробит-модель как модель скрытой переменной . Предположим, существует вспомогательная случайная величина

${\displaystyle Y^{\ast }=X^{T}\beta +\varepsilon ,}$

где е ~ N (0, 1). Тогда Y можно рассматривать как индикатор того, является ли эта скрытая переменная положительной:

${\displaystyle Y=\left.{\begin{cases}1&Y^{*}>0\\0&{\text{otherwise}}\end{cases}}\right\}=\left.{\begin{cases}1&X^{\operatorname {T} }\beta +\varepsilon >0\\0&{\text{otherwise}}\end{cases}}\right\}}$

Использование стандартного нормального распределения не приводит к потере общности по сравнению с использованием нормального распределения с произвольным средним значением и стандартным отклонением, поскольку добавление фиксированной суммы к среднему значению может быть компенсировано вычитанием той же суммы из точки пересечения и умножением стандартное отклонение на фиксированную сумму можно компенсировать путем умножения весов на ту же сумму.

Чтобы убедиться в эквивалентности двух моделей, обратите внимание, что

${\displaystyle {\begin{aligned}P(Y=1\mid X)&=P(Y^{\ast }>0)\\&=P(X^{\operatorname {T} }\beta +\varepsilon >0)\\&=P(\varepsilon >-X^{\operatorname {T} }\beta )\\&=P(\varepsilon <X^{\operatorname {T} }\beta )&{\text{by symmetry of the normal distribution}}\\&=\Phi (X^{\operatorname {T} }\beta )\end{aligned}}}$

Оценка модели

Оценка максимального правдоподобия

Предположим, набор данных содержит n независимых статистических единиц, соответствующих модели, приведенной выше. ${\displaystyle \{y_{i},x_{i}\}_{i=1}^{n}}$

Для одного наблюдения, зависящего от вектора входных данных этого наблюдения, мы имеем:

${\displaystyle P(y_{i}=1|x_{i})=\Phi (x_{i}'\beta )}$^{[ нужны разъяснения ]}

${\displaystyle P(y_{i}=0|x_{i})=1-\Phi (x_{i}'\beta )}$

где – вектор входных данных, а – вектор коэффициентов. ${\displaystyle x_{i}}$ ${\displaystyle K\times 1}$ ${\displaystyle \beta }$ ${\displaystyle K\times 1}$

Тогда вероятность единственного наблюдения равна ${\displaystyle (y_{i},x_{i})}$

${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}}$

На самом деле, если , то , а если , то . ${\displaystyle y_{i}=1}$ ${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=\Phi (x_{i}^{\operatorname {T} }\beta )}$ ${\displaystyle y_{i}=0}$ ${\displaystyle {\mathcal {L}}(\beta ;y_{i},x_{i})=1-\Phi (x_{i}^{\operatorname {T} }\beta )}$

Поскольку наблюдения независимы и одинаково распределены, то вероятность всей выборки или совместное правдоподобие будет равна произведению правдоподобий отдельных наблюдений:

${\displaystyle {\mathcal {L}}(\beta ;Y,X)=\prod _{i=1}^{n}\left(\Phi (x_{i}^{\operatorname {T} }\beta )^{y_{i}}[1-\Phi (x_{i}^{\operatorname {T} }\beta )]^{(1-y_{i})}\right)}$

Таким образом, совместная логарифмическая функция правдоподобия равна

${\displaystyle \ln {\mathcal {L}}(\beta ;Y,X)=\sum _{i=1}^{n}{\bigg (}y_{i}\ln \Phi (x_{i}^{\operatorname {T} }\beta )+(1-y_{i})\ln \!{\big (}1-\Phi (x_{i}^{\operatorname {T} }\beta ){\big )}{\bigg )}}$

Оценка , которая максимизирует эту функцию, будет непротиворечивой , асимптотически нормальной и эффективной при условии, что она существует и не является сингулярной. Можно показать, что эта логарифмическая функция правдоподобия является глобально вогнутой по , и поэтому стандартные численные алгоритмы оптимизации быстро сходятся к уникальному максимуму. ${\displaystyle {\hat {\beta }}}$ ${\displaystyle \operatorname {E} [XX^{\operatorname {T} }]}$ ${\displaystyle \beta }$

Асимптотическое распределение для имеет вид ${\displaystyle {\hat {\beta }}}$

${\displaystyle {\sqrt {n}}({\hat {\beta }}-\beta )\ {\xrightarrow {d}}\ {\mathcal {N}}(0,\,\Omega ^{-1}),}$

где

${\displaystyle \Omega =\operatorname {E} {\bigg [}{\frac {\varphi ^{2}(X^{\operatorname {T} }\beta )}{\Phi (X^{\operatorname {T} }\beta )(1-\Phi (X^{\operatorname {T} }\beta ))}}XX^{\operatorname {T} }{\bigg ]},\qquad {\hat {\Omega }}={\frac {1}{n}}\sum _{i=1}^{n}{\frac {\varphi ^{2}(x_{i}^{\operatorname {T} }{\hat {\beta }})}{\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }})(1-\Phi (x_{i}^{\operatorname {T} }{\hat {\beta }}))}}x_{i}x_{i}^{\operatorname {T} },}$^{[ нужна цитата ]}

и представляет собой функцию плотности вероятности ( PDF ) стандартного нормального распределения. ${\displaystyle \varphi =\Phi '}$

Также доступны полупараметрические и непараметрические методы максимального правдоподобия для пробит-типа и других связанных моделей. ^[4]

Метод минимального хи-квадрата Берксона

Этот метод можно применять только тогда, когда имеется много наблюдений переменной отклика, имеющей одинаковое значение вектора регрессоров (такую ​​ситуацию можно назвать «много наблюдений на ячейку»). Более конкретно модель можно сформулировать следующим образом. ${\displaystyle y_{i}}$ ${\displaystyle x_{i}}$

Предположим, что среди n наблюдений имеется только T различных значений регрессоров, которые можно обозначить как . Пусть будет число наблюдений с и количество таких наблюдений с . Мы предполагаем, что на каждую «ячейку» действительно приходится «много» наблюдений: для каждого . ${\displaystyle \{y_{i},x_{i}\}_{i=1}^{n}}$ ${\displaystyle \{x_{(1)},\ldots ,x_{(T)}\}}$ ${\displaystyle n_{t}}$ ${\displaystyle x_{i}=x_{(t)},}$ ${\displaystyle r_{t}}$ ${\displaystyle y_{i}=1}$ ${\displaystyle t,\lim _{n\rightarrow \infty }n_{t}/n=c_{t}>0}$

Обозначим

${\displaystyle {\hat {p}}_{t}=r_{t}/n_{t}}$

${\displaystyle {\hat {\sigma }}_{t}^{2}={\frac {1}{n_{t}}}{\frac {{\hat {p}}_{t}(1-{\hat {p}}_{t})}{\varphi ^{2}{\big (}\Phi ^{-1}({\hat {p}}_{t}){\big )}}}}$

Тогда минимальная оценка хи-квадрат Берксона является обобщенной оценкой наименьших квадратов в регрессии с весами : ${\displaystyle \Phi ^{-1}({\hat {p}}_{t})}$ ${\displaystyle x_{(t)}}$ ${\displaystyle {\hat {\sigma }}_{t}^{-2}}$

${\displaystyle {\hat {\beta }}={\Bigg (}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}x_{(t)}^{\operatorname {T} }{\Bigg )}^{-1}\sum _{t=1}^{T}{\hat {\sigma }}_{t}^{-2}x_{(t)}\Phi ^{-1}({\hat {p}}_{t})}$

Можно показать, что эта оценка непротиворечива (при n → ∞ и фиксированном T ), асимптотически нормальна и эффективна. ^{[ нужна цитация ]} Его преимуществом является наличие формулы в замкнутой форме для оценки. Однако этот анализ имеет смысл проводить только тогда, когда отдельные наблюдения недоступны, а есть только их совокупные подсчеты , , и (например, при анализе избирательного поведения). ${\displaystyle r_{t}}$ ${\displaystyle n_{t}}$ ${\displaystyle x_{(t)}}$

Выборка Гиббса

Выборка Гиббса пробит-модели возможна, поскольку в моделях регрессии обычно используются нормальные априорные распределения весов, и это распределение сопряжено с нормальным распределением ошибок (и, следовательно, скрытых переменных Y ^* ). Модель можно описать как

${\displaystyle {\begin{aligned}{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {b} _{0},\mathbf {B} _{0})\\[3pt]y_{i}^{\ast }\mid \mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)\\[3pt]y_{i}&={\begin{cases}1&{\text{if }}y_{i}^{\ast }>0\\0&{\text{otherwise}}\end{cases}}\end{aligned}}}$

Отсюда мы можем определить необходимые полные условные плотности:

${\displaystyle {\begin{aligned}\mathbf {B} &=(\mathbf {B} _{0}^{-1}+\mathbf {X} ^{\operatorname {T} }\mathbf {X} )^{-1}\\[3pt]{\boldsymbol {\beta }}\mid \mathbf {y} ^{\ast }&\sim {\mathcal {N}}(\mathbf {B} (\mathbf {B} _{0}^{-1}\mathbf {b} _{0}+\mathbf {X} ^{\operatorname {T} }\mathbf {y} ^{\ast }),\mathbf {B} )\\[3pt]y_{i}^{\ast }\mid y_{i}=0,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[y_{i}^{\ast }<0]\\[3pt]y_{i}^{\ast }\mid y_{i}=1,\mathbf {x} _{i},{\boldsymbol {\beta }}&\sim {\mathcal {N}}(\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }},1)[y_{i}^{\ast }\geq 0]\end{aligned}}}$

Результат для приведен в статье о байесовской линейной регрессии , хотя и указан в других обозначениях. ${\displaystyle {\boldsymbol {\beta }}}$

Единственная сложность заключается в последних двух уравнениях. Обозначение — скобка Айверсона , иногда письменная или подобная. Это указывает на то, что распределение необходимо усечь в пределах заданного диапазона и соответствующим образом изменить масштаб. В данном конкретном случае возникает усеченное нормальное распределение . Выборка из этого распределения зависит от того, насколько она усечена. Если остается большая часть исходной массы, выборку можно легко выполнить с помощью выборки с отбраковкой — просто выберите число из неусеченного распределения и отклоните его, если оно выходит за пределы ограничения, налагаемого усечением. Однако если отбор проб осуществляется только из небольшой доли исходной массы (например, если отбор проб осуществляется из одного из хвостов нормального распределения — например, если оно составляет около 3 или более и желательна отрицательная выборка), то это будет неэффективно и становится необходимым прибегнуть к другим алгоритмам выборки. Общая выборка из усеченного нормального значения может быть достигнута с использованием аппроксимации нормального CDF и функции пробита , а в R есть функция для генерации усеченно-нормальных выборок. ${\displaystyle [y_{i}^{\ast }<0]}$ ${\displaystyle {\mathcal {I}}(y_{i}^{\ast }<0)}$ ${\displaystyle \mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }}}$rtnorm()

Оценка модели

Пригодность оцененной бинарной модели можно оценить, подсчитав количество истинных наблюдений, равное 1, и число, равное нулю, для которых модель присваивает правильную прогнозируемую классификацию, обрабатывая любую оцененную вероятность выше 1/2 (или ниже 1/ 2) как присвоение предсказания 1 (или 0). Подробности см . в разделе Логистическая регрессия § Модель .

Производительность при неправильной спецификации

Рассмотрим формулировку пробит-модели со скрытыми переменными. Когда дисперсия условного on не постоянна, а зависит от , возникает проблема гетероскедастичности . Например, предположим, что и где – непрерывная положительная объясняющая переменная. В условиях гетероскедастичности пробит-оценка обычно несовместима, и большинство тестов на коэффициенты недействительны. Что еще более важно, оценка для также становится противоречивой. Чтобы решить эту проблему, исходную модель необходимо преобразовать так, чтобы она была гомоскедастической. Например, в том же примере можно переписать как , где . Следовательно, выполнение пробита генерирует непротиворечивую оценку условной вероятности. ${\displaystyle \varepsilon }$ ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle y^{*}=\beta _{0}+B_{1}x_{1}+\varepsilon }$ ${\displaystyle \varepsilon \mid x\sim N(0,x_{1}^{2})}$ ${\displaystyle x_{1}}$ ${\displaystyle \beta }$ ${\displaystyle P(y=1\mid x)}$ ${\displaystyle 1[\beta _{0}+\beta _{1}x_{1}+\varepsilon >0]}$ ${\displaystyle 1[\beta _{0}/x_{1}+\beta _{1}+\varepsilon /x_{1}>0]}$ ${\displaystyle \varepsilon /x_{1}\mid x\sim N(0,1)}$ ${\displaystyle P(y=1\mid x)=\Phi (\beta _{1}+\beta _{0}/x_{1})}$ ${\displaystyle (1,1/x_{1})}$ ${\displaystyle P(y=1\mid x).}$

Когда предположение, которое нормально распределено, не выполняется, возникает проблема неправильной спецификации функциональной формы : если модель по-прежнему оценивается как пробит-модель, оценки коэффициентов являются противоречивыми. Например, если в истинной модели следует логистическое распределение , но модель оценивается по пробиту, оценки, как правило, будут меньше истинного значения. Однако несогласованность оценок коэффициентов практически не имеет значения, поскольку оценки частных эффектов будут близки к оценкам, данным истинной логит-моделью. ^[5] ${\displaystyle \varepsilon }$ ${\displaystyle \beta }$ ${\displaystyle \varepsilon }$ ${\displaystyle \partial P(y=1\mid x)/\partial x_{i'}}$

Чтобы избежать проблемы неправильной спецификации распределения, можно принять общее предположение о распределении для термина ошибки, так что в модель можно включить множество различных типов распределения. Затраты — более тяжелые вычисления и более низкая точность при увеличении количества параметров. ^[6] В большинстве случаев на практике, когда форма распределения определена неправильно, оценки коэффициентов противоречивы, но оценки условной вероятности и частных эффектов по-прежнему очень хороши. ^{[ нужна цитата ]}

Можно также использовать полупараметрические или непараметрические подходы, например, с помощью методов локального правдоподобия или непараметрических методов квазиправдоподобия, которые позволяют избежать предположений о параметрической форме индексной функции и устойчивы к выбору функции связи (например, пробит или логит). ^[4]

История

Модель пробита обычно приписывают Честеру Блиссу , который ввел термин «пробит» в 1934 году, ^[7] и Джону Гаддуму (1933), который систематизировал более ранние работы. ^[8] Однако основная модель восходит к закону Вебера-Фехнера Густава Фехнера , опубликованному Фехнером (1860 г.), и неоднократно переоткрывалась до 1930-х годов; см. Finney (1971, глава 3.6) и Aitchison & Brown (1957, глава 1.2). ^[8]

Быстрый метод вычисления оценок максимального правдоподобия для пробит-модели был предложен Рональдом Фишером в качестве приложения к работе Блисса в 1935 году. ^[9]

Смотрите также

• Обобщенная линейная модель
• Ограниченная зависимая переменная
• Логит-модель
• Полиномиальный пробит
• Многомерные пробит -модели
• Упорядоченный пробит и упорядоченная логит- модель
• Разделение (статистика)
• Модель Тобита

Рекомендации

1. Оксфордский словарь английского языка , 3-е изд. св пробит (статья от июня 2007 г.): Bliss, CI (1934). «Метод пробитов». Наука . 79 (2037): 38–39. Бибкод : 1934Sci....79...38B. дои : 10.1126/science.79.2037.38. PMID  17813446. Эти произвольные единицы вероятности получили название «пробиты».
2. Агрести, Алан (2015). Основы линейных и обобщенных линейных моделей . Нью-Йорк: Уайли. стр. 183–186. ISBN 978-1-118-73003-4.
3. Олдрич, Джон Х.; Нельсон, Форрест Д.; Адлер, Э. Скотт (1984). Модели линейной вероятности, логита и пробита. Мудрец. стр. 48–65. ISBN 0-8039-2133-0.
4. Пак, Бён У.; Симар, Леопольд; Зеленюк, Валентин (2017). «Непараметрическая оценка динамических моделей дискретного выбора для данных временных рядов» (PDF) . Вычислительная статистика и анализ данных . 108 : 97–120. дои : 10.1016/j.csda.2016.10.024.
5. Грин, WH (2003), Эконометрический анализ, Прентис Холл, Аппер-Сэддл-Ривер, Нью-Джерси.
6. Для получения более подробной информации см.: Каппе О., Мулен Э. и Райден Т. (2005): «Вывод в скрытых марковских моделях», Springer-Verlag New York, Глава 2.
7. Блисс, CI (1934). «Метод пробитов». Наука . 79 (2037): 38–39. Бибкод : 1934Sci....79...38B. дои : 10.1126/science.79.2037.38. ПМИД  17813446.
8. Крамер 2002, с. 7.
9. Фишер, РА (1935). «Случай нулевых выживших в анализах пробита». Анналы прикладной биологии . 22 : 164–165. doi :10.1111/j.1744-7348.1935.tb07713.x. Архивировано из оригинала 30 апреля 2014 г.

• Эйчисон, Джон; Браун, Джеймс Алан Калверт (1957). Логнормальное распределение: с особым упором на его использование в экономике. Университетское издательство. ISBN 978-0-521-04011-2.
• Крамер, Дж. С. (2002). Истоки логистической регрессии (PDF) (Технический отчет). Том. 119. Институт Тинбергена. стр. 167–178. дои : 10.2139/ssrn.360300.
  • Опубликовано: Крамер, Дж.С. (2004). «Ранние истоки логит-модели». Исследования по истории и философии науки. Часть C: Исследования по истории и философии биологических и биомедицинских наук . 35 (4): 613–626. дои :10.1016/j.shpsc.2004.09.003.
• Фехнер, Густав Теодор (1860). Elemente der Psychophysik [ Элементы психофизики ]. Том. группа 2. Лейпциг: Breitkopf und Härtel.
• Финни, диджей (1971). Пробитный анализ .

дальнейшее чтение

• Альберт, Дж. Х.; Чиб, С. (1993). «Байесовский анализ данных бинарных и полихотомических ответов». Журнал Американской статистической ассоциации . 88 (422): 669–679. дои : 10.1080/01621459.1993.10476321. JSTOR  2290350.
• Амемия, Такеши (1985). «Модели качественного ответа». Продвинутая эконометрика . Оксфорд: Бэзил Блэквелл. стр. 267–359. ISBN 0-631-13345-3.
• Гурьеру, Кристиан (2000). «Простая дихотомия». Эконометрика качественных зависимых переменных . Нью-Йорк: Издательство Кембриджского университета. стр. 6–37. ISBN 0-521-58985-1.
• Ляо, Тим Футинг (1994). Интерпретация вероятностных моделей: логит, пробит и другие обобщенные линейные модели . Мудрец. ISBN 0-8039-4999-5.
• МакКаллах, Питер ; Джон Нелдер (1989). Обобщенные линейные модели . Лондон: Чепмен и Холл. ISBN 0-412-31760-5.

Внешние ссылки

• СМИ, связанные с моделью Probit, на Викискладе?
• Лекция Марка Тома по эконометрике (тема: Модель Probit) на YouTube