Статистическая модель

Тип математической модели

Статистическая модель — это математическая модель , которая воплощает набор статистических предположений относительно генерации выборочных данных (и аналогичных данных из более крупной совокупности ). Статистическая модель представляет, часто в значительно идеализированной форме, процесс генерации данных . ^[1] Когда речь идет конкретно о вероятностях , соответствующий термин — вероятностная модель . Все проверки статистических гипотез и все статистические оценки выводятся с помощью статистических моделей. В более общем смысле статистические модели являются частью основы статистического вывода . Статистическая модель обычно определяется как математическая связь между одной или несколькими случайными величинами и другими неслучайными величинами. Таким образом, статистическая модель является «формальным представлением теории» ( Герман Адер цитирует Кеннета Боллена ). ^[2]

Введение

Неформально статистическую модель можно рассматривать как статистическое предположение (или набор статистических предположений) с определенным свойством: предположение позволяет нам вычислить вероятность любого события . В качестве примера рассмотрим пару обычных шестигранных игральных костей . Мы изучим два различных статистических предположения относительно игральных костей.

Первое статистическое предположение таково: для каждой кости вероятность выпадения каждой грани (1, 2, 3, 4, 5 и 6) равна ⁠1/6⁠ . Исходя из этого предположения, мы можем рассчитать вероятность того, что на обеих костях выпадет число 5:  ⁠1/6⁠ × ⁠1/6⁠  =  ⁠1/36⁠ .  В более общем смысле, мы можем вычислить вероятность любого события: например, (1 и 2) или (3 и 3) или (5 и 6). Альтернативное статистическое предположение таково: для каждой кости вероятность выпадения грани 5 составляет ⁠1/8⁠ (потому что кости взвешены ). Исходя из этого предположения, мы можем вычислить вероятность того, что на обеих костях выпадет 5:  ⁠1/8⁠ × ⁠1/8⁠  =  ⁠1/64⁠ .  Однако мы не можем рассчитать вероятность любого другого нетривиального события, поскольку вероятности других лиц неизвестны.

Первое статистическое предположение представляет собой статистическую модель: потому что с одним предположением мы можем вычислить вероятность любого события. Альтернативное статистическое предположение не представляет собой статистическую модель: потому что с одним предположением мы не можем вычислить вероятность каждого события. В приведенном выше примере с первым предположением вычисление вероятности события является простым. Однако в некоторых других примерах вычисление может быть сложным или даже непрактичным (например, может потребоваться миллионы лет вычислений). Для того чтобы предположение представляло собой статистическую модель, такая сложность приемлема: выполнение вычисления не обязательно должно быть практически осуществимым, просто теоретически возможным.

Формальное определение

В математических терминах статистическая модель представляет собой пару ( ), где — множество возможных наблюдений, т. е. выборочное пространство , а — множество распределений вероятностей на . ^[3] Множество представляет все модели, которые считаются возможными. Обычно это множество параметризуется: . Множество определяет параметры модели. Если параметризация такова, что различные значения параметров приводят к различным распределениям, т. е. (другими словами, отображение является инъективным ), оно называется идентифицируемым . [ ^3] ${\displaystyle S,{\mathcal {P}}}$ ${\displaystyle S}$ ${\displaystyle {\mathcal {P}}}$ ${\displaystyle S}$ ${\displaystyle {\mathcal {P}}}$ ${\displaystyle {\mathcal {P}}=\{F_{\theta }:\theta \in \Theta \}}$ ${\displaystyle \Theta }$ ${\displaystyle F_{\theta _{1}}=F_{\theta _{2}}\Rightarrow \theta _{1}=\theta _{2}}$

В некоторых случаях модель может быть более сложной.

• В байесовской статистике модель расширяется путем добавления распределения вероятностей по пространству параметров . ${\displaystyle \Theta }$
• Статистическая модель иногда может различать два набора распределений вероятностей. Первый набор — это набор моделей, рассматриваемых для вывода. Второй набор — это набор моделей, которые могли бы сгенерировать данные, которые намного больше, чем . Такие статистические модели играют ключевую роль в проверке того, что данная процедура является надежной , т. е. что она не производит катастрофических ошибок, когда ее предположения о данных неверны. ${\displaystyle {\mathcal {Q}}=\{F_{\theta }:\theta \in \Theta \}}$ ${\displaystyle {\mathcal {P}}=\{F_{\lambda }:\lambda \in \Lambda \}}$ ${\displaystyle {\mathcal {Q}}}$

Пример

Предположим, что у нас есть популяция детей, причем возраст детей распределен равномерно в популяции. Рост ребенка будет стохастически связан с возрастом: например, когда мы знаем, что ребенку 7 лет, это влияет на вероятность того, что рост ребенка составит 1,5 метра. Мы могли бы формализовать эту связь в линейной регрессионной модели, например: рост _i  = b ₀  + b ₁ возраст _i  + ε _i , где b ₀ — отсекаемый отрезок, b ₁ — параметр, на который умножается возраст для получения прогноза роста, ε _i — ошибка, а i идентифицирует ребенка. Это подразумевает, что рост предсказывается по возрасту с некоторой ошибкой.

Допустимая модель должна быть согласована со всеми точками данных. Таким образом, прямая линия (рост _i  = b ₀  + b ₁ возраст _i ) не может быть допустимой для модели данных — если только она точно не соответствует всем точкам данных, т. е. все точки данных идеально лежат на прямой. Член ошибки ε _i , должен быть включен в уравнение, чтобы модель была согласована со всеми точками данных. Чтобы сделать статистический вывод , нам сначала нужно предположить некоторые распределения вероятностей для ε _i . Например, мы можем предположить, что распределения ε _i являются iid гауссовыми с нулевым средним. В этом случае модель будет иметь 3 параметра: b ₀ , b ₁ и дисперсию гауссова распределения. Мы можем формально указать модель в форме ( ) следующим образом. Пространство выборки , нашей модели включает набор всех возможных пар (возраст, рост). Каждое возможное значение  = ( b ₀ , b ₁ , σ ² ) определяет распределение на ; обозначим это распределение как . Если — множество всех возможных значений , то . (Параметризация идентифицируема, и это легко проверить.) ${\displaystyle S,{\mathcal {P}}}$ ${\displaystyle S}$ ${\displaystyle \theta }$ ${\displaystyle S}$ ${\displaystyle F_{\theta }}$ ${\displaystyle \Theta }$ ${\displaystyle \theta }$ ${\displaystyle {\mathcal {P}}=\{F_{\theta }:\theta \in \Theta \}}$

В этом примере модель определяется (1) указанием и (2) принятием некоторых предположений, относящихся к . Есть два предположения: что рост может быть аппроксимирован линейной функцией возраста; что ошибки в аппроксимации распределены как iid Гауссово. Предположения достаточны для указания — как они и должны делать. ${\displaystyle S}$ ${\displaystyle {\mathcal {P}}}$ ${\displaystyle {\mathcal {P}}}$

Общие замечания

Статистическая модель — это особый класс математических моделей . Что отличает статистическую модель от других математических моделей, так это то, что статистическая модель является недетерминированной . Таким образом, в статистической модели, заданной с помощью математических уравнений, некоторые переменные не имеют конкретных значений, но вместо этого имеют распределения вероятностей; т. е. некоторые переменные являются стохастическими . В приведенном выше примере с ростом детей ε является стохастической переменной; без этой стохастической переменной модель была бы детерминированной. Статистические модели часто используются даже тогда, когда моделируемый процесс генерации данных является детерминированным. Например, подбрасывание монеты , в принципе, является детерминированным процессом; тем не менее, его обычно моделируют как стохастический (с помощью процесса Бернулли ). Выбор подходящей статистической модели для представления заданного процесса генерации данных иногда чрезвычайно сложен и может потребовать знания как процесса, так и соответствующего статистического анализа. В связи с этим статистик сэр Дэвид Кокс сказал: «То, как осуществляется перевод предметной проблемы в статистическую модель, часто является наиболее важной частью анализа» ^{[4] .}

По мнению Кониси и Китагавы, статистическая модель преследует три цели: ^[5]

1. Прогнозы
2. Извлечение информации
3. Описание стохастических структур

Эти три цели по сути совпадают с тремя целями, указанными Френдли и Мейером: прогнозирование, оценка, описание. ^[6]

Размеры модели

Предположим, что у нас есть статистическая модель ( ) с . В обозначениях мы пишем, что где k — положительное целое число ( обозначает действительные числа ; в принципе могут использоваться и другие наборы). Здесь k называется размерностью модели. Модель называется параметрической, если имеет конечную размерность. ^{[ необходима цитата ]} Например, если мы предполагаем, что данные возникают из одномерного гауссовского распределения , то мы предполагаем, что ${\displaystyle S,{\mathcal {P}}}$ ${\displaystyle {\mathcal {P}}=\{F_{\theta }:\theta \in \Theta \}}$ ${\displaystyle \Theta \subseteq \mathbb {R} ^{k}}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle \Theta }$

${\displaystyle {\mathcal {P}}=\left\{F_{\mu ,\sigma }(x)\equiv {\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right):\mu \in \mathbb {R} ,\sigma >0\right\}}$.

В этом примере размерность k равна 2. В качестве другого примера предположим, что данные состоят из точек ( x , y ), которые, как мы предполагаем, распределены по прямой линии с iid гауссовыми остатками (с нулевым средним): это приводит к той же статистической модели, которая использовалась в примере с ростом детей. Размерность статистической модели равна 3: отсекаемый элемент линии, наклон линии и дисперсия распределения остатков. (Обратите внимание, что множество всех возможных линий имеет размерность 2, хотя геометрически линия имеет размерность 1.)

Хотя формально это один параметр, имеющий размерность k , иногда его рассматривают как состоящий из k отдельных параметров. Например, в случае одномерного гауссовского распределения формально это один параметр с размерностью 2, но часто его рассматривают как состоящий из 2 отдельных параметров — среднего значения и стандартного отклонения. Статистическая модель является непараметрической , если набор параметров имеет бесконечную размерность. Статистическая модель является полупараметрической , если она имеет как конечномерные, так и бесконечномерные параметры. Формально, если k — размерность, а n — число выборок, как полупараметрические, так и непараметрические модели имеют как . Если как , то модель является полупараметрической; в противном случае модель является непараметрической. ${\displaystyle \theta \in \Theta }$ ${\displaystyle \theta }$ ${\displaystyle \Theta }$ ${\displaystyle \Theta }$ ${\displaystyle k\rightarrow \infty }$ ${\displaystyle n\rightarrow \infty }$ ${\displaystyle k/n\rightarrow 0}$ ${\displaystyle n\rightarrow \infty }$

Параметрические модели являются наиболее часто используемыми статистическими моделями. Что касается полупараметрических и непараметрических моделей, сэр Дэвид Кокс сказал: «Они обычно включают меньше предположений о структуре и форме распределения, но обычно содержат сильные предположения о независимости». ^[7]

Вложенные модели

Две статистические модели являются вложенными, если первую модель можно преобразовать во вторую, наложив ограничения на параметры первой модели. Например, набор всех гауссовых распределений имеет вложенный в него набор гауссовых распределений с нулевым средним: мы ограничиваем среднее в наборе всех гауссовых распределений, чтобы получить распределения с нулевым средним. В качестве второго примера, квадратичная модель

y  = b ₀  + b ₁ x  + b ₂ x ²  + ε, ε ~ 𝒩(0, σ ² )

имеет вложенную в него линейную модель

у  = б ₀  + б ₁ х  + ε, ε ~ 𝒩(0, σ ² )

— ограничиваем параметр b ₂ равным 0.

В обоих этих примерах первая модель имеет более высокую размерность, чем вторая (в первом примере модель с нулевым средним имеет размерность 1). Так бывает часто, но не всегда. В качестве примера, где они имеют одинаковую размерность, набор распределений Гаусса с положительным средним вложен в набор всех распределений Гаусса; они оба имеют размерность 2.

Сравнение моделей

Сравнение статистических моделей имеет основополагающее значение для большинства статистических выводов . Кониси и Китагава (2008, стр. 75) утверждают: «Большинство проблем в статистическом выводе можно считать проблемами, связанными со статистическим моделированием. Обычно они формулируются как сравнения нескольких статистических моделей». К общим критериям сравнения моделей относятся следующие: R2 , фактор Байеса , информационный критерий Акаике и тест отношения правдоподобия вместе с его обобщением — относительным правдоподобием .

Другой способ сравнения двух статистических моделей — это понятие дефицита, введенное Люсьеном Ле Камом . ^[8]

Смотрите также

• Математический портал

• Все модели неверны
• Модель блока
• Концептуальная модель
• Планирование экспериментов
• Детерминированная модель
• Эффективная теория
• Прогностическая модель
• Методология моделирования реакции
• SackSEER
• Научная модель
• Статистический вывод
• Спецификация статистической модели
• Статистическая проверка модели
• Статистическая теория
• Случайный процесс

Примечания

1. Кокс 2006, стр. 178
2. Адер 2008, стр. 280
3. МакКаллах 2002
4. Кокс 2006, стр. 197
5. Кониси и Китагава 2008, §1.1
6. Френдли и Мейер 2016, §11.6
7. Кокс 2006, стр. 2
8. Le Cam, Lucien (1964). «Достаточность и приближенная достаточность». Annals of Mathematical Statistics . 35 (4). Institute of Mathematical Statistics : 1429. doi : 10.1214/aoms/1177700372 .

Ссылки

• Adèr, HJ (2008), «Моделирование», в Adèr, HJ; Mellenbergh, GJ (ред.), Консультирование по методам исследования: помощник консультанта , Huizen, Нидерланды: Johannes van Kessel Publishing, стр. 271–304.
• Бернхэм, К. П.; Андерсон, Д. Р. (2002), Выбор модели и вывод мультимодельных моделей (2-е изд.), Springer-Verlag.
• Кокс, DR (2006), Принципы статистического вывода , Cambridge University Press.
• Френдли, М .; Мейер, Д. (2016), Дискретный анализ данных с помощью R , Чепмен и Холл.
• Кониси, С.; Китагава, Г. (2008), Информационные критерии и статистическое моделирование , Springer.
• МакКаллах, П. (2002), «Что такое статистическая модель?» (PDF) , Annals of Statistics , 30 (5): 1225–1310, doi : 10.1214/aos/1035844977.

Дальнейшее чтение

• Дэвисон, AC (2008), Статистические модели , Cambridge University Press
• Дртон, М.; Салливант, С. (2007), «Алгебраические статистические модели» (PDF) , Statistica Sinica , 17 : 1273–1297
• Фридман, DA (2009), Статистические модели , Cambridge University Press
• Хелланд, И.С. (2010), Шаги к единой основе для научных моделей и методов , World Scientific
• Kroese, DP ; Chan, JCC (2014), Статистическое моделирование и вычисления , Springer
• Шмуэли, Г. (2010), «Объяснять или предсказывать?», Статистическая наука , 25 (3): 289–310, arXiv : 1101.0891 , doi : 10.1214/10-STS330, S2CID  15900983