stringtranslate.com

Статистика правдоподобия

Правдоподобная статистика или правдоподобие — это подход к статистике , который исключительно или преимущественно использует функцию правдоподобия . Статистика правдоподобия — более второстепенная школа, чем основные подходы байесовской статистики и частотной статистики , но у нее есть некоторые приверженцы и приложения. Центральной идеей правдоподобия является принцип правдоподобия : данные интерпретируются как доказательства , а сила доказательств измеряется функцией правдоподобия. Помимо этого, существуют существенные различия внутри правдоподобных подходов: «ортодоксальные» правдоподобные специалисты рассматривают данные только как доказательства и не используют их в качестве основы для статистических выводов , в то время как другие делают выводы, основанные на правдоподобии, но без использования байесовского вывода или частотного вывода . Таким образом, правдоподобие подвергается критике либо за то, что оно не обеспечивает основу для убеждений или действий (если оно не позволяет сделать выводы), либо за то, что оно не удовлетворяет требованиям этих других школ.

Функция правдоподобия также используется в байесовской статистике и частотной статистике, но они различаются по способу ее использования. Некоторые сторонники правдоподобия рассматривают использование вероятности как альтернативу другим подходам, в то время как другие считают его дополняющим и совместимым с другими подходами; см. § Связь с другими теориями.

Связь с другими теориями

Хотя правдоподобие представляет собой отдельный подход к статистическим выводам, его можно соотносить с другими теориями и методологиями статистики или противопоставлять им. Вот некоторые примечательные связи:

  1. Байесовская статистика: Байесовская статистика — это альтернативный подход к статистическому выводу, который включает априорную информацию и обновляет ее с использованием наблюдаемых данных для получения апостериорных вероятностей. Правдоподобие и байесовская статистика совместимы в том смысле, что оба метода используют функцию правдоподобия. Однако они различаются в своем подходе к предварительной информации. Байесовская статистика явно включает в анализ априорные убеждения, тогда как правдоподобие фокусируется исключительно на функции правдоподобия без указания предварительного распределения.
  2. Частотная статистика. Частотная статистика, также известная как классический или частотный вывод, является еще одной важной основой статистического анализа. Частотные методы подчеркивают свойства повторной выборки и фокусируются на таких понятиях, как несмещенность, последовательность и проверка гипотез. Правдоподобие можно рассматривать как отход от традиционных частотных методов, поскольку оно помещает функцию правдоподобия в основу статистических выводов. Методы, основанные на правдоподобии, обеспечивают мост между правдоподобным подходом и частотным подходом, используя отношения правдоподобия для проверки гипотез и построения доверительных интервалов.
  3. Статистика Фишера: Правдоподобие имеет глубокие связи со статистической философией Рональда Фишера . [1] Фишер ввел понятие правдоподобия и его максимизации как критерия оценки параметров. В подходе Фишера особое внимание уделялось концепции достаточности и оценке максимального правдоподобия (MLE). Правдоподобие можно рассматривать как расширение статистики Фишера, уточняющее и расширяющее использование правдоподобия в статистических выводах.
  4. Теория информации : Теория информации, разработанная Клодом Шенноном, обеспечивает математическую основу для количественной оценки информационного содержания и коммуникации. Понятие энтропии в теории информации связано с функцией правдоподобия и критерием AIC. AIC, который включает в себя штраф за сложность модели, можно рассматривать как теоретико-информационный подход к выбору модели и баланс между соответствием модели и ее сложностью.
  5. Теория принятия решений . Теория принятия решений сочетает в себе статистические выводы и принятие решений в условиях неопределенности. Он учитывает компромисс между рисками и потенциальными потерями в процессах принятия решений. Правдоподобие можно интегрировать с теорией принятия решений, чтобы принимать решения на основе функции правдоподобия, например, выбирать модель с наибольшей вероятностью или оценивать различные варианты решений на основе связанных с ними вероятностей.

Критика

Хотя статистика, основанная на правдоподобии, широко используется и имеет множество преимуществ, она не лишена критики. Вот некоторые распространенные критические замечания в отношении правдоподобной статистики:

  1. Зависимость от модели. Вывод на основе правдоподобия во многом зависит от выбора конкретной статистической модели. [2] Если выбранная модель неточно отражает истинный процесс генерации данных, полученные оценки и выводы могут быть предвзятыми или вводящими в заблуждение. Неправильная спецификация модели может привести к неверным выводам, особенно в сложных реальных сценариях, где истинная модель может быть неизвестна или ее трудно определить.
  2. Сложность интерпретации. Статистика, основанная на правдоподобии, фокусируется на оптимизации функции правдоподобия для оценки параметров, но она не может обеспечить интуитивно понятные или легко интерпретируемые оценки. Оценочные параметры могут не иметь прямой и осмысленной интерпретации в контексте изучаемой проблемы. Это может затруднить практикующим специалистам передачу результатов нетехнической аудитории или принятие практических решений на основе оценок.
  3. Чувствительность к размеру выборки . Методы, основанные на правдоподобии, могут быть чувствительны к размеру выборки данных. В ситуациях с небольшим размером выборки функция правдоподобия может сильно меняться, что приводит к нестабильным оценкам. Эта нестабильность также может повлиять на процесс выбора модели, поскольку тест отношения правдоподобия или информационные критерии могут не работать должным образом при небольших размерах выборки.
  4. Допущение независимости: вывод на основе правдоподобия часто предполагает, что наблюдаемые данные независимы и одинаково распределены (IID). Однако во многих реальных сценариях точки данных могут демонстрировать зависимость или корреляцию. Игнорирование этой зависимости может привести к необъективным оценкам или неточной проверке гипотез.
  5. Недостаточная надежность: методы, основанные на правдоподобии, не всегда устойчивы к нарушениям допущений модели или выбросам в данных. Если данные отклоняются от предполагаемого распределения или присутствуют экстремальные наблюдения, эти выбросы могут сильно повлиять на оценки, что приведет к ненадежным результатам.
  6. Вычислительная сложность. Оценка параметров на основе функций правдоподобия может потребовать больших вычислительных ресурсов, особенно для сложных моделей, больших наборов данных или сильно нелинейных систем. [3] Алгоритмы оптимизации, используемые для максимизации функции правдоподобия, могут потребовать значительных вычислительных ресурсов или могут не сходиться к глобальному максимуму, что приводит к неоптимальным оценкам.
  7. Отсутствие количественной оценки неопределенности: вывод на основе правдоподобия часто дает точечные оценки параметров без явной количественной оценки неопределенности. Хотя для аппроксимации неопределенности можно использовать такие методы, как доверительные интервалы или стандартные ошибки, они основаны на предположениях, которые не всегда верны. С другой стороны, байесовские методы обеспечивают более формальную и последовательную основу для количественной оценки неопределенности.

История

Правдоподобие как отдельная школа восходит к Эдвардсу (1972), который дает систематическое рассмотрение статистики, основанное на правдоподобии. Это основано на значительных более ранних работах; современный обзор см. в Dempster (1972).

Хотя сравнение отношений вероятностей датируется ранней статистикой и вероятностью, в частности байесовским выводом , разработанным Пьером-Симоном Лапласом в конце 1700-х годов, вероятность как отдельная концепция возникла благодаря Рональду Фишеру в Фишере (1921). Вероятность играла важную роль в статистике Фишера, но он также разработал и использовал множество методов, основанных на частоте маловероятности. Его поздние работы, особенно Фишер (1955), больше подчеркивают вероятность и могут считаться предшественниками систематической теории правдоподобия.

Принцип правдоподобия был предложен в 1962 году несколькими авторами, в частности Барнардом, Дженкинсом и Уинстеном (1962), Бирнбаумом (1962) и Сэвиджем (1962), а затем последовал закон правдоподобия в книге «Хакинг» (1965); они заложили основу правдоподобия. См. Принцип правдоподобия § История ранней истории.

В то время как версия правдоподобия Эдвардса рассматривала правдоподобие как единственное свидетельство, чему следовал Ройалл (1997), другие предлагали выводы, основанные только на правдоподобии, особенно как расширение оценки максимального правдоподобия. Примечателен Джон Нелдер , который заявил в книге Нелдер (1999, стр. 264):

По крайней мере раз в год я слышу, как кто-то на собрании говорит, что существует два режима вывода: частотный и байесовский. То, что подобная чушь так регулярно пропагандируется, показывает, как много нам нужно сделать. Начнем с того, что существует процветающая школа вероятностного вывода, к которой я принадлежу.

К учебникам, использующим правдоподобный подход, относятся следующие: Kalbfleisch (1985), Azzalini (1996), Pawitan (2001), Rohde (2014) и Held & Sabanés Bové (2014). Сборник соответствующих статей представлен Taper & Lele (2004).

Смотрите также

Рекомендации

  1. ^ Эфрон, Б. (февраль 1986 г.). «Почему не все байесовцы?». Американский статистик . 40 (1): 1. дои : 10.2307/2683105. ISSN  0003-1305.
  2. ^ Фительсон, Бранден (24 марта 2007 г.). «Правдоподобие, байесианство и реляционное подтверждение». Синтезируйте . 156 (3): 473–489. дои : 10.1007/s11229-006-9134-9. ISSN  0039-7857.
  3. ^ Дригней, Дорин; Форест, Крис Э.; Нычка, Дуг (1 декабря 2008 г.). «Оценка параметров трудоемкой нелинейной регрессии с применением к моделированию климата». Анналы прикладной статистики . 2 (4). arXiv : 0901.3665 . дои : 10.1214/08-aoas210. ISSN  1932-6157.

дальнейшее чтение

Внешние ссылки