Частотный вывод

Теория Вероятности

Частотный вывод — это тип статистического вывода , основанного на частотной вероятности , который рассматривает «вероятность» в эквивалентных терминах «частоте» и делает выводы из выборочных данных посредством подчеркивания частоты или пропорции результатов в данных. Частотный вывод лежит в основе частотной статистики , в которой основаны устоявшиеся методологии проверки статистических гипотез и доверительных интервалов .

История частотной статистики

Первичная формулировка частотности исходит из предположения, что статистика может восприниматься как вероятностная частота. Эта точка зрения была в первую очередь разработана Рональдом Фишером и командой Ежи Неймана и Эгона Пирсона . Рональд Фишер внес вклад в частотную статистику, разработав частотную концепцию «проверки значимости», которая является изучением значимости меры статистики по сравнению с гипотезой. Нейман-Пирсон распространил идеи Фишера на множественные гипотезы, предположив, что отношение вероятностей гипотез при максимизации разницы между двумя гипотезами приводит к максимизации превышения заданного p-значения, а также обеспечивает основу ошибок типа I и типа II . Подробнее см. на странице основы статистики .

Определение

Для статистического вывода статистика, о которой мы хотим сделать выводы , это , где случайный вектор является функцией неизвестного параметра, . Параметр далее разбивается на ( ), где - интересующий параметр , а - мешающий параметр . Для конкретности, может быть средним значением совокупности, , а мешающий параметр - стандартным отклонением среднего значения совокупности, . ^[1] ${\displaystyle y\in Y}$ ${\displaystyle Y}$ ${\displaystyle \theta }$ ${\displaystyle \theta }$ ${\displaystyle \psi ,\lambda }$ ${\displaystyle \psi }$ ${\displaystyle \lambda }$ ${\displaystyle \psi }$ ${\displaystyle \mu }$ ${\displaystyle \lambda }$ ${\displaystyle \sigma }$

Таким образом, статистический вывод касается ожидания случайного вектора , . ${\displaystyle Y}$ ${\displaystyle E(Y)=E(Y;\theta )=\int yf_{Y}(y;\theta )dy}$

Для построения областей неопределенности в частотном выводе используется опорная точка , которая определяет область вокруг которой можно использовать для предоставления интервала для оценки неопределенности. Опорная точка — это вероятность, такая что для опорной точки, , которая является функцией, которая строго возрастает по , где — случайный вектор. Это позволяет, что для некоторого 0 < < 1, мы можем определить , что является вероятностью того, что опорная функция меньше некоторого четко определенного значения. Это подразумевает , где — верхний предел для . Обратите внимание, что — это диапазон результатов, которые определяют односторонний предел для , а это — двусторонний предел для , когда мы хотим оценить диапазон результатов, где может произойти. Это строго определяет доверительный интервал , который является диапазоном результатов, о которых мы можем делать статистические выводы. ${\displaystyle \psi }$ ${\displaystyle p}$ ${\displaystyle p(t,\psi )}$ ${\displaystyle \psi }$ ${\displaystyle t\in T}$ ${\displaystyle c}$ ${\displaystyle P\{p(T,\psi )\leq p_{c}^{*}\}}$ ${\displaystyle P\{\psi \leq q(T,c)\}=1-c}$ ${\displaystyle q(t,c)}$ ${\displaystyle 1-c}$ ${\displaystyle \psi }$ ${\displaystyle 1-c}$ ${\displaystyle \psi }$ ${\displaystyle 1-2c}$ ${\displaystyle \psi }$ ${\displaystyle \psi }$

Фишеровское сокращение и эксплуатационные критерии Неймана-Пирсона

Два дополнительных понятия в частотном выводе — это фишеровское сокращение и операционный критерий Неймана-Пирсона. Вместе эти понятия иллюстрируют способ построения частотных интервалов, которые определяют пределы для . Фишеровское сокращение — это метод определения интервала, в котором может находиться истинное значение , тогда как операционный критерий Неймана-Пирсона — это правило принятия решения о принятии априорных вероятностных предположений. ${\displaystyle \psi }$ ${\displaystyle \psi }$

Редукция Фишера определяется следующим образом:

• Определить функцию правдоподобия (обычно это просто сбор данных);
• Уменьшить до достаточной статистики той же размерности, что и ; ${\displaystyle S}$ ${\displaystyle \theta }$
• Найдите функцию , имеющую распределение, зависящее только от ; ${\displaystyle S}$ ${\displaystyle \psi }$
• Инвертируем это распределение (получим кумулятивную функцию распределения или CDF), чтобы получить пределы для произвольного набора уровней вероятности; ${\displaystyle \psi }$
• Используйте условное распределение данных, предоставленных неформально или формально, для оценки адекватности формулировки. ^[2] ${\displaystyle S=s}$

По сути, редукция Фишера предназначена для поиска того, где можно использовать достаточную статистику для определения диапазона результатов, которые могут возникнуть в распределении вероятностей, определяющем все потенциальные значения . Это необходимо для формулирования доверительных интервалов, где мы можем найти диапазон результатов, которые , вероятно, возникнут в долгосрочной перспективе. ${\displaystyle \psi }$ ${\displaystyle \psi }$ ${\displaystyle \psi }$

Операционный критерий Неймана-Пирона — это еще более конкретное понимание диапазона результатов, где можно сказать, что соответствующая статистика, , возникает в долгосрочной перспективе. Операционный критерий Неймана-Пирсона определяет вероятность того, что этот диапазон действительно будет адекватным или что диапазон будет неадекватным. Критерий Неймана-Пирсона определяет диапазон распределения вероятностей, который, если существует в этом диапазоне, все еще ниже истинной статистики популяции. Например, если распределение из редукции Фишера превышает порог, который мы считаем априори неправдоподобным, то оценка редукции Неймана-Пирсона этого распределения может быть использована для вывода, где рассмотрение исключительно распределений редукции Фишера может дать нам неточные результаты. Таким образом, редукция Неймана-Пирсона используется для нахождения вероятности ошибок типа I и типа II . ^[3] В качестве точки отсчета, дополнением к этому в байесовской статистике является критерий минимального байесовского риска . ${\displaystyle \psi }$ ${\displaystyle \psi }$

Поскольку критерии Неймана-Пирсона полагаются на нашу способность находить диапазон результатов, при которых вероятность возникновения вероятности велика, подход Неймана-Пирсона возможен только в том случае, если может быть достигнуто сокращение Фишера. ^[4] ${\displaystyle \psi }$

Экспериментальный дизайн и методология

Частотные выводы связаны с применением частотной вероятности к экспериментальному планированию и интерпретации, и в частности с представлением о том, что любой данный эксперимент можно рассматривать как один из бесконечной последовательности возможных повторений одного и того же эксперимента, каждое из которых способно давать статистически независимые результаты. ^[5] С этой точки зрения частотный подход к выводу выводов из данных фактически заключается в требовании, чтобы правильный вывод был сделан с заданной (высокой) вероятностью среди этого воображаемого набора повторений.

Однако точно такие же процедуры могут быть разработаны в слегка иной формулировке. Это та, где принимается предэкспериментальная точка зрения. Можно утверждать, что дизайн эксперимента должен включать, до проведения эксперимента, решения о том, какие именно шаги будут предприняты для достижения вывода из данных, которые еще предстоит получить. Эти шаги могут быть определены ученым, так что существует высокая вероятность достижения правильного решения, где, в этом случае, вероятность относится к еще не произошедшему набору случайных событий и, следовательно, не полагается на частотную интерпретацию вероятности. Эта формулировка обсуждалась Нейманом ^[6] и другими. Это особенно актуально, потому что значимость частотного теста может меняться при выборе модели, что является нарушением принципа правдоподобия.

Статистическая философия частотности

Частотность — это изучение вероятности с предположением, что результаты возникают с заданной частотой в течение некоторого периода времени или с повторной выборкой. Таким образом, частотный анализ должен быть сформулирован с учетом предположений проблемы, которую частотность пытается проанализировать. Это требует рассмотрения того, касается ли рассматриваемый вопрос понимания разнообразия статистики или определения истинного значения статистики. Разница между этими предположениями имеет решающее значение для интерпретации проверки гипотезы . Следующий параграф подробно рассматривает это.

В целом существует два лагеря статистических выводов: эпистемический подход и эпидемиологический подход . Эпистемический подход — это изучение изменчивости ; а именно, как часто мы ожидаем, что статистика будет отклоняться от некоторого наблюдаемого значения. Эпидемиологический подход занимается изучением неопределенности ; в этом подходе значение статистики фиксировано, но наше понимание этой статистики неполно. ^[7] Для конкретности представьте, что вы пытаетесь измерить котировку фондового рынка вместо оценки цены актива. Фондовый рынок колеблется так сильно, что попытки точно определить, где будет цена акций, бесполезны: фондовый рынок лучше понять, используя эпистемический подход, где мы можем попытаться количественно оценить его непостоянные движения. И наоборот, цена актива может не так сильно меняться изо дня в день: лучше определить истинную стоимость актива, а не находить диапазон цен, и поэтому эпидемиологический подход лучше. Разница между этими подходами нетривиальна для целей вывода.

Для эпистемического подхода мы формулируем проблему так, как будто мы хотим приписать вероятность гипотезе. Это можно сделать только с помощью байесовской статистики, где интерпретация вероятности проста, поскольку байесовская статистика обусловлена ​​всем пространством выборки, тогда как частотное тестирование касается всего экспериментального плана. Частотная статистика обусловлена ​​не только данными, но и экспериментальным планом . [ ^8] В частотной статистике пороговое значение для понимания частоты появления выводится из распределения семейства, используемого в экспериментальном плане. Например, биномиальное распределение и отрицательное биномиальное распределение могут использоваться для анализа одних и тех же данных, но поскольку их концы различны, частотный анализ реализует разные уровни статистической значимости для одних и тех же данных, которые предполагают разные распределения вероятностей. Это различие не возникает в байесовском выводе. Подробнее см. принцип правдоподобия , который частотная статистика по своей сути нарушает. ^[9]

Для эпидемиологического подхода необходимо обсудить центральную идею, лежащую в основе частотной статистики. Частотная статистика разработана таким образом, чтобы в долгосрочной перспективе можно было понять частоту статистики, а в долгосрочной перспективе можно было вывести диапазон истинного среднего значения статистики. Это приводит к фишеровскому сокращению и операционным критериям Неймана-Пирсона, обсуждавшимся выше. Когда мы определяем фишеровское сокращение и операционные критерии Неймана-Пирсона для любой статистики, мы оцениваем, по мнению этих авторов, вероятность того, что истинное значение статистики будет иметь место в заданном диапазоне результатов, предполагая ряд повторений нашего метода выборки. ^[8] Это позволяет делать вывод, где в долгосрочной перспективе мы можем определить, что объединенные результаты множественных частотных выводов означают, что 95% доверительный интервал буквально означает, что истинное среднее лежит в доверительном интервале 95% времени, но не то, что среднее находится в определенном доверительном интервале с 95% уверенностью. Это распространенное заблуждение.

Очень часто эпистемологический взгляд и эпидемиологический взгляд считаются взаимозаменяемыми. Это явно ложно. Во-первых, эпистемологический взгляд сосредоточен вокруг фишеровских тестов значимости, которые предназначены для предоставления индуктивных доказательств против нулевой гипотезы, в одном эксперименте, и определяется фишеровским p-значением. Напротив, эпидемиологический взгляд, проводимый с проверкой гипотез Неймана-Пирсона, предназначен для минимизации ошибок ложного принятия типа II в долгосрочной перспективе путем предоставления минимизации ошибок, которые работают в долгосрочной перспективе. Разница между ними имеет решающее значение, поскольку эпистемологический взгляд подчеркивает условия, при которых мы можем обнаружить, что одно значение является статистически значимым; в то же время эпидемиологический взгляд определяет условия, при которых долгосрочные результаты представляют действительные результаты. Это крайне разные выводы, потому что одноразовые эпистемические выводы не информируют о долгосрочных ошибках, а долгосрочные ошибки не могут использоваться для подтверждения того, являются ли одноразовые эксперименты разумными. Предположение о том, что одноразовые эксперименты являются следствием долгосрочных событий, является ошибочным, а предположение о том, что долгосрочные тенденции являются следствием индивидуальных экспериментов, является примером экологической ошибки. ^[10] ${\displaystyle H_{0}}$

Связь с другими подходами

Частотные выводы противопоставляются другим типам статистических выводов, таким как байесовские выводы и фидуциальные выводы . Хотя иногда считается, что « байесовский вывод » включает подход к выводам, ведущим к оптимальным решениям , здесь для простоты принят более ограниченный взгляд.

Байесовский вывод

Байесовский вывод основан на байесовской вероятности , которая рассматривает «вероятность» как эквивалент «определенности», и, таким образом, существенное различие между частотным выводом и байесовским выводом такое же, как и различие между двумя интерпретациями того, что означает «вероятность». Однако, где это уместно, байесовские выводы (в данном случае означающие применение теоремы Байеса ) используются теми, кто использует частотную вероятность .

Между частотным и байесовским подходами к выводу имеются два основных различия, которые не были включены в приведенное выше рассмотрение интерпретации вероятности:

1. В частотном подходе к выводу неизвестные параметры обычно рассматриваются как фиксированные, а не как случайные переменные . Напротив, байесовский подход позволяет связывать вероятности с неизвестными параметрами, где эти вероятности иногда могут иметь как частотную, так и байесовскую интерпретацию . Байесовский подход позволяет этим вероятностям иметь интерпретацию, представляющую убеждение ученого в том, что заданные значения параметра истинны (см. Байесовская вероятность - Персональные вероятности и объективные методы построения априорных данных ).
2. Результатом байесовского подхода может быть распределение вероятностей того, что известно о параметрах, учитывая результаты эксперимента или исследования. Результатом частотного подхода является либо решение из теста значимости , либо доверительный интервал .

Смотрите также

• Интуитивная статистика
• Проблема немецкого танка

Ссылки

1. Кокс (2006), стр. 1–2.
2. Кокс (2006), стр. 24, 47.
3. "OpenStax CNX". cnx.org . Получено 2021-09-14 .
4. Кокс (2006), стр. 24.
5. Эверитт (2002).
6. Ежи (1937), стр. 236, 333–380.
7. Romeijn, Jan-Willem (2017), «Философия статистики», в Zalta, Edward N. (ред.), The Stanford Encyclopedia of Philosophy (весна 2017 г.), Metaphysics Research Lab, Stanford University , получено 14 сентября 2021 г.
8. Wagenmakers et al. (2008).
9. Видакович, Брани. «Принцип правдоподобия» (PDF) .
10. Хаббард, Р.; Байарри, М.Дж. (2003). «Путаница в отношении мер доказательств (p) и ошибок (α) в классическом статистическом тестировании» (PDF) . Американский статистик . 57 : 171–182.

Библиография

• Кокс, DR (2006-08-01). Принципы статистического вывода . ISBN 0521685672.
• Эверитт, Б.С. (2002). Кембриджский словарь статистики . Издательство Кембриджского университета . ISBN 0-521-81099-X.
• Ежи, Нейман (1937). «Очерк теории статистической оценки, основанной на классической теории вероятностей». Philosophical Transactions of the Royal Society of London A. 236 ( 767): 236, 333–380. JSTOR  91337.
• Wagenmakers, Eric-Jan; Lee, Michael; Lodewyckx, Tom; Iverson, Geoffrey J. (2008), Hoijtink, Herbert; Klugkist, Irene; Boelen, Paul A. (ред.), "Bayesian Versus Frequentist Inference", Bayesian Evaluation of Informative Hypotheses , Statistics for Social and Behavioral Sciences, New York, NY: Springer, стр. 181–207, doi : 10.1007/978-0-387-09612-4_9, ISBN 978-0-387-09612-4