Основы статистики состоят из математической и философской основы аргументов и выводов, сделанных с использованием статистики . Это включает в себя обоснование методов статистического вывода , оценки и проверки гипотез , количественную оценку неопределенности в выводах статистических аргументов и интерпретацию этих выводов в вероятностных терминах. Действительная основа может быть использована для объяснения статистических парадоксов, таких как парадокс Симпсона , обеспечения точного описания наблюдаемых статистических законов [ 1] и руководства по применению статистических выводов в социальных и научных приложениях .
Статистический вывод решает вопросы, связанные с анализом и интерпретацией данных. Примеры включают использование байесовского вывода вместо частого вывода ; различие между «проверкой значимости» Фишера и « проверкой гипотез» Неймана - Пирсона ; и следует ли соблюдать принцип правдоподобия . Некоторые из этих вопросов остаются предметом нерешенных дебатов на протяжении двух столетий. [2] Другие достигли прагматического консенсуса в отношении конкретных приложений, таких как использование байесовских методов для подбора сложных экологических моделей. [3]
Bandyopadhyay & Forster [4] описывают четыре статистические парадигмы : классическую статистику (или статистику ошибок), байесовскую статистику , статистику, основанную на правдоподобии , и использование информационного критерия Айкена в качестве статистической основы. Совсем недавно Джудея Перл вновь представила формальную математику для определения причинности в статистических системах, которая устраняет фундаментальные ограничения как байесовского метода, так и метода Неймана-Пирсона.
Во второй четверти 20 века развитие классической статистики привело к появлению двух конкурирующих моделей индуктивного статистического тестирования . [5] [6] Достоинства этих моделей широко обсуждались [7] на протяжении более 25 лет до кончины Фишера. Хотя обычно преподается и используется гибридный подход, сочетающий элементы обоих методов, философские вопросы, поднятые в ходе дебатов, остаются нерешенными.
Фишер сыграл значительную роль в популяризации тестирования значимости посредством своих публикаций, таких как « Статистические методы для научных работников » в 1925 году и « План экспериментов » в 1935 году . . Проверка значимости – это вероятностная форма дедуктивного вывода , подобная Modus tollens . Упрощенную формулировку теста можно описать так: «Если доказательства в достаточной степени противоречат гипотезе , гипотеза отвергается». На практике статистика вычисляется на основе экспериментальных данных, и вероятность получения значения, превышающего эту статистику, в модели по умолчанию или « нулевой » модели сравнивается с заранее определенным порогом. Этот порог представляет собой требуемый уровень разногласий (обычно устанавливается соглашением). Одним из распространенных применений этого метода является определение того, имеет ли лечение заметный эффект, на основе сравнительного эксперимента . В этом случае нулевая гипотеза соответствует отсутствию эффекта лечения , подразумевая, что группа, получавшая лечение, и контрольная группа взяты из одной и той же популяции . Статистическая значимость измеряет вероятность и не учитывает практическую значимость. Его можно рассматривать как критерий статистического отношения сигнал/шум . Важно отметить, что тест не может доказать гипотезу (об отсутствии эффекта лечения ), но может предоставить доказательства против нее. Метод основан на формулировании воображаемой бесконечной популяции, представляющей нулевую гипотезу, в рамках указанной статистической модели.
Критерий значимости Фишермана включает одну гипотезу, но выбор статистики теста требует понимания соответствующих направлений отклонения от гипотетической модели.
Нейман и Пирсон совместно работали над проблемой выбора наиболее подходящей гипотезы, основываясь исключительно на экспериментальных данных, которые отличались от проверки значимости. Их самая известная совместная работа, опубликованная в 1933 году, [9] представила лемму Неймана-Пирсона , которая утверждает, что соотношение вероятностей служит эффективным критерием выбора гипотезы (при этом выбор порога произволен). В статье продемонстрирована оптимальность t-критерия Стьюдента , одного из тестов значимости. Нейман считал, что проверка гипотез представляет собой обобщение и улучшение проверки значимости. Обоснование их методов можно найти в их совместных работах. [10]
Проверка гипотез предполагает рассмотрение нескольких гипотез и выбор одной из них, что похоже на принятие решения с несколькими вариантами ответов. Отсутствие доказательств не является непосредственным фактором, который следует принимать во внимание. Метод основан на предположении о повторной выборке из одной и той же популяции (классическое предположение о более частом посещении), хотя Фишер критиковал это предположение (Рубин, 2020). [11]
Продолжительность спора позволила всесторонне обсудить различные принципиальные вопросы в области статистики.
Повторная выборка одной и той же совокупности
Ошибки второго рода
Индуктивное поведение
Атака Фишера на индуктивное поведение оказалась во многом успешной, потому что он выбрал поле битвы. Хотя оперативные решения обычно принимаются на основе множества критериев (например, стоимости), научные выводы экспериментов обычно делаются только на основе вероятности. Теория фидуциарного вывода Фишера ошибочна
Чисто вероятностная теория тестов требует альтернативной гипотезы. Нападки Фишера на ошибки второго рода со временем утихли. За прошедшие годы статистика отделила исследовательское исследование от подтверждающего. В нынешних условиях концепция ошибок типа II используется в расчетах мощности для определения размера выборки подтверждающих гипотез .
Атака Фишера, основанная на более частой вероятности, не удалась, но не осталась без результата. Он выделил конкретный случай (таблица 2×2), когда две школы тестирования достигли разных результатов. Этот случай — один из нескольких, которые до сих пор вызывают беспокойство. Комментаторы полагают, что «правильный» ответ зависит от контекста. [14] Фидуциальная вероятность не преуспела, поскольку практически не имела сторонников, в то время как более частая вероятность остается основной интерпретацией.
Атака Фишера на индуктивное поведение оказалась во многом успешной, потому что он выбрал поле битвы. В то время как «оперативные решения» обычно принимаются на основе множества критериев (например, стоимости), «научные выводы» в результате экспериментов обычно делаются на основе только вероятности.
Во время этого разговора Фишер также обсудил требования к индуктивному выводу, в частности критикуя функции стоимости, которые наказывают ошибочные суждения. Нейман в ответ упомянул об использовании таких функций Гауссом и Лапласом. Эти споры возникли через 15 лет после того, как в учебниках начала преподаваться гибридная теория статистического тестирования.
Фишер и Нейман придерживались разных взглядов на основы статистики (хотя оба они выступали против байесовской точки зрения): [14]
Фишер и Нейман расходились во взглядах и, возможно, в языке. Фишер был ученым и интуитивным математиком, и индуктивные рассуждения были для него естественными. Нейман, с другой стороны, был строгим математиком, который полагался на дедуктивные рассуждения, а не на расчеты вероятностей, основанные на экспериментах. [5] Следовательно, существовало внутреннее столкновение между прикладными и теоретическими подходами (между наукой и математикой).
В 1938 году Нейман переехал на западное побережье Соединенных Штатов Америки, фактически прекратив свое сотрудничество с Пирсоном и их работу по проверке гипотез. [5] Последующие разработки в этой области осуществлялись другими исследователями.
К 1940 году в учебниках начал предлагаться гибридный подход, сочетающий в себе элементы проверки значимости и проверки гипотез. [16] Однако ни один из основных участников не принимал непосредственного участия в дальнейшем развитии гибридного подхода, который в настоящее время преподается во вводной статистике. [6]
Впоследствии статистика развилась в различные направления, включая теорию принятия решений, байесовскую статистику, исследовательский анализ данных, робастную статистику и непараметрическую статистику. Проверка гипотезы Неймана-Пирсона внесла значительный вклад в теорию принятия решений, которая широко используется, особенно в статистическом контроле качества. Проверка гипотез также расширила сферу ее применения, включив в нее априорные вероятности, придав ей байесовский характер. Хотя проверка гипотез Неймана-Пирсона превратилась в абстрактный математический предмет, преподаваемый на уровне аспирантов, [17] большая часть того, что преподается и используется в студенческом образовании под эгидой проверки гипотез, может быть приписана Фишеру.
В последние десятилетия между двумя классическими школами тестирования не было серьезных конфликтов, хотя время от времени критика и споры сохраняются. Однако маловероятно, что одна теория статистического тестирования полностью вытеснит другую в обозримом будущем.
Гибридный подход, сочетающий в себе элементы обеих конкурирующих школ тестирования, можно интерпретировать по-разному. Некоторые рассматривают это как объединение двух математически дополняющих друг друга идей [14] , в то время как другие видят в этом ошибочный союз философски несовместимых концепций. [18] Подход Фишера имел определенные философские преимущества, в то время как Нейман и Пирсон делали упор на строгую математику. Проверка гипотез остается предметом споров для некоторых пользователей, но наиболее широко распространенный альтернативный метод — доверительные интервалы — основан на тех же математических принципах.
Из-за исторического развития тестирования не существует единого авторитетного источника, который полностью описывал бы гибридную теорию в том виде, в каком она обычно практикуется в статистике. Кроме того, терминология, используемая в этом контексте, может быть непоследовательной. Эмпирические данные показывают, что отдельные лица, в том числе студенты и преподаватели вводных курсов по статистике, часто имеют ограниченное понимание смысла проверки гипотез. [19]
В течение долгого времени существовали две различные интерпретации вероятности: одна основана на объективных доказательствах, а другая — на субъективной степени убежденности. Спор между Гауссом и Лапласом мог состояться более 200 лет назад, породив две конкурирующие школы статистики. Классическая статистика вывода возникла в основном во второй четверти 20-го века [6] в основном в ответ на спорный принцип безразличия, используемый в то время в байесовской теории вероятности. Возрождение байесовского вывода было реакцией на ограничения частой вероятности, что привело к дальнейшему развитию и реакциям.
Хотя философские интерпретации имеют долгую историю, специфическая статистическая терминология появилась относительно недавно. Термины «байесовский» и «частый» стали стандартизированы во второй половине 20 века. [20] Однако терминология может сбивать с толку, поскольку «классическая» интерпретация вероятности соответствует байесовским принципам, в то время как «классическая» статистика следует часто используемому подходу. Более того, даже внутри термина «самый частый» существуют различия в интерпретации, различающиеся в философии и физике.
Сложные детали философских интерпретаций вероятностей исследуются в других источниках. В области статистики эти альтернативные интерпретации позволяют анализировать различные наборы данных с использованием различных методов, основанных на различных моделях, с целью достижения несколько разных целей. При сравнении конкурирующих школ в статистике принимаются во внимание прагматические критерии, выходящие за рамки философских соображений.
Фишер и Нейман сыграли важную роль в разработке частотных (классических) методов. [5] В то время как Фишер имел уникальную интерпретацию вероятности, которая отличалась от байесовских принципов, Нейман строго придерживался частотного подхода. В области байесовской статистической философии, математики и методов де Финетти, [21], Джеффрис , [22] и Сэвидж [23] внесли заметный вклад в 20-м веке. Сэвидж сыграл решающую роль в популяризации идей де Финетти в англоязычных регионах и создании строгой байесовской математики. В 1965 году двухтомная работа Денниса Линдли под названием «Введение в вероятность и статистику с байесовской точки зрения» сыграла жизненно важную роль в представлении широкой аудитории байесовских методов. За три поколения статистика значительно продвинулась вперед, и взгляды первых авторов не обязательно считаются авторитетными в настоящее время.
В более раннем описании кратко освещаются частые выводы, которые включают в себя «проверку значимости» Фишера и «проверку гипотезы» Неймана-Пирсона. Частые выводы включают в себя различные точки зрения и позволяют делать научные выводы, оперативные решения и оценивать параметры с доверительными интервалами или без них .
Классическое распределение частот предоставляет информацию о вероятности наблюдаемых данных. Применяя теорему Байеса , вводится более абстрактная концепция, которая предполагает оценку вероятности гипотезы (связанной с теорией) с учетом данных. Эта концепция, ранее называвшаяся «обратной вероятностью», реализуется посредством байесовского вывода. Байесовский вывод включает обновление оценки вероятности гипотезы по мере появления новых доказательств. Он явно учитывает как доказательства, так и предыдущие убеждения, что позволяет включать несколько наборов доказательств.
Частотники и байесовцы используют разные вероятностные модели. Частые обычно рассматривают параметры как фиксированные, но неизвестные, тогда как байесовцы приписывают этим параметрам распределения вероятностей. В результате байесианцы обсуждают вероятности, которые часто не признаются. Байесианцы рассматривают вероятность теории, тогда как истинные частотисты могут только оценить соответствие доказательств теории. Например, часто не утверждается, что с вероятностью 95% истинное значение параметра попадает в доверительный интервал; скорее, они заявляют, что 95% доверительных интервалов охватывают истинное значение.
И частая, и байесовская школы подвергаются математической критике, и ни одна из них не принимает такую критику с готовностью. Например, парадокс Штейна подчеркивает сложность определения «плоского» или «неинформативного» априорного распределения вероятностей в многомерных пространствах. [2] Хотя байесианцы воспринимают это как нечто отходящее от их фундаментальной философии, они часто сталкиваются с противоречиями, парадоксами и неблагоприятным математическим поведением. Частые путешественники могут объяснить большинство этих проблем. Некоторые «проблемные» сценарии, такие как оценка изменчивости веса стада слонов на основе одного измерения («слоны Басу»), служат примерами крайних случаев, которые не поддаются статистической оценке. Принцип правдоподобия был спорной ареной дискуссий.
И частая, и байесовская школы продемонстрировали заметные достижения в решении практических задач. Классическая статистика, опирающаяся на механические калькуляторы и специализированные печатные таблицы, может похвастаться более длительной историей получения результатов. С другой стороны, байесовские методы показали замечательную эффективность при анализе последовательно выборочной информации, такой как данные радаров и гидролокаторов. Некоторые байесовские методы, а также некоторые распространенные в последнее время методы, такие как бутстреп, требуют вычислительных возможностей, которые стали широко доступны за последние несколько десятилетий. Продолжается дискуссия относительно интеграции байесовского и часто встречающихся подходов [25] , хотя высказывались опасения по поводу интерпретации результатов и потенциального уменьшения методологического разнообразия.
Байесовцы разделяют общую позицию против ограничений частоты, но они разделены на различные философские лагеря (эмпирические, иерархические, объективные, личные и субъективные), каждый из которых подчеркивает разные аспекты. Философ статистики с точки зрения частого подхода наблюдал переход от статистической области к философским интерпретациям вероятности за последние два поколения. [27] Некоторые считают, что успехи, достигнутые с помощью байесовских приложений, недостаточно оправдывают соответствующую философскую структуру. [28] Байесовские методы часто разрабатывают практические модели, которые отклоняются от традиционных выводов и минимально полагаются на философию. [29] Ни распространенная, ни байесовская философская интерпретация вероятности не могут считаться полностью надежными. Распространенную точку зрения критикуют за то, что она является чрезмерно жесткой и ограничительной, в то время как байесовская точка зрения может включать, среди прочего, как объективные, так и субъективные элементы.
В обычном использовании вероятность часто считается синонимом вероятности. Однако, по статистике, это не так. В статистике вероятность относится к переменным данным при фиксированной гипотезе, тогда как вероятность относится к переменным гипотезам при фиксированном наборе данных. Например, при повторных измерениях с помощью линейки при фиксированных условиях каждый набор наблюдений соответствует распределению вероятностей, и наблюдения можно рассматривать как выборку из этого распределения после частой интерпретации вероятности. С другой стороны, набор наблюдений может также возникнуть в результате выборки различных распределений на основе разных условий наблюдения. Вероятностная связь между фиксированной выборкой и переменным распределением, вытекающая из переменной гипотезы, называется правдоподобием и представляет собой байесовский взгляд на вероятность. Например, набор измерений длины может представлять собой показания, снятые наблюдателями с конкретными характеристиками и условиями.
Вероятность - это концепция, которая была введена и развита Фишером на протяжении более 40 лет, хотя существуют более ранние ссылки на эту концепцию, и Фишер ее не поддерживал всерьез. [34] Впоследствии эта концепция была принята и существенно пересмотрена Джеффрисом . [35] В 1962 году Бирнбаум «доказал» принцип правдоподобия, основанный на посылках, которые были широко приняты статистиками, [36] хотя его доказательство было предметом споров со стороны статистиков и философов. Примечательно, что к 1970 году Бирнбаум отверг одну из этих предпосылок ( принцип обусловленности ), а также отказался от принципа правдоподобия из-за их несовместимости с часто встречающейся «концепцией достоверности статистических данных». [37] [38] Принцип правдоподобия утверждает, что вся информация в выборке содержится в функции правдоподобия , которая считается действительным распределением вероятностей байесовцами, но не частым.
Некоторые тесты значимости, используемые частотниками, не соответствуют принципу правдоподобия. Байесовцы, с другой стороны, принимают этот принцип, поскольку он соответствует их философской точке зрения (возможно, в ответ на частый дискомфорт). Подход правдоподобия совместим с байесовским статистическим выводом, где апостериорное распределение Байеса для параметра получается путем умножения априорного распределения на функцию правдоподобия с использованием теоремы Байеса. [34] Часто интерпретируют принцип правдоподобия неблагоприятно, поскольку он предполагает отсутствие заботы о надежности доказательств. Принцип правдоподобия, согласно байесовской статистике, подразумевает, что информация о схеме эксперимента, используемая для сбора доказательств, не учитывается при статистическом анализе данных. [39] Некоторые байесовцы, в том числе Сэвидж, [ необходима ссылка ] признают это следствие уязвимостью.
Самые ярые сторонники принципа правдоподобия утверждают, что он обеспечивает более прочную основу для статистики по сравнению с альтернативами, представленными байесовским и частыми подходами. [40] Среди этих сторонников есть некоторые статистики и философы науки. [41] Хотя байесовцы признают важность правдоподобия для вычислений, они утверждают, что апостериорное распределение вероятностей служит подходящей основой для вывода. [42]
Инференциальная статистика опирается на статистические модели . Например, классическая проверка гипотез часто основывалась на предположении о нормальности данных. Чтобы уменьшить зависимость от этого предположения, была разработана робастная и непараметрическая статистика. С другой стороны, байесовская статистика интерпретирует новые наблюдения на основе предшествующих знаний, предполагая преемственность между прошлым и настоящим. План эксперимента предполагает некоторое знание факторов, которые необходимо контролировать, варьировать, рандомизировать и наблюдать. Статистики осознают проблемы установления причинно-следственной связи, часто заявляя, что « корреляция не подразумевает причинно-следственную связь », что является скорее ограничением моделирования, чем математическим ограничением.
Поскольку статистика и наборы данных стали более сложными, [a] [b] возникли вопросы относительно достоверности моделей и выводов, сделанных на их основе. Существует широкий спектр противоречивых мнений о моделировании.
Модели могут быть основаны на научной теории или специальном анализе данных, в каждой из которых используются разные методы. У каждого подхода есть сторонники. [44] Сложность модели — это компромисс, и менее субъективные подходы, такие как информационный критерий Айкена и байесовский информационный критерий, направлены на достижение баланса. [45]
Были высказаны опасения даже по поводу простых моделей регрессии , используемых в социальных науках, поскольку множество предположений, лежащих в основе достоверности моделей, часто не упоминаются и не проверяются. В некоторых случаях благоприятное сравнение наблюдений и модели считается достаточным. [46]
Байесовская статистика настолько фокусируется на апостериорной вероятности, что игнорирует фундаментальное сравнение наблюдений и модели. [ сомнительно ] [29]
Традиционные модели, основанные на наблюдениях, часто не справляются со многими важными проблемами, требуя использования более широкого спектра моделей, в том числе алгоритмических. «Если модель представляет собой плохую имитацию природы, выводы могут быть неверными». [47]
Моделирование часто осуществляется неадекватно, с использованием неправильных методов, а отчетность о моделях зачастую не соответствует требованиям. [48]
Учитывая отсутствие прочного консенсуса по поводу философского обзора статистического моделирования, многие статистики придерживаются предостерегающих слов Джорджа Бокса : « Все модели неверны , но некоторые из них полезны » .
Краткое введение в основы статистики можно найти у Stuart, A.; старый, Дж. К. (1994). «Глава 8 - Вероятность и статистический вывод» в книге Кендалла «Передовая теория статистики», том I: Теория распределения (6-е изд.), Опубликовано Эдвардом Арнольдом .
В своей книге «Статистика как принципиальный аргумент» Роберт П. Абельсон представляет точку зрения, согласно которой статистика служит стандартизированным методом разрешения разногласий между учеными, которые в противном случае могли бы участвовать в бесконечных дебатах о достоинствах своих позиций. С этой точки зрения статистику можно рассматривать как форму риторики. Однако эффективность статистических методов зависит от консенсуса всех участвующих сторон относительно выбранного подхода. [49]
... цель статистики - организовать полезный аргумент на основе количественных данных, используя форму принципиальной риторики.
{{cite book}}: CS1 maint: multiple names: authors list (link){{cite book}}: CS1 maint: multiple names: authors list (link)Основные компоненты – это эмпирический подход, тогда как факторный анализ и моделирование структурными уравнениями, как правило, являются теоретическими подходами (стр. 27).
