Проблема Беренса–Фишера

Математическая задача

Нерешенная проблема в статистике :

Необходимо ли приближение, аналогичное рассуждению Фишера, для решения проблемы Беренса–Фишера?

(еще нерешенные проблемы в статистике)

В статистике проблема Беренса –Фишера , названная в честь Вальтера-Ульриха Беренса и Рональда Фишера , представляет собой задачу интервальной оценки и проверки гипотез относительно разницы между средними значениями двух нормально распределенных совокупностей, когда дисперсии двух совокупностей не предполагаются равными, на основе двух независимых выборок.

Спецификация

Одна из трудностей при обсуждении проблемы Беренса–Фишера и предлагаемых решений заключается в том, что существует множество различных интерпретаций того, что подразумевается под «проблемой Беренса–Фишера». Эти различия касаются не только того, что считается релевантным решением, но даже основного утверждения рассматриваемого контекста.

Контекст

Пусть X ₁ , ...,  X _n и Y ₁ , ...,  Y _m будут выборками iid из двух совокупностей, которые обе принадлежат к одному и тому же семейству распределений «местоположение–масштаб» . Предполагается, что параметры масштаба неизвестны и не обязательно равны, и проблема состоит в том, чтобы оценить, можно ли обоснованно считать параметры местоположения равными. Леманн ^[1] утверждает, что «проблема Беренса–Фишера» используется как для этой общей формы модели, когда семейство распределений произвольно, так и для случая, когда делается ограничение нормальным распределением . В то время как Леманн обсуждает ряд подходов к более общей проблеме, в основном основанных на непараметрике, ^[2] большинство других источников, по-видимому, используют «проблему Беренса–Фишера» для обозначения только случая, когда распределение предполагается нормальным: большая часть этой статьи делает это предположение.

Требования к решениям

Были представлены решения проблемы Беренса–Фишера, которые используют либо классическую , либо байесовскую точку зрения вывода, и любое решение будет теоретически недействительным с точки зрения другой точки зрения. Если рассмотрение ограничивается только классическим статистическим выводом, можно искать решения проблемы вывода, которые просты в применении в практическом смысле, отдавая предпочтение этой простоте перед любой неточностью в соответствующих вероятностных утверждениях. Когда требуется точность уровней значимости статистических тестов, может быть дополнительное требование, чтобы процедура максимально использовала статистическую информацию в наборе данных. Хорошо известно, что точный тест может быть получен путем случайного отбрасывания данных из большего набора данных до тех пор, пока размеры выборок не станут равными, собирая данные попарно и беря различия, а затем используя обычный t-тест для проверки того, что среднее-разность равна нулю: очевидно, что это не будет «оптимальным» ни в каком смысле.

Задача указания интервальных оценок для этой проблемы — это задача, в которой частотный подход не может предоставить точное решение, хотя некоторые приближения доступны. Стандартные байесовские подходы также не могут предоставить ответ, который можно выразить в виде простых простых формул, но современные вычислительные методы байесовского анализа позволяют находить по существу точные решения. ^{[ необходима цитата ]} Таким образом, изучение проблемы может быть использовано для выяснения различий между частотным и байесовским подходами к интервальной оценке.

Краткое описание различных подходов

Подход Беренса и Фишера

Рональд Фишер в 1935 году ввел фидуциальный вывод ^{[3] [4]} , чтобы применить его к этой проблеме. Он сослался на более раннюю работу Вальтера-Ульриха Беренса от 1929 года. Беренс и Фишер предложили найти распределение вероятностей

${\displaystyle T\equiv {{\bar {x}}_{1}-{\bar {x}}_{2} \over {\sqrt {s_{1}^{2}/n_{1}+s_{2}^{2}/n_{2}}}}}$

где и — два выборочных средних значения , а s ₁ и s ₂ — их стандартные отклонения . См. распределение Беренса–Фишера . Фишер аппроксимировал распределение этого, игнорируя случайную вариацию относительных размеров стандартных отклонений, ${\displaystyle {\bar {x}}_{1}}$ ${\displaystyle {\bar {x}}_{2}}$

${\displaystyle {s_{1}/{\sqrt {n_{1}}} \over {\sqrt {s_{1}^{2}/n_{1}+s_{2}^{2}/n_{2}}}}.}$

Решение Фишера вызвало споры, поскольку оно не обладало свойством, согласно которому гипотеза о равных средних значениях была бы отклонена с вероятностью α, если бы средние значения были на самом деле равны. С тех пор было предложено много других методов решения этой проблемы, и было исследовано влияние на полученные доверительные интервалы. ^[5]

Приближенное решение Уэлча t

Широко используемый метод — метод Б. Л. Уэлча , ^[6], который, как и Фишер, работал в Лондонском университетском колледже . Дисперсия средней разности

${\displaystyle {\bar {d}}={\bar {x}}_{1}-{\bar {x}}_{2}}$

результаты в

${\displaystyle s_{\bar {d}}^{2}={\frac {s_{1}^{2}}{n_{1}}}+{\frac {s_{2}^{2}}{n_{2}}}.}$

Уэлч (1938) аппроксимировал распределение распределением Пирсона типа III (масштабированное распределение хи-квадрат ), первые два момента которого согласуются с моментом . Это относится к следующему числу степеней свободы (df), которое, как правило, не является целым числом: ${\displaystyle s_{\bar {d}}^{2}}$ ${\displaystyle s_{\bar {d}}^{2}}$

${\displaystyle \nu \approx {(\gamma _{1}+\gamma _{2})^{2} \over \gamma _{1}^{2}/(n_{1}-1)+\gamma _{2}^{2}/(n_{2}-1)}\quad {\text{ where }}\gamma _{i}=\sigma _{i}^{2}/n_{i}.}$

При нулевой гипотезе равных ожиданий, μ ₁ = μ ₂ , распределение статистики Беренса–Фишера T , которое также зависит от отношения дисперсии σ ₁ ² / σ ₂ ² , теперь может быть аппроксимировано распределением Стьюдента с этими ν степенями свободы. Но это ν содержит дисперсии совокупности σ _i ² , а они неизвестны. Следующая оценка заменяет только дисперсии совокупности на дисперсии выборки:

${\displaystyle {\hat {\nu }}\approx {\frac {(g_{1}+g_{2})^{2}}{g_{1}^{2}/(n_{1}-1)+g_{2}^{2}/(n_{2}-1)}}\quad {\text{ where }}g_{i}=s_{i}^{2}/n_{i}.}$

Это случайная величина. Распределение t со случайным числом степеней свободы не существует. Тем не менее, распределение Беренса–Фишера T можно сравнить с соответствующим квантилем распределения Стьюдента t с этими оценочными числами степеней свободы, , которое, как правило, не является целым числом. Таким образом, граница между областью принятия и отклонения тестовой статистики T вычисляется на основе эмпирических дисперсий s _i ² таким образом, что является их гладкой функцией. ${\displaystyle {\hat {\nu }}}$ ${\displaystyle {\hat {\nu }}}$

Этот метод также не дает точной номинальной ставки, но, как правило, не слишком далек от истины. ^{[ требуется ссылка ]} Однако, если дисперсии генеральной совокупности равны или если выборки довольно малы и дисперсии генеральной совокупности можно считать приблизительно равными, более точным будет использование t-критерия Стьюдента . ^{[ требуется ссылка ]}

Другие подходы

Было предложено несколько различных подходов к общей проблеме, некоторые из которых претендуют на «решение» некоторой версии проблемы. Среди них ^[7]

• Чепмен в 1950 году, ^[8]
• Прокофьева и Шишкина в 1974 году, ^[9]
• Дудевич и Ахмед в 1998 году. ^[10]
• Чан Вана в 2022 году. ^[11]

В сравнении выбранных методов, проведенном Дудевичем ^[7], было обнаружено, что процедура Дудевича–Ахмеда рекомендуется для практического использования.

Точные решения общих и обобщенных задач Беренса–Фишера

В течение нескольких десятилетий считалось, что точного решения общей проблемы Беренса–Фишера не существует. ^{[ необходима цитата ]} Однако в 1966 году было доказано, что у нее есть точное решение. ^[12] В 2018 году была доказана функция плотности вероятности обобщенного распределения Беренса–Фишера m средних значений и m различных стандартных ошибок из m выборок различных размеров из независимых нормальных распределений с различными средними значениями и дисперсиями, и в статье также были исследованы ее асимптотические приближения. ^[13] В последующей статье было показано, что классический парный t -тест является центральной проблемой Беренса–Фишера с ненулевым коэффициентом корреляции популяции, и была выведена ее соответствующая функция плотности вероятности путем решения связанной с ней нецентральной проблемы Беренса–Фишера с ненулевым коэффициентом корреляции популяции. ^[14] В ней также была решена более общая нецентральная проблема Беренса–Фишера с ненулевым коэффициентом корреляции популяции в приложении. ^[14]

Варианты

Был изучен небольшой вариант проблемы Беренса–Фишера. ^[15] В этом случае проблема заключается в том, чтобы, предположив, что два средних значения совокупности фактически одинаковы, сделать выводы об общем среднем значении: например, можно потребовать доверительный интервал для общего среднего значения.

Обобщения

Одно из обобщений проблемы включает многомерные нормальные распределения с неизвестными ковариационными матрицами и известно как многомерная проблема Беренса–Фишера . ^[16]

Непараметрическая задача Беренса–Фишера не предполагает , что распределения являются нормальными. ^{[17] [18]} Тесты включают тест Куккони 1968 года и тест Лепажа 1971 года.

Примечания

1. Леманн (1975) стр.95
2. Леманн (1975) Раздел 7
3. Фишер, РА (1935). «Фидуциальный аргумент в статистическом выводе». Annals of Eugenics . 8 (4): 391–398. doi :10.1111/j.1469-1809.1935.tb02120.x. hdl : 2440/15222 .
4. «Фидуциальный аргумент Р. А. Фишера и теорема Байеса Тедди Сейденфельда» (PDF) .
5. "Sezer, A. et al. Сравнение доверительных интервалов для проблемы Беренса–Фишера. Статистика. 2015".
6. Уэлч (1938, 1947)
7. Дудевич, Ма, Май и Су (2007)
8. Чепмен, Д. Г. (1950). «Некоторые два выборочных теста». Annals of Mathematical Statistics . 21 (4): 601–606. doi : 10.1214/aoms/1177729755 .
9. Прокофьев, В. Н.; Шишкин, А. Д. (1974). «Последовательная классификация нормальных множеств с неизвестными дисперсиями». Радиоинженерия. Электрон. Физика . 19 (2): 141–143.
10. Дудевич и Ахмед (1998, 1999)
11. Ван, Чан (2022). «Новый неасимптотический t-тест для задач Беренса-Фишера». arXiv : 2210.16473 [math.ST].
12. Кабе, Д. Г. (декабрь 1966 г.). «О точном распределении статистики Фишера-Бехрена-Велча». Метрика . 10 (1): 13–15. doi :10.1007/BF02613414. S2CID  120965543.
13. Сяо, Юншунь (22 марта 2018 г.). «О решении обобщенной проблемы Беренса-Фишера». Far East Journal of Theoretical Statistics . 54 (1): 21–140. doi :10.17654/TS054010021 . Получено 21 мая 2020 г. .
14. Xiao, Yongshun (12 декабря 2018 г.). «О решении нецентральной проблемы Беренса-Фишера с ненулевым коэффициентом корреляции населения». Far East Journal of Theoretical Statistics . 54 (6): 527–600. doi :10.17654/TS054060527. S2CID  125245802 . Получено 21 мая 2020 г. .
15. Янг, GA, Смит, RL (2005) Основы статистического вывода , CUP. ISBN 0-521-83971-8 (стр. 204) 
16. Беллони и Дидье (2008)
17. Бруннер, Э. (2000). «Непараметрическая задача Беренса–Фишера: асимптотическая теория и приближение малой выборки». Биометрический журнал . 42 : 17–25. doi :10.1002/(SICI)1521-4036(200001)42:1<17::AID-BIMJ17>3.0.CO;2-U.
18. Коничек, Франк (2015). "nparcomp: Программный пакет R для непараметрических множественных сравнений и одновременных доверительных интервалов". Журнал статистического программного обеспечения . 64 (9). doi : 10.18637/jss.v064.i09 . Получено 26 сентября 2016 г.

Ссылки

• Беренс, ВУ (1929). «Ein Beitrag zur Fehlerberechnung bei wenigen Beobachtungen» [Вклад в оценку ошибок с помощью небольшого количества наблюдений]. Landwirtschaftliche Jahrbücher . 68 . Берлин: Вигандт и Хемпель: 807–37.
• Беллони, А.; Дидье, Г. (2008). «О проблеме Беренса–Фишера: глобально сходящийся алгоритм и конечно-выборочное исследование тестов Вальда, LR и LM». Annals of Statistics . 36 (5): 2377–2408. arXiv : 0811.0672 . doi : 10.1214/07-AOS528. S2CID  15968707.
• Chang, CH; Pal, N (2008). «Повторный взгляд на проблему Беренса–Фишера: сравнение пяти методов тестирования». Communications in Statistics — Simulation and Computation . 37 (6): 1064–1085. doi :10.1080/03610910802049599. S2CID  32811488.
• Dudewicz, EJ; Ahmed, SU (1998). «Новое точное и асимптотически оптимальное решение проблемы Беренса–Фишера с таблицами». American Journal of Mathematical and Management Sciences . 18 (3–4): 359–426. doi :10.1080/01966324.1998.10737471.
• Dudewicz, EJ; Ahmed, SU (1999). "Новые точные и асимптотически оптимальные гетероскедастические статистические процедуры и таблицы, II". American Journal of Mathematical and Management Sciences . 19 (1–2): 157–180. doi : 10.1080/01966324.1999.10737478 .
• Dudewicz, EJ; Ma, Y.; Mai, SE; Su, H. (2007). «Точные решения проблемы Беренса–Фишера: асимптотически оптимальный и конечный выборочный эффективный выбор среди». Журнал статистического планирования и вывода . 137 (5): 1584–1605. doi :10.1016/j.jspi.2006.09.007.
• Фишер, РА (1935). «Фидуциальный аргумент в статистическом выводе». Annals of Eugenics . 8 (4): 391–398. doi :10.1111/j.1469-1809.1935.tb02120.x. hdl : 2440/15222 .
• Фишер, РА (1941). «Асимптотический подход к интегралу Беренса с дополнительными таблицами для d-теста значимости». Annals of Eugenics . 11 : 141–172. doi : 10.1111/j.1469-1809.1941.tb02281.x .
• Фрейзер, DAS; Руссо, Дж. (2008). «Студентизация и получение точных p-значений». Biometrika . 95 (1): 1–16. doi :10.1093/biomet/asm093.
• Леманн, Э. Л. (1975) Непараметрика: статистические методы, основанные на рангах , Holden-Day ISBN 0-8162-4996-6 , McGraw-Hill ISBN 0-07-037073-7  
• Рубен, Х. (2002) «Простое консервативное и надежное решение проблемы Беренса–Фишера», Санкхья: Индийский журнал статистики , серия A, 64 (1), 139–155.
• Пардо, JA; Пардо, MD (2007). «Имитационное исследование нового семейства тестовых статистик для проблемы Беренса–Фишера». Kybernetes . 36 (5–6): 806–816. doi :10.1108/03684920710749866.
• Sawilowsky, Shlomo S (2002). "Fermat, Schubert, Einstein, and Behrens–Fisher: The Probable Difference Between Two Means When σ1 ≠ σ2". Журнал современных прикладных статистических методов . 1 (2). doi : 10.22237/jmasm/1036109940 .
• Уэлч, Б. Л. (1938). «Значимость разницы между двумя средними значениями при неравных дисперсиях популяции». Biometrika . 29 (3/4): 350–62. doi :10.2307/2332010. JSTOR  2332010.
• Уэлч, Б. Л. (1947), «Обобщение задачи «Стьюдента» при наличии нескольких различных дисперсий популяции», Biometrika , 34 (1–2): 28–35, doi :10.1093/biomet/34.1-2.28, MR  0019277, PMID  20287819
• Воинов, В.; Никулин, М. (1995). «К вопросу о средних значениях взвешенных нормальных совокупностей». Вопрос . 19 (2): 7–20.
• Чжэн, SR; Ши, NZ; Ма, WQ (2010). «Статистический вывод о разнице или соотношении средних значений из гетероскедастических нормальных совокупностей». Журнал статистического планирования и вывода . 140 (5): 1236–1242. doi :10.1016/j.jspi.2009.11.010.

Внешние ссылки

• Донг, Б. Л. (2004) Проблема Беренса–Фишера: эмпирический подход к эконометрике, рабочий документ EWP0404, Университет Виктории