Гармоническое среднее значение p

Статистический метод многократного тестирования

Гармоническое среднее p -значение ^{[1] [2] [3]} (HMP) — это статистический метод решения проблемы множественных сравнений , который контролирует частоту ошибок по строгому семейству ^[2] (это утверждение было оспорено ^[4] ). Он улучшает мощность коррекции Бонферрони , выполняя комбинированные тесты, т. е. проверяя, являются ли группы p -значений статистически значимыми, как метод Фишера . ^[5] Однако он избегает ограничительного предположения о том, что p - значения независимы , в отличие от метода Фишера. ^{[2] [3]} Следовательно, он контролирует частоту ложноположительных результатов , когда тесты являются зависимыми, за счет меньшей мощности (т. е. более высокой частоты ложноотрицательных результатов ), когда тесты являются независимыми. ^[2] Помимо предоставления альтернативы таким подходам, как коррекция Бонферрони , которая контролирует строгую частоту ошибок по семейству , он также предоставляет альтернативу широко используемой процедуре Бенджамини-Хохберга (BH) для контроля менее строгой частоты ложных открытий . ^[6] Это связано с тем, что способность HMP обнаруживать значимые группы гипотез больше, чем способность BH обнаруживать значимые отдельные гипотезы. ^[2]

Существует две версии техники: (i) прямая интерпретация HMP как приблизительного p -значения и (ii) процедура преобразования HMP в асимптотически точное p-значение. Подход обеспечивает многоуровневую процедуру тестирования, в которой можно искать наименьшие группы p -значений, которые являются статистически значимыми.

Прямая интерпретация гармонического среднегоп-ценить

Взвешенное гармоническое среднее p -значений определяется как , где — веса, которые в сумме должны давать единицу, т. е . Могут быть выбраны равные веса, в этом случае . ${\textstyle p_{1},\dots ,p_{L}}$ $${\displaystyle {\overset {\circ }{p}}={\frac {\sum _{i=1}^{L}w_{i}}{\sum _{i=1}^{L}w_{i}/p_{i}}},}$$ ${\textstyle w_{1},\dots ,w_{L}}$ ${\textstyle \sum _{i=1}^{L}w_{i}=1}$ ${\textstyle w_{i}=1/L}$

В целом, интерпретация HMP напрямую как p -значения является антиконсервативной, что означает, что ложноположительный уровень выше ожидаемого. Однако, по мере того, как HMP становится меньше, при определенных предположениях расхождение уменьшается, так что прямая интерпретация значимости достигает ложноположительного уровня, близкого к подразумеваемому для достаточно малых значений (например, ). ^[2] ${\displaystyle {\overset {\circ }{p}}<0.05}$

HMP никогда не бывает антиконсервативным более чем на фактор для малых или для больших . ^[3] Однако эти границы представляют собой наихудшие сценарии при произвольной зависимости, которые, вероятно, будут консервативными на практике. Вместо того, чтобы применять эти границы, асимптотически точные p -значения могут быть получены путем преобразования HMP. ${\textstyle e\,\log L}$ ${\textstyle L}$ ${\textstyle \log L}$ ${\textstyle L}$

Асимптотически точное гармоническое среднееп-стоимостная процедура

Обобщенная центральная предельная теорема показывает, что асимптотически точное p -значение, , может быть вычислено из HMP, , с использованием формулы ^[2] При условии соблюдения предположений обобщенной центральной предельной теоремы , это преобразованное p -значение становится точным, когда число тестов, , становится большим. Вычисление использует распределение Ландау , функция плотности которого может быть записана Тест реализуется командой пакета R; руководство доступно онлайн. ${\textstyle p_{\overset {\circ }{p}}}$ ${\displaystyle {\overset {\circ }{p}}}$ $${\displaystyle p_{\overset {\circ }{p}}=\int _{1/{\overset {\circ }{p}}}^{\infty }f_{\textrm {Landau}}\left(x\,|\,\log L+0.874,{\frac {\pi }{2}}\right)\mathrm {d} x.}$$ ${\textstyle L}$ $${\displaystyle f_{\textrm {Landau}}(x\,|\,\mu ,\sigma )={\frac {1}{\pi \sigma }}\int _{0}^{\infty }{\textrm {e}}^{-t{\frac {(x-\mu )}{\sigma }}-{\frac {2}{\pi }}t\log t}\,\sin(2t)\,{\textrm {d}}t.}$$p.hmpharmonicmeanp

Эквивалентно, можно сравнить HMP с таблицей критических значений (таблица 1). Таблица иллюстрирует, что чем меньше частота ложноположительных результатов и чем меньше количество тестов, тем ближе критическое значение к частоте ложноположительных результатов.

Многократное тестирование с помощью многоуровневой процедуры тестирования

Если HMP значим на каком-то уровне для группы p -значений, можно выполнить поиск по всем подмножествам p -значений для наименьшей значимой группы, сохраняя при этом частоту ошибок в сильном смысле семейства. ^[2] Формально это представляет собой процедуру закрытого тестирования . ^[7] ${\textstyle \alpha }$ ${\textstyle L}$ ${\textstyle L}$

Когда мало (например, ), следующий многоуровневый тест, основанный на прямой интерпретации HMP, контролирует частоту ошибок в сильном смысле на уровне примерно ${\textstyle \alpha }$ ${\textstyle \alpha <0.05}$ ${\textstyle \alpha :}$

1. Определим HMP любого подмножества p - значений как ${\textstyle {\mathcal {R}}}$ ${\textstyle L}$ $${\displaystyle {\overset {\circ }{p}}_{\mathcal {R}}={\frac {\sum _{i\in {\mathcal {R}}}w_{i}}{\sum _{i\in {\mathcal {R}}}w_{i}/p_{i}}}.}$$
2. Отвергнуть нулевую гипотезу о том, что ни одно из p -значений в подмножестве не является значимым, если , где . (Напомним, что по определению . ) ${\textstyle {\mathcal {R}}}$ ${\textstyle {\overset {\circ }{p}}_{\mathcal {R}}\leq \alpha \,w_{\mathcal {R}}}$ ${\textstyle w_{\mathcal {R}}=\sum _{i\in {\mathcal {R}}}w_{i}}$ ${\textstyle \sum _{i=1}^{L}w_{i}=1}$

Асимптотически точная версия вышеприведенного заменяет на шаге 2 на , где дает количество p -значений, а не только тех, которые находятся в подмножестве . ^[8] ${\textstyle {\overset {\circ }{p}}_{\mathcal {R}}}$ $${\displaystyle p_{{\overset {\circ }{p}}_{\mathcal {R}}}=\max \left\{{\overset {\circ }{p}}_{\mathcal {R}},w_{\mathcal {R}}\int _{w_{\mathcal {R}}/{\overset {\circ }{p}}_{\mathcal {R}}}^{\infty }f_{\textrm {Landau}}\left(x\,|\,\log L+0.874,{\frac {\pi }{2}}\right)\mathrm {d} x\right\},}$$ ${\textstyle L}$ ${\textstyle {\mathcal {R}}}$

Поскольку прямая интерпретация HMP выполняется быстрее, можно использовать двухпроходную процедуру для определения подмножеств p- значений, которые, вероятно, будут значимыми с использованием прямой интерпретации, при условии подтверждения с помощью асимптотически точной формулы.

Свойства HMP

HMP имеет ряд свойств, которые вытекают из обобщенной центральной предельной теоремы. ^[2] Это:

• Надежная положительная зависимость между p -значениями.
• Нечувствителен к точному числу тестов , L.
• Устойчив к распределению весов, w .
• Наибольшее влияние оказывают наименьшие значения p .

Когда HMP незначим, то незначим ни один из подмножеств составляющих тестов. И наоборот, когда многоуровневый тест считает подмножество p -значений значимым, HMP для всех объединенных p -значений, скорее всего, будет значимым; это определенно, когда HMP интерпретируется напрямую. Когда цель состоит в оценке значимости отдельных p -значений, так что объединенные тесты, касающиеся групп p - значений, не представляют интереса, HMP эквивалентен процедуре Бонферрони , но подчиняется более строгому порогу значимости (таблица 1). ${\textstyle \alpha _{L}<\alpha }$

HMP предполагает, что отдельные p -значения имеют (не обязательно независимые) стандартные равномерные распределения, когда их нулевые гипотезы верны. Поэтому большое количество недостаточно мощных тестов может нанести вред мощности HMP.

Хотя выбор весов не важен для валидности HMP при нулевой гипотезе, веса влияют на мощность процедуры. Дополнительные методы §5C из ^[2] и онлайн-руководство рассматривают этот вопрос более подробно.

Байесовские интерпретации HMP

HMP был задуман по аналогии с усреднением байесовской модели и может быть интерпретирован как обратно пропорциональный усредненному по модели фактору Байеса при объединении p -значений из тестов отношения правдоподобия . ^{[1] [2]}

Правило среднего гармонического значения

IJ Good сообщил об эмпирической связи между фактором Байеса и p -значением из теста отношения правдоподобия. ^[1] Для нулевой гипотезы, вложенной в более общую альтернативную гипотезу, он заметил, что часто, где обозначает фактор Байеса в пользу против Экстраполяции , он предложил эмпирическое правило, в котором HMP принимается обратно пропорциональным усредненному по модели фактору Байеса для набора тестов с общей нулевой гипотезой: Для Гуда его эмпирическое правило поддерживало взаимозаменяемость байесовского и классического подходов к проверке гипотез. ^{[9] [10] [11] [12] [13]} ${\textstyle H_{0}}$ ${\textstyle H_{A},}$ $${\displaystyle {\textrm {BF}}_{i}\approx {\frac {1}{\gamma \,p_{i}}},\quad 3{\frac {1}{3}}<\gamma <30,}$$ ${\textstyle {\textrm {BF}}_{i}}$ ${\textstyle H_{A}}$ ${\displaystyle H_{0}.}$ ${\textstyle L}$ $${\displaystyle {\overline {\textrm {BF}}}=\sum _{i=1}^{L}w_{i}\,{\textrm {BF}}_{i}\approx \sum _{i=1}^{L}{\frac {w_{i}}{\gamma \,p_{i}}}={\frac {1}{\gamma \,{\overset {\circ }{p}}}}.}$$

Байесовская калибровкап-ценности

Если распределения p -значений при альтернативных гипотезах следуют бета-распределениям с параметрами , форма, рассмотренная Селлке, Байарри и Бергером ^[14], то обратная пропорциональность между усредненным по модели фактором Байеса и HMP может быть формализована как ^{[2] [15]} где ${\displaystyle \left(0<\xi _{i}<1,1\right)}$ $${\displaystyle {\overline {\textrm {BF}}}=\sum _{i=1}^{L}\mu _{i}\,{\textrm {BF}}_{i}=\sum _{i=1}^{L}\mu _{i}\,\xi _{i}\,p_{i}^{\xi _{i}-1}\approx {\bar {\xi }}\sum _{i=1}^{L}w_{i}\,p_{i}^{-1}={\frac {\bar {\xi }}{\overset {\circ }{p}}},}$$

• ${\textstyle \mu _{i}}$априорная вероятность альтернативной гипотезы, такая что ${\textstyle i,}$ ${\textstyle \sum _{i=1}^{L}\mu _{i}=1,}$
• ${\textstyle \xi _{i}/(1+\xi _{i})}$это ожидаемое значение при альтернативной гипотезе ${\textstyle p_{i}}$ ${\textstyle i,}$
• ${\textstyle w_{i}=u_{i}/{\bar {\xi }}}$это вес, приписываемый p -значению ${\textstyle i,}$
• ${\textstyle u_{i}=\left(\mu _{i}\,\xi _{i}\right)^{1/(1-\xi _{i})}}$включает вероятности и мощности предыдущей модели в веса и
• ${\textstyle {\bar {\xi }}=\sum _{i=1}^{L}u_{i}}$нормализует вес.

Приближение лучше всего работает для достаточно мощных тестов ( ). ${\displaystyle \xi _{i}\ll 1}$

Гармоническое среднееп-значение как ограничение на коэффициент Байеса

Для тестов отношения правдоподобия с ровно двумя степенями свободы теорема Уилкса подразумевает, что , где — максимизированное отношение правдоподобия в пользу альтернативной гипотезы и, следовательно , , где — взвешенное среднее максимизированное отношение правдоподобия, использующее веса Поскольку — верхняя граница фактора Байеса, , то — верхняя граница усредненного по модели фактора Байеса: В то время как эквивалентность сохраняется только для двух степеней свободы, связь между и и, следовательно, ведет себя аналогично для других степеней свободы. ^[2] ${\textstyle p_{i}=1/R_{i}}$ ${\textstyle R_{i}}$ ${\textstyle i,}$ ${\textstyle {\overset {\circ }{p}}=1/{\bar {R}}}$ ${\textstyle {\bar {R}}}$ ${\textstyle w_{1},\dots ,w_{L}.}$ ${\textstyle R_{i}}$ ${\textstyle {\textrm {BF}}_{i}}$ ${\textstyle 1/{\overset {\circ }{p}}}$ $${\displaystyle {\overline {\textrm {BF}}}\leq {\frac {1}{\overset {\circ }{p}}}.}$$ ${\textstyle {\overset {\circ }{p}}}$ ${\textstyle {\bar {R}},}$ ${\textstyle {\overline {\textrm {BF}}},}$

При предположении, что распределения p -значений в альтернативных гипотезах следуют бета-распределениям с параметрами и что веса HMP обеспечивают более точную верхнюю границу усредненного по модели фактора Байеса: результат, который снова воспроизводит обратную пропорциональность эмпирического соотношения Гуда. ^[16] ${\displaystyle \left(1,\kappa _{i}>1\right),}$ ${\displaystyle w_{i}=\mu _{i},}$ $${\displaystyle {\overline {\textrm {BF}}}\leq {\frac {1}{e\,{\overset {\circ }{p}}}},}$$

Ссылки

1. Good, IJ (1958). «Тесты значимости параллельно и последовательно». Журнал Американской статистической ассоциации . 53 (284): 799–813. doi :10.1080/01621459.1958.10501480. JSTOR  2281953.
2. Уилсон, DJ (2019). "Гармоническое среднее значение p для объединения зависимых тестов". Труды Национальной академии наук США . 116 (4): 1195–1200. doi : 10.1073/pnas.1814092116 . PMC 6347718. PMID  30610179 . 
3. Вовк, Владимир ; Ван, Руоду (25 апреля 2019 г.). "Объединение p-значений с помощью усреднения" (PDF) . Алгоритмическое обучение в случайном мире .
4. Goeman, Jelle J.; Rosenblatt, Jonathan D.; Nichols, Thomas E. (2019-11-19). «Гармоническое среднее значение p: сильный контроль против слабого и предположение о независимости». Труды Национальной академии наук . 116 (47): 23382–23383. doi : 10.1073/pnas.1909339116 . ISSN  0027-8424. PMC 6876242. PMID 31662466  . 
5. Фишер, РА (1934). Статистические методы для научных работников (5-е изд.). Эдинбург, Великобритания: Оливер и Бойд.
6. Benjamini Y, Hochberg Y (1995). «Контроль частоты ложных открытий: практический и мощный подход к множественному тестированию». Журнал Королевского статистического общества. Серия B (Методологическая) . 57 (1): 289–300. doi :10.1111/j.2517-6161.1995.tb02031.x. JSTOR  2346101.
7. Маркус Р., Эрик П., Габриэль КР. (1976). «О закрытых процедурах тестирования с особым упором на упорядоченный дисперсионный анализ». Biometrika . 63 (3): 655–660. doi :10.1093/biomet/63.3.655. JSTOR  2335748.
8. Уилсон, Дэниел Дж. (17 августа 2019 г.). «Обновленная поправка к «Гармоническому среднему значению p для объединения независимых тестов»» (PDF) .
9. Good, IJ (1984). "C192. Один хвост против двух хвостов и правило гармонического среднего". Журнал статистических вычислений и моделирования . 19 (2): 174–176. doi :10.1080/00949658408810727.
10. Good, IJ (1984). "C193. Парные и непарные сравнения и правило гармонического среднего". Журнал статистических вычислений и моделирования . 19 (2): 176–177. doi :10.1080/00949658408810728.
11. Good, IJ (1984). "C213. Уточнение правила гармонического среднего для объединения тестов "параллельно"". Журнал статистических вычислений и моделирования . 20 (2): 173–176. doi :10.1080/00949658408810770.
12. Good, IJ (1984). "C214. Правило гармонического среднего: некоторые классы приложений". Журнал статистических вычислений и моделирования . 20 (2): 176–179. doi :10.1080/00949658408810771.
13. Хорошо, Ирвинг Джон. (2009). Хорошее мышление: основы вероятности и ее применения . Dover Publications. ISBN 9780486474380. OCLC  319491702.
14. Sellke, Thomas; Bayarri, M. J; Berger, James O (2001). «Калибровка значений p для проверки точных нулевых гипотез». The American Statistician . 55 (1): 62–71. doi :10.1198/000313001300339950. ISSN  0003-1305. S2CID  396772.
15. Уилсон, DJ (2019). «Ответ на Held: Когда гармоническое среднее значение p является фактором Байеса?» (PDF) . Труды Национальной академии наук США . 116 (13): 5857–5858. doi : 10.1073/pnas.1902157116 . PMC 6442550 . PMID  30890643. 
16. Held, L (2019). «О байесовской интерпретации гармонического среднего p-значения». Труды Национальной академии наук США . 116 (13): 5855–5856. doi : 10.1073/pnas.1900671116 . PMC 6442579. PMID  30890644 .