Уровень ложного обнаружения

Statistical method for handling multiple comparisons

В статистике уровень ложных открытий ( FDR ) — это метод концептуализации частоты ошибок типа I при проверке нулевой гипотезы при проведении множественных сравнений . Процедуры контроля FDR предназначены для контроля FDR, который представляет собой ожидаемую долю «открытий» (отклоненных нулевых гипотез ), которые являются ложными (неверными отклонениями нулевых гипотез). ^[1] Аналогично, FDR — это ожидаемое отношение количества ложноположительных классификаций (ложных открытий) к общему количеству положительных классификаций (отклонений нуля). Общее количество отклонений нуля включает в себя как количество ложных срабатываний (FP), так и количество истинных срабатываний (TP). Проще говоря, ФДР = ФП/(ФП+ТП). Процедуры контроля FDR обеспечивают менее строгий контроль ошибок типа I по сравнению с процедурами контроля частоты ошибок по семейству (FWER) (такими как поправка Бонферрони ), которые контролируют вероятность хотя бы одной ошибки типа I. Таким образом, процедуры контроля FDR обладают большей эффективностью за счет увеличения количества ошибок первого рода. ^[2]

История

Технологические мотивы

Считается, что современное широкое использование FDR обусловлено и мотивировано развитием технологий, которые позволили собирать и анализировать большое количество различных переменных у нескольких людей (например, уровень экспрессии каждого из 10 000 различных генов). у 100 разных людей). ^[3] К концу 1980-х и 1990-м годам развитие «высокопроизводительных» наук, таких как геномика , позволило быстро собирать данные. Это, в сочетании с ростом вычислительной мощности, позволило беспрепятственно выполнять очень большое количество статистических тестов на заданном наборе данных. Технология микрочипов была прототипным примером, поскольку она позволяла одновременно тестировать тысячи генов на дифференциальную экспрессию в двух биологических условиях. ^[4]

По мере распространения высокопроизводительных технологий технологические и/или финансовые ограничения заставили исследователей собирать наборы данных с относительно небольшими размерами выборок (например, небольшое количество тестируемых людей) и большим количеством переменных, измеряемых на одну выборку (например, тысячи уровней экспрессии генов). В этих наборах данных слишком немногие из измеренных переменных показали статистическую значимость после классической поправки на множественные тесты со стандартными процедурами множественного сравнения . Это создало необходимость во многих научных сообществах отказаться от FWER и нескорректированного тестирования множественных гипотез в пользу других способов выделить и ранжировать в публикациях те переменные, которые демонстрируют заметные эффекты для отдельных лиц или методов лечения, которые в противном случае были бы отклонены как несущественные после стандартной поправки для множественных тестов. В ответ на это были предложены различные коэффициенты ошибок (и они стали широко использоваться в публикациях), которые менее консервативны, чем FWER, при выделении потенциально примечательных наблюдений. FDR полезен, когда исследователи ищут «открытия», которые дадут им возможность последующей работы (например, обнаружение многообещающих генов для последующих исследований), и заинтересованы в контроле доли «ложных версий», которые они готовы принять.

Литература

Концепция FDR была формально описана Йоавом Беньямини и Йосефом Хохбергом в 1995 году ^[1] (процедура BH) как менее консервативный и, возможно, более подходящий подход для выявления немногих важных из тривиального множества протестированных эффектов. Рузвельт оказал особое влияние, поскольку он стал первой альтернативой FWER, получившей широкое признание во многих научных областях (особенно в науках о жизни, от генетики до биохимии, онкологии и наук о растениях). ^[3] В 2005 году статья Беньямини и Хохберга 1995 года была признана одной из 25 наиболее цитируемых статистических статей. ^[5]

До появления в 1995 году концепции Рузвельта в статистической литературе рассматривались различные идеи-предшественники. В 1979 году Холм предложил процедуру Холма ^[6] — пошаговый алгоритм управления FWER, который по крайней мере столь же мощный, как и известная корректировка Бонферрони . Этот пошаговый алгоритм сортирует p -значения и последовательно отклоняет гипотезы, начиная с наименьших p -значений.

Бенджамини (2010) сказал, что уровень ложных открытий ^[3] и статья Бенджамини и Хохберг (1995) берут свое начало в двух статьях, посвященных множественному тестированию:

• Первая статья написана Шведером и Спьотволлом (1982), которые предложили построить график ранжированных значений p и оценить количество истинных нулевых гипотез ( ) с помощью подходящей для глаз линии, начиная с наибольших значений p . ^[7] Значения p , которые отклоняются от этой прямой линии, тогда должны соответствовать ложным нулевым гипотезам. Эта идея позже была развита в алгоритм и включена оценка в такие процедуры, как Бонферрони, Хольм или Хохберг. ^[8] Эта идея тесно связана с графической интерпретацией процедуры BH. ${\displaystyle m_{0}}$ ${\displaystyle m_{0}}$
• Вторая статья написана Бранко Соричем (1989), в которой введена терминология «открытия» в контексте проверки множественных гипотез. ^[9] Сорик использовал ожидаемое количество ложных открытий, разделенное на количество открытий, как предупреждение о том, что «большая часть статистических открытий может быть ошибочной». Это привело Бенджамини и Хохберга к идее, что подобная частота ошибок может служить не просто предупреждением, а достойной целью для контроля. ${\displaystyle \left(E[V]/R\right)}$

В ходе независимых испытаний в 1995 году Бенджамини и Хохберг доказали, что процедура BH контролирует FDR. ^[1] В 1986 году Р. Дж. Саймс предложил ту же процедуру, что и «процедура Саймса», для управления FWER в слабом смысле (в соответствии с нулевой гипотезой пересечения), когда статистика независимы. ^[10]

Определения

Основываясь на приведенных ниже определениях, мы можем определить Q как долю ложных открытий среди открытий (отклонений нулевой гипотезы):

${\displaystyle Q=V/R=V/(V+S)}$.

где – количество ложных открытий и – количество истинных открытий. ${\displaystyle V}$ ${\displaystyle S}$

Тогда уровень ложного обнаружения ( FDR ) будет выглядеть просто: ^[1]

${\displaystyle \mathrm {FDR} =Q_{e}=\mathrm {E} \!\left[Q\right]=1-{\text{precision}},}$

где ожидаемое значение .​ Цель состоит в том, чтобы поддерживать FDR ниже заданного порога q . Чтобы избежать деления на ноль , определяется как 0, когда . Формально, . ^[1] ${\displaystyle \mathrm {E} \!\left[Q\right]}$ ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle R=0}$ ${\displaystyle \mathrm {FDR} =\mathrm {E} \!\left[V/R|R>0\right]\cdot \mathrm {P} \!\left(R>0\right)}$

Классификация множественных проверок гипотез

В следующей таблице определены возможные результаты при проверке нескольких нулевых гипотез. Предположим, у нас есть количество m нулевых гипотез, обозначенных: H ₁ ,  H ₂ , ...,  H _m . Используя статистический тест , мы отвергаем нулевую гипотезу, если тест признан значимым. Мы не отвергаем нулевую гипотезу, если тест незначим. Суммирование результатов каждого типа по всем H _i   дает следующие случайные величины:

• m — общее количество проверенных гипотез.
• ${\displaystyle m_{0}}$— количество истинных нулевых гипотез , неизвестный параметр
• ${\displaystyle m-m_{0}}$количество истинных альтернативных гипотез
• V — количество ложных срабатываний (ошибка I рода) (также называемых «ложными открытиями»).
• S — количество истинных положительных результатов (также называемых «истинными открытиями»).
• T — количество ложноотрицательных результатов (ошибка II рода)
• U - количество истинных негативов
• ${\displaystyle R=V+S}$количество отвергнутых нулевых гипотез (также называемых «открытиями», истинными или ложными)

В m тестах гипотез, которые являются истинными нулевыми гипотезами, R — наблюдаемая случайная величина, а S , T , U и V — ненаблюдаемые случайные величины . ${\displaystyle m_{0}}$

Процедуры контроля

Настройки для многих процедур таковы, что мы проверяем нулевые гипотезы и соответствующие им значения p . Перечислим эти p -значения в порядке возрастания и обозначим их . Процедура, которая переходит от маленькой тестовой статистики к большой, будет называться повышающей процедурой. Аналогичным образом, в процедуре «понижения» мы переходим от большой соответствующей тестовой статистики к меньшей. ${\displaystyle H_{1}\ldots H_{m}}$ ${\displaystyle P_{1}\ldots P_{m}}$ ${\displaystyle P_{(1)}\ldots P_{(m)}}$

Процедура Бенджамини – Хохберга

Процедура Беньямини-Хохберга применяется к набору из m = 20 упорядоченных по возрастанию значений p с уровнем контроля ложного обнаружения α = 0,05. P-значения отвергнутой нулевой гипотезы (т.е. заявленных открытий) окрашены в красный цвет. Обратите внимание, что существуют отклоненные значения p, которые находятся выше линии отклонения (синего цвета), поскольку все нулевые гипотезы значений p, которые ранжированы до значения p последнего пересечения, отклоняются. Здесь аппроксимации MFDR = 0,02625 и AFDR = 0,00730.

Процедура Беньямини-Хохберга (процедура повышения BH) контролирует FDR на уровне . ^[1] Это работает следующим образом: ${\displaystyle \alpha }$

1. Для данного найдите наибольшее k такое, что ${\displaystyle \alpha }$ ${\displaystyle P_{(k)}\leq {\frac {k}{m}}\alpha }$
2. Отклонить нулевую гипотезу (т. е. объявить открытия) для всех ${\displaystyle H_{(i)}}$ ${\displaystyle i=1,\ldots ,k}$

Геометрически это соответствует построению графика зависимости от k (по осям y и x соответственно), рисованию линии через начало координат с наклоном и объявлению открытий для всех точек слева, вплоть до последней точки, которая не находится выше, включительно. линия. ${\displaystyle P_{(k)}}$ ${\displaystyle {\frac {\alpha }{m}}}$

Процедура BH действительна, когда m тестов независимы , а также при различных сценариях зависимости, но не является универсальной. ^[11] Он также удовлетворяет неравенству:

${\displaystyle E(Q)\leq {\frac {m_{0}}{m}}\alpha \leq \alpha }$

Если в процедуру BH вставлена ​​оценка , то уже не гарантируется достижение контроля FDR на желаемом уровне. ^[3] В оценщике могут потребоваться корректировки, и было предложено несколько модификаций. ^{[12] [13] [14] [15]} ${\displaystyle m_{0}}$

Обратите внимание, что среднее значение для этих m тестов равно , Mean(FDR ) или MFDR, с поправкой на m независимых или положительно коррелированных тестов (см. AFDR ниже). Выражение MFDR здесь предназначено для одного перевычисленного значения и не является частью метода Бенджамини и Хохберга. ${\displaystyle \alpha }$ ${\displaystyle {\frac {\alpha (m+1)}{2m}}}$ ${\displaystyle \alpha }$ ${\displaystyle \alpha }$ ${\displaystyle \alpha }$

Процедура Бенджамини-Екутиэли

Процедура Бенджамини – Йекутиэли контролирует частоту ложных открытий при предположениях о произвольной зависимости. ^[11] Это уточнение изменяет порог и находит наибольшее значение k такое, что:

${\displaystyle P_{(k)}\leq {\frac {k}{m\cdot c(m)}}\alpha }$

• Если тесты независимы или положительно коррелируют (как в процедуре Беньямини-Хохберга): ${\displaystyle c(m)=1}$
• При произвольной зависимости (в том числе и при отрицательной корреляции) c(m) – номер гармоники : . ${\displaystyle c(m)=\sum _{i=1}^{m}{\frac {1}{i}}}$

Обратите внимание, что это можно аппроксимировать, используя разложение в ряд Тейлора и константу Эйлера – Маскерони ( ): ${\displaystyle c(m)}$ ${\displaystyle \gamma =0.57721...}$

${\displaystyle \sum _{i=1}^{m}{\frac {1}{i}}\approx \ln(m)+\gamma +{\frac {1}{2m}}.}$

Используя MFDR и приведенные выше формулы, скорректированный MFDR (или AFDR) представляет собой минимум среднего значения для m зависимых тестов ,  т.е. Другой способ справиться с зависимостью — это загрузка и повторная рандомизация. ^{[4] [16] [17]} ${\displaystyle \alpha }$ ${\displaystyle {\frac {\mathrm {MFDR} }{c(m)}}=\alpha (m+1)/(2m[\ln(m)+\gamma ]+1)}$

Процедура Стори-Тибширани

Схематическое изображение процедуры Стори-Тибширани для поправки на проверку множественных гипотез при условии правильно рассчитанных значений p. ось Y — частота.

В процедуре Стори-Тибширани значения q используются для управления FDR.

Характеристики

Адаптивный и масштабируемый

Использование процедуры множественности, которая контролирует критерий FDR, является адаптивным и масштабируемым . Это означает, что контроль FDR может быть очень либеральным (если данные это оправдывают) или консервативным (действующим, близким к контролю FWER для разреженной проблемы) - все в зависимости от количества проверенных гипотез и уровня значимости. ^[3]

Критерий FDR адаптируется таким образом, что одно и то же количество ложных открытий (V) будет иметь разные последствия в зависимости от общего количества открытий (R). Это контрастирует с семейным критерием частоты ошибок. Например, если проверить 100 гипотез (скажем, 100 генетических мутаций или SNP на предмет ассоциации с некоторым фенотипом в некоторой популяции):

• Если мы сделаем 4 открытия (R), то если 2 из них будут ложными открытиями (V), это часто будет очень дорого стоить. Тогда как,
• Если мы сделаем 50 открытий (R), то сделать два из них ложными открытиями (V) зачастую будет не очень дорого.

Критерий FDR является масштабируемым , поскольку одна и та же доля ложных открытий от общего числа открытий (Q) остается разумной для различного числа общих открытий (R). Например:

• Если мы сделаем 100 открытий (R), то 5 из них будут ложными открытиями ( ), возможно, это не будет очень дорого. ${\displaystyle q=5\%}$
• Точно так же, если мы сделаем 1000 открытий (R), 50 из них будут ложными открытиями (как и раньше ), все равно это может обойтись не очень дорого. ${\displaystyle q=5\%}$

Зависимость между тестовой статистикой

Управление FDR с помощью процедуры линейного повышения BH на уровне q имеет несколько свойств, связанных со структурой зависимостей между тестовыми статистиками m нулевых гипотез, которые корректируются. Если статистика теста:

• Независимый: ^[11] ${\displaystyle \mathrm {FDR} \leq {\frac {m_{0}}{m}}q}$
• Независимый и непрерывный: ^[1] ${\displaystyle \mathrm {FDR} ={\frac {m_{0}}{m}}q}$
• Положительная зависимость: ^[11] ${\displaystyle \mathrm {FDR} \leq {\frac {m_{0}}{m}}q}$
• В общем случае: ^[11] , где – постоянная Эйлера–Машерони . ${\displaystyle \mathrm {FDR} \leq {\frac {m_{0}}{m}}q/\left(1+{\frac {1}{2}}+{\frac {1}{3}}+\cdots +{\frac {1}{m}}\right)\approx {\frac {m_{0}}{m}}q/(\ln(m)+\gamma +{\frac {1}{2m}})}$ ${\displaystyle \gamma }$

Доля истинных гипотез

Если все нулевые гипотезы верны ( ), то контроль FDR на уровне q гарантирует контроль над FWER (это еще называют «слабым контролем FWER» ): просто потому, что событие отклонения хотя бы одной истинной нулевой гипотезы — это именно событие , а событие — это именно событие (когда по определению). ^[1] Но если необходимо сделать несколько истинных открытий ( ​​), тогда FWER ≥ FDR . В этом случае появится возможность улучшить мощность обнаружения. Это также означает, что любая процедура, которая контролирует FWER, будет также контролировать FDR. ${\displaystyle m_{0}=m}$ ${\displaystyle \mathrm {FWER} =P\left(V\geq 1\right)=E\left({\frac {V}{R}}\right)=\mathrm {FDR} \leq q}$ ${\displaystyle \{V\geq 1\}}$ ${\displaystyle \{V/R=1\}}$ ${\displaystyle \{V=0\}}$ ${\displaystyle \{V/R=0\}}$ ${\displaystyle V=R=0}$ ${\displaystyle V/R=0}$ ${\displaystyle m_{0}<m}$

Средняя мощность

Средняя мощность процедуры Беньямини-Хохберга может быть вычислена аналитически ^[18]

Связанные понятия

Открытию FDR предшествовало и последовало множество других типов ошибок. К ним относятся:

• PCER ( коэффициент ошибок при сравнении ) определяется как: . Проверка каждой гипотезы по отдельности на уровне α гарантирует, что (это проверка без какой-либо поправки на множественность) ${\displaystyle \mathrm {PCER} =E\left[{\frac {V}{m}}\right]}$ ${\displaystyle \mathrm {PCER} \leq \alpha }$
• FWER ( коэффициент семейных ошибок ) определяется как: . Существует множество процедур, контролирующих FWER . ${\displaystyle \mathrm {FWER} =P(V\geq 1)}$
• ${\displaystyle k{\text{-FWER}}}$(Хвостовая вероятность пропорции ложного открытия), предложенная Леманном и Романо, ван дер Лааном и др. ^{, определяется как} : . ${\displaystyle k{\text{-FWER}}=P(V\geq k)\leq q}$
• ${\displaystyle k{\text{-FDR}}}$(также названный Саркаром в 2007 году обобщенным FDR ^{[19] [20]} ) определяется как: . ${\displaystyle k{\text{-FDR}}=E\left({\frac {V}{R}}I_{(V>k)}\right)\leq q}$
• ${\displaystyle Q'}$— это доля ложных открытий среди открытий», предложенная Сориком в 1989 году ^[9] и определяемая как: . Это смесь ожиданий и реализаций, и имеет проблему контроля за . ^[1] ${\displaystyle Q'={\frac {E[V]}{R}}}$ ${\displaystyle m_{0}=m}$
• ${\displaystyle \mathrm {FDR} _{-1}}$(или Fdr) использовался Беньямини и Хохбергом ^[3] , а позже Эфрон (2008) и ранее называл его «Fdr». ^[21] Он определяется как: . Эту частоту ошибок невозможно строго контролировать, поскольку она равна 1, когда . ${\displaystyle \mathrm {FDR} _{-1}=Fdr={\frac {E[V]}{E[R]}}}$ ${\displaystyle m=m_{0}}$
• ${\displaystyle \mathrm {FDR} _{+1}}$был использован Бенджамини и Хохбергом ^[3] и позже назван Стори (2002) «pFDR». ^[22] Он определяется как: . Эту частоту ошибок невозможно строго контролировать, поскольку она равна 1, когда . Дж. Д. Стори продвигал использование pFDR (близкого родственника FDR) и значения q , которое можно рассматривать как долю ложных открытий, которую мы ожидаем в упорядоченной таблице результатов, вплоть до текущей строки. ^{[ нужна цитация ]} Стори также выдвинул идею (также упомянутую Б.Х.), что фактическое количество нулевых гипотез может быть оценено по форме кривой распределения вероятностей . Например, в наборе данных, в котором все нулевые гипотезы верны, 50% результатов будут давать вероятности от 0,5 до 1,0 (а остальные 50% будут давать вероятности от 0,0 до 0,5). Таким образом, мы можем оценить, найдя количество результатов и удвоив его, и это позволяет уточнить наш расчет pFDR при любом конкретном пороговом значении в наборе данных. ^[22] ${\displaystyle \mathrm {FDR} _{+1}=pFDR=E\left[\left.{\frac {V}{R}}\right|R>0\right]}$ ${\displaystyle m=m_{0}}$ ${\displaystyle m_{0}}$ ${\displaystyle m_{0}}$ ${\displaystyle P>0.5}$
• Коэффициент ложного превышения (хвостовая вероятность FDP), определяемый как: ^[23] ${\displaystyle \mathrm {P} \left({\frac {V}{R}}>q\right)}$
• ${\displaystyle W{\text{-FDR}}}$(Взвешенный ФДР). С каждой гипотезой i связан вес , который отражает важность/цену. W-FDR определяется как: . ${\displaystyle w_{i}\geq 0}$ ${\displaystyle W{\text{-FDR}}=E\left({\frac {\sum w_{i}V_{i}}{\sum w_{i}R_{i}}}\right)}$
• FDCR (ставка затрат на ложное обнаружение). Вытекает из статистического управления процессом : с каждой гипотезой i связана стоимость , а с гипотезой пересечения — стоимость . Мотивация заключается в том, что остановка производственного процесса может повлечь за собой фиксированные затраты. Он определяется как: ${\displaystyle \mathrm {c} _{i}}$ ${\displaystyle H_{00}}$ ${\displaystyle c_{0}}$ ${\displaystyle \mathrm {FDCR} =E\left(c_{0}V_{0}+{\frac {\sum c_{i}V_{i}}{c_{0}R_{0}+\sum c_{i}R_{i}}}\right)}$
• PFER (коэффициент ошибок на семью) определяется как: . ${\displaystyle \mathrm {PFER} =E(V)}$
• FNR (ложные показатели необнаружения) от Саркара; Дженовезе и Вассерман ^{[ нужна ссылка ]} определяется как: ${\displaystyle \mathrm {FNR} =E\left({\frac {T}{m-R}}\right)=E\left({\frac {m-m_{0}-(R-V)}{m-R}}\right)}$
• ${\displaystyle \mathrm {FDR} (z)}$определяется как: ${\displaystyle \mathrm {FDR} (z)={\frac {p_{0}F_{0}(z)}{F(z)}}}$
• ${\displaystyle \mathrm {FDR} }$Локальный fdr определяется как: ${\displaystyle \mathrm {FDR} ={\frac {p_{0}f_{0}(z)}{f(z)}}}$

Ложный уровень покрытия

Коэффициент ложного покрытия (FCR) в некотором смысле является аналогом доверительного интервала FDR . FCR указывает средний уровень ложного покрытия, а именно не покрытия истинных параметров, среди выбранных интервалов. FCR дает одновременный охват на уровне всех параметров, рассматриваемых в задаче. Интервалы с вероятностью одновременного покрытия 1-q могут контролировать FCR, который будет ограничен q . Существует множество процедур FCR, таких как: выбранный Бонферрони – скорректированный Бонферрони, ^{[ нужна ссылка ]} Скорректированные CI, выбранные по BH (Benjamini and Yekutieli (2005)), ^[24] Bayes FCR (Yekutieli (2008)), ^{[ нужна ссылка ]} и другие методы Байеса. ^[25] ${\displaystyle 1-\alpha }$

Байесовский подход

Были установлены связи между FDR и байесовским подходом (включая эмпирические методы Байеса), ^{[21] [26] [27]} пороговыми коэффициентами вейвлетов и выбором модели , ^{[28] [29] [30] [31]} и обобщением доверительного интервала. в коэффициент ложных заявлений о покрытии (FCR). ^[24]

Смотрите также

• Положительная прогностическая ценность

Рекомендации

1. Бенджамини Ю., Хохберг Ю. (1995). «Контроль количества ложных обнаружений: практичный и мощный подход к множественному тестированию». Журнал Королевского статистического общества, серия B. 57 (1): 289–300. МР  1325392.
2. Шаффер, JP (январь 1995 г.). «Множественная проверка гипотез». Ежегодный обзор психологии . 46 (1): 561–584. doi : 10.1146/annurev.ps.46.020195.003021. S2CID  7696063. Гейл  A16629837.
3. Бенджамини Ю (2010). «Обнаружение уровня ложных открытий». Журнал Королевского статистического общества, серия B. 72 (4): 405–416. дои : 10.1111/j.1467-9868.2010.00746.x .
4. Стори Дж. Д., Тибширани Р. (август 2003 г.). «Статистическая значимость для полногеномных исследований». Труды Национальной академии наук Соединенных Штатов Америки . 100 (16): 9440–5. Бибкод : 2003PNAS..100.9440S. дои : 10.1073/pnas.1530509100 . ПМК 170937 . ПМИД  12883005. 
5. Райан Т.П., Вудалл WH (2005). «Самые цитируемые статистические статьи». Журнал прикладной статистики . 32 (5): 461–474. Бибкод : 2005JApSt..32..461R. дои : 10.1080/02664760500079373. S2CID  109615204.
6. Холм С. (1979). «Простая процедура последовательного отбраковывания множественных испытаний». Скандинавский статистический журнал . 6 (2): 65–70. JSTOR  4615733. MR  0538597.
7. Шведер Т., Спьётволл Э. (1982). «Графики P-значений для одновременной оценки множества тестов». Биометрика . 69 (3): 493–502. дои : 10.1093/biomet/69.3.493.
8. Хохберг Ю., Бенджамини Ю. (июль 1990 г.). «Более мощные процедуры для проверки множественной значимости». Статистика в медицине . 9 (7): 811–8. дои : 10.1002/sim.4780090710. ПМИД  2218183.
9. Soric B (июнь 1989 г.). «Статистические «открытия» и оценка размера эффекта». Журнал Американской статистической ассоциации . 84 (406): 608–610. дои : 10.1080/01621459.1989.10478811. JSTOR  2289950.
10. Саймс Р.Дж. (1986). «Улучшенная процедура Бонферрони для множественных тестов значимости». Биометрика . 73 (3): 751–754. дои : 10.1093/biomet/73.3.751.
11. Бенджамини Ю., Йекутиэли Д. (2001). «Контроль уровня ложных обнаружений при множественном тестировании с зависимостями». Анналы статистики . 29 (4): 1165–1188. дои : 10.1214/aos/1013699998 . МР  1869245.
12. Стори Дж.Д., Тейлор Дж.Э., Зигмунд Д. (2004). «Строгий контроль, консервативная точечная оценка и одновременная консервативная последовательность показателей ложного обнаружения: единый подход». Журнал Королевского статистического общества, серия B. 66 : 187–205. дои : 10.1111/j.1467-9868.2004.00439.x . S2CID  12646251.
13. Бенджамини Ю., Кригер А.М., Йекутиэли Д. (2006). «Адаптивные линейные процедуры повышения, контролирующие частоту ложных обнаружений». Биометрика . 93 (3): 491–507. дои : 10.1093/biomet/93.3.491.
14. Гаврилов Ю., Бенджамини Ю., Саркар С.К. (2009). «Адаптивная процедура понижения с проверенным контролем FDR в условиях независимости». Анналы статистики . 37 (2): 619. arXiv : 0903.5373 . дои : 10.1214/07-AOS586. S2CID  16913244.
15. Бланшар Дж., Рокен Э (2008). «Два простых достаточных условия для контроля Рузвельта». Электронный статистический журнал . 2 : 963–992. arXiv : 0802.1406 . дои : 10.1214/08-EJS180. S2CID  16662020.
16. Екутиэли Д., Бенджамини Ю. (1999). «Процедура управления частотой ложного обнаружения на основе повторной выборки для статистики зависимых испытаний». Дж. Статист. Планирование Инф . 82 (1–2): 171–196. дои : 10.1016/S0378-3758(99)00041-5.
17. ван дер Лаан MJ, Дудуа С (2007). Множественные процедуры тестирования с применением в геномике . Нью-Йорк: Спрингер.
18. Глюк, Дебора Х; Мандель, Ян; Каримпур-Фард, Анис; Хантер, Лоуренс; Мюллер, Кейт Э. (30 января 2008 г.). «Точные расчеты средней мощности для процедуры Беньямини-Хохберга». Международный журнал биостатистики . 4 (1): Статья 11. doi :10.2202/1557-4679.1103. ПМК 3020656 . ПМИД  21243075. 
19. Саркар СК (2007). «Пошаговые процедуры, управляющие обобщенным FWER и обобщенным FDR». Анналы статистики . 35 (6): 2405–20. arXiv : 0803.2934 . дои : 10.1214/009053607000000398. S2CID  14784911.
20. Саркар СК, Го В (июнь 2009 г.). «Об обобщенной частоте ложных открытий». Анналы статистики . 37 (3): 1545–65. arXiv : 0906.3091 . дои : 10.1214/08-AOS617. JSTOR  30243677. S2CID  15746841.
21. Эфрон Б (2008). «Микрочипы, эмпирический Байес и модель двух групп». Статистическая наука . 23 : 1–22. arXiv : 0808.0603 . дои : 10.1214/07-STS236. S2CID  8417479.
22. Стори JD (2002). «Прямой подход к уровню ложного обнаружения» (PDF) . Журнал Королевского статистического общества, серия B. 64 (3): 479–498. CiteSeerX 10.1.1.320.7131 . дои : 10.1111/1467-9868.00346. S2CID  122987911. 
23. Бенджамини Ю (декабрь 2010 г.). «Одновременный и выборочный вывод: текущие успехи и будущие проблемы». Биометрический журнал. Биометрическая газета . 52 (6): 708–21. дои : 10.1002/bimj.200900299. PMID  21154895. S2CID  8806192.
24. Бенджамини Ю, Екутиэли Ю (2005). «Коэффициент ложного обнаружения, контролирующий доверительные интервалы для выбранных параметров». Журнал Американской статистической ассоциации . 100 (469): 71–80. дои : 10.1198/016214504000001907. S2CID  23202143.
25. Чжао З., Джин Хван Дж.Т. (2012). «Эмпирический коэффициент байесовского ложного покрытия, контролирующий доверительные интервалы». Журнал Королевского статистического общества, серия B. 74 (5): 871–891. дои : 10.1111/j.1467-9868.2012.01033.x. hdl : 10.1111/j.1467-9868.2012.01033.x . S2CID  111420152.
26. Стори Джей Ди (2003). «Положительная частота ложных открытий: байесовская интерпретация и значение q». Анналы статистики . 31 (6): 2013–2035. дои : 10.1214/aos/1074290335 .
27. Эфрон Б (2010). Крупномасштабный вывод . Издательство Кембриджского университета . ISBN 978-0-521-19249-1.
28. Абрамович Ф., Бенджамини Ю., Донохо Д., Джонстон И.М. (2006). «Адаптация к неизвестной разреженности путем контроля частоты ложных открытий». Анналы статистики . 34 (2): 584–653. arXiv : math/0505374 . Бибкод : 2005math......5374A. дои : 10.1214/009053606000000074. S2CID  7581060.
29. Донохо Д., Джин Дж. (2006). «Асимптотическая минимаксность порога ложного обнаружения для разреженных экспоненциальных данных». Анналы статистики . 34 (6): 2980–3018. arXiv : математика/0602311 . Бибкод : 2006math......2311D. дои : 10.1214/009053606000000920. S2CID  9080115.
30. Бенджамини Ю., Гаврилов Ю. (2009). «Простая процедура прямого выбора, основанная на контроле частоты ложных обнаружений». Анналы прикладной статистики . 3 (1): 179–198. arXiv : 0905.2819 . Бибкод : 2009arXiv0905.2819B. дои : 10.1214/08-AOAS194. S2CID  15719154.
31. Донохо Д., Джин Дж.С. (2004). «Высшая критика за обнаружение разреженных гетерогенных смесей». Анналы статистики . 32 (3): 962–994. arXiv : math/0410072 . Бибкод : 2004math.....10072D. дои : 10.1214/009053604000000265. S2CID  912325.

Внешние ссылки

• Анализ частоты ложного обнаружения в R — список ссылок на популярные пакеты R.
• Анализ частоты ложного обнаружения в Python — реализации процедур частоты ложного обнаружения на языке Python.
• Уровень ложного обнаружения: исправленные и скорректированные P-значения - реализация MATLAB / GNU Octave и обсуждение разницы между исправленными и скорректированными p-значениями FDR.
• Понимание уровня ложного обнаружения - сообщение в блоге
• StatQuest: Рузвельт и метод Бенджамини-Хохберга четко объяснены на YouTube
• Понимание частоты ложного обнаружения. Включает код Excel VBA для его реализации и пример разработки клеточной линии.