Лемма Неймана–Пирсона

Теорема о силе теста отношения правдоподобия

В статистике лемма Неймана–Пирсона описывает существование и уникальность отношения правдоподобия как равномерно наиболее мощного теста в определенных контекстах. Она была введена Ежи Нейманом и Эгоном Пирсоном в статье 1933 года. ^[1] Лемма Неймана–Пирсона является частью теории статистического тестирования Неймана–Пирсона, которая ввела такие понятия, как ошибки второго рода , степенная функция и индуктивное поведение. ^{[2] [3] [4]} Предыдущая фишеровская теория значимого тестирования постулировала только одну гипотезу. Вводя конкурирующую гипотезу, лемма Неймана–Пирсона статистического тестирования позволяет исследовать два типа ошибок . Тривиальные случаи, когда всегда отвергается или принимается нулевая гипотеза, не представляют большого интереса, но она доказывает, что нельзя отказываться от контроля над одним типом ошибки при калибровке другого. Нейман и Пирсон соответственно продолжили ограничивать свое внимание классом всех уровневых тестов, в то же время минимизируя ошибку типа II, традиционно обозначаемую как . Их основополагающая работа 1933 года, включая лемму Неймана–Пирсона, находится в конце этого начинания, не только показывая существование тестов с наибольшей мощностью , которые сохраняют предопределенный уровень ошибки типа I ( ), но и предоставляя способ построения таких тестов. Теорема Карлина-Рубина расширяет лемму Неймана–Пирсона на настройки, включающие составные гипотезы с монотонными отношениями правдоподобия. ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle \alpha }$

Заявление

Рассмотрим тест с гипотезами и , где функция плотности вероятности (или функция массы вероятности ) равна для . ${\displaystyle H_{0}:\theta =\theta _{0}}$ ${\displaystyle H_{1}:\theta =\theta _{1}}$ ${\displaystyle \rho (x\mid \theta _{i})}$ ${\displaystyle i=0,1}$

Для любого теста гипотезы с множеством отклонений и любого мы говорим, что он удовлетворяет условию, если ${\displaystyle R}$ ${\displaystyle \alpha \in [0,1]}$ ${\displaystyle P_{\alpha }}$

• ${\displaystyle \alpha ={\Pr }_{\theta _{0}}(X\in R)}$
  • То есть тест имеет размер (то есть вероятность ложного отклонения нулевой гипотезы равна ). ${\displaystyle \alpha }$ ${\displaystyle \alpha }$
• ${\displaystyle \exists \eta \geq 0}$такой что

${\displaystyle {\begin{aligned}x\in {}&R\smallsetminus A\implies \rho (x\mid \theta _{1})>\eta \rho (x\mid \theta _{0})\\x\in {}&R^{c}\smallsetminus A\implies \rho (x\mid \theta _{1})<\eta \rho (x\mid \theta _{0})\end{aligned}}}$

где — пренебрежимо малое множество в обоих случаях : . ${\displaystyle A}$ ${\displaystyle \theta _{0}}$ ${\displaystyle \theta _{1}}$ ${\displaystyle {\Pr }_{\theta _{0}}(X\in A)={\Pr }_{\theta _{1}}(X\in A)=0}$

• То есть у нас есть строгий тест отношения правдоподобия, за исключением незначительной подгруппы.

Для любого пусть набор уровней тестов будет набором всех тестов гипотез с размером не более . То есть, положив его набор отклонений равным , мы имеем . ${\displaystyle \alpha \in [0,1]}$ ${\displaystyle \alpha }$ ${\displaystyle \alpha }$ ${\displaystyle R}$ ${\displaystyle {\Pr }_{\theta _{0}}(X\in R)\leq \alpha }$

Лемма Неймана–Пирсона ^[5]  —  Существование:

Если проверка гипотезы удовлетворяет условию, то это равномерно наиболее мощный (UMP) тест в наборе уровневых тестов. ${\displaystyle P_{\alpha }}$ ${\displaystyle \alpha }$

Уникальность: Если существует проверка гипотезы , которая удовлетворяет условию с , то каждый тест UMP в наборе уровневых тестов удовлетворяет условию с тем же . ${\displaystyle R_{NP}}$ ${\displaystyle P_{\alpha }}$ ${\displaystyle \eta >0}$ ${\displaystyle R}$ ${\displaystyle \alpha }$ ${\displaystyle P_{\alpha }}$ ${\displaystyle \eta }$

Далее, тест и тест согласуются с вероятностью , либо . ${\displaystyle R_{NP}}$ ${\displaystyle R}$ ${\displaystyle 1}$ ${\displaystyle \theta =\theta _{0}}$ ${\displaystyle \theta =\theta _{1}}$

На практике отношение правдоподобия часто используется напрямую для построения тестов — см. тест отношения правдоподобия . Однако его также можно использовать для предложения конкретных тестовых статистик, которые могут представлять интерес, или для предложения упрощенных тестов — для этого рассматривается алгебраическая манипуляция отношением, чтобы увидеть, есть ли в нем ключевые статистики, связанные с размером отношения (т. е. соответствует ли большая статистика малому отношению или большому).

Доказательство

Для любого теста гипотезы с множеством отклонений определите его статистическую функцию мощности . ${\displaystyle R}$ ${\displaystyle \beta _{R}(\theta )={\Pr }_{\theta }(X\in R)}$

Существование:

При наличии некоторой проверки гипотезы, удовлетворяющей условию, назовем ее областью отклонения (где NP означает Нейман–Пирсон). ${\displaystyle P_{\alpha }}$ ${\displaystyle R_{NP}}$

Для любого уровня проверки гипотезы с областью отклонения мы имеем, за исключением некоторого игнорируемого множества . ${\displaystyle \alpha }$ ${\displaystyle R}$ ${\displaystyle [1_{R_{NP}}(x)-1_{R}(x)][\rho (x\mid \theta _{1})-\eta \rho (x\mid \theta _{0})]\geq 0}$ ${\displaystyle A}$

Затем интегрируем его, чтобы получить ${\displaystyle x}$ ${\displaystyle 0\leq [\beta _{R_{NP}}(\theta _{1})-\beta _{R}(\theta _{1})]-\eta [\beta _{R_{NP}}(\theta _{0})-\beta _{R}(\theta _{0})].}$

Так как и , то находим, что . ${\displaystyle \beta _{R_{NP}}(\theta _{0})=\alpha }$ ${\displaystyle \beta _{R}(\theta _{0})\leq \alpha }$ ${\displaystyle \beta _{R_{NP}}(\theta _{1})\geq \beta _{R}(\theta _{1})}$

Таким образом, тест на отклонение является тестом UMP в наборе тестов уровня. ${\displaystyle R_{NP}}$ ${\displaystyle \alpha }$

Уникальность:

Для любого другого теста уровня UMP с областью отклонения мы имеем из части существования, . ${\displaystyle \alpha }$ ${\displaystyle R}$ ${\displaystyle [\beta _{R_{NP}}(\theta _{1})-\beta _{R}(\theta _{1})]\geq \eta [\beta _{R_{NP}}(\theta _{0})-\beta _{R}(\theta _{0})]}$

Поскольку тест — UMP, левая часть должна быть равна нулю. Поскольку правая часть дает , то тест имеет размер . ${\displaystyle R}$ ${\displaystyle \eta >0}$ ${\displaystyle \beta _{R}(\theta _{0})=\beta _{R_{NP}}(\theta _{0})=\alpha }$ ${\displaystyle R}$ ${\displaystyle \alpha }$

Поскольку подынтегральное выражение неотрицательно и интегрируется до нуля, оно должно быть точно равно нулю, за исключением некоторого игнорируемого множества . ${\displaystyle [1_{R_{NP}}(x)-1_{R}(x)][\rho (x\mid \theta _{1})-\eta \rho (x\mid \theta _{0})]}$ ${\displaystyle A}$

Поскольку тест удовлетворяет условию, пусть игнорируемое множество в определении условия будет . ${\displaystyle R_{NP}}$ ${\displaystyle P_{\alpha }}$ ${\displaystyle P_{\alpha }}$ ${\displaystyle A_{NP}}$

${\displaystyle R\smallsetminus (R_{NP}\cup A_{NP})}$можно игнорировать, так как для всех имеем . ${\displaystyle x\in R\smallsetminus (R_{NP}\cup A_{NP})}$ ${\displaystyle [1_{R_{NP}}(x)-1_{R}(x)][\rho (x\mid \theta _{1})-\eta \rho (x\mid \theta _{0})]=\eta \rho (x\mid \theta _{0})-\rho (x\mid \theta _{1})>0}$

Аналогично, его можно игнорировать. ${\displaystyle R_{NP}\smallsetminus (R\cup A_{NP})}$

Определим (где означает симметричную разность ). Это объединение трех игнорируемых множеств, поэтому это игнорируемое множество. ${\displaystyle A_{R}:=(R\mathbin {\Delta } R_{NP})\cup A_{NP}}$ ${\displaystyle \Delta }$

Тогда имеем и . Таким образом, тест на отбраковку удовлетворяет условию с тем же . ${\displaystyle x\in R\smallsetminus A_{R}\implies \rho (x\mid \theta _{1})>\eta \rho (x\mid \theta _{0})}$ ${\displaystyle x\in R^{c}\smallsetminus A_{R}\implies \rho (x\mid \theta _{1})<\eta \rho (x\mid \theta _{0})}$ ${\displaystyle R}$ ${\displaystyle P_{\alpha }}$ ${\displaystyle \eta }$

Поскольку игнорируемо, его подмножество также игнорируемо. Следовательно, оба теста согласуются с вероятностью , или . ${\displaystyle A_{R}}$ ${\displaystyle R\mathbin {\Delta } R_{NP}\subset A_{R}}$ ${\displaystyle 1}$ ${\displaystyle \theta =\theta _{0}}$ ${\displaystyle \theta =\theta _{1}}$

Пример

Пусть будет случайной выборкой из распределения, где известно среднее значение , и предположим, что мы хотим проверить на против . Правдоподобие для этого набора нормально распределенных данных равно ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$ ${\displaystyle \mu }$ ${\displaystyle H_{0}:\sigma ^{2}=\sigma _{0}^{2}}$ ${\displaystyle H_{1}:\sigma ^{2}=\sigma _{1}^{2}}$

${\displaystyle {\mathcal {L}}\left(\sigma ^{2}\mid \mathbf {x} \right)\propto \left(\sigma ^{2}\right)^{-n/2}\exp \left\{-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right\}.}$

Мы можем вычислить отношение правдоподобия , чтобы найти ключевую статистику в этом тесте и ее влияние на результат теста:

${\displaystyle \Lambda (\mathbf {x} )={\frac {{\mathcal {L}}\left({\sigma _{0}}^{2}\mid \mathbf {x} \right)}{{\mathcal {L}}\left({\sigma _{1}}^{2}\mid \mathbf {x} \right)}}=\left({\frac {\sigma _{0}^{2}}{\sigma _{1}^{2}}}\right)^{-n/2}\exp \left\{-{\frac {1}{2}}(\sigma _{0}^{-2}-\sigma _{1}^{-2})\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right\}.}$

Это отношение зависит только от данных через . Следовательно, по лемме Неймана–Пирсона, наиболее мощный тест этого типа гипотезы для этих данных будет зависеть только от . Кроме того, путем проверки мы можем видеть, что если , то является убывающей функцией . Поэтому мы должны отвергнуть , если достаточно велико. Порог отклонения зависит от размера теста . В этом примере можно показать, что статистика теста является масштабированной случайной величиной, распределенной по закону хи-квадрат, и можно получить точное критическое значение. ${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}}$ ${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}}$ ${\displaystyle \sigma _{1}^{2}>\sigma _{0}^{2}}$ ${\displaystyle \Lambda (\mathbf {x} )}$ ${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}}$ ${\displaystyle H_{0}}$ ${\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}}$

Применение в экономике

Вариант леммы Неймана–Пирсона нашел применение в, казалось бы, не связанной области экономики стоимости земли. Одной из фундаментальных проблем в теории потребления является расчет функции спроса потребителя с учетом цен. В частности, при наличии неоднородного земельного участка, меры цены на землю и субъективной меры полезности на землю, проблема потребителя состоит в расчете наилучшего земельного участка, который он может купить, т. е. земельного участка с наибольшей полезностью, цена которого не превышает его бюджета. Оказывается, эта проблема очень похожа на проблему поиска наиболее мощного статистического теста, и поэтому лемму Неймана–Пирсона можно использовать. ^[6]

Использование в электротехнике

Лемма Неймана–Пирсона весьма полезна в электронной инженерии , а именно при проектировании и использовании радиолокационных систем, цифровых систем связи и в системах обработки сигналов . В радиолокационных системах лемма Неймана–Пирсона используется для того, чтобы сначала установить частоту пропущенных обнаружений на желаемом (низком) уровне, а затем минимизировать частоту ложных тревог или наоборот. Ни ложные тревоги, ни пропущенные обнаружения не могут быть установлены на произвольно низких частотах, включая ноль. Все вышесказанное относится также ко многим системам обработки сигналов.

Использование в физике элементарных частиц

Лемма Неймана-Пирсона применяется для построения специфичных для анализа отношений правдоподобия, используемых, например, для проверки признаков новой физики по сравнению с номинальным предсказанием Стандартной модели в наборах данных о столкновениях протонов, собранных на Большом адронном коллайдере . ^[7]

Открытие леммы

Нейман писал об открытии леммы следующим образом. ^[8] Вставлены разрывы абзацев.

Я могу указать на конкретный момент, когда я понял, как сформулировать недогматическую проблему наиболее мощного теста простой статистической гипотезы против фиксированной простой альтернативы. В настоящее время [вероятно, 1968 год] проблема кажется совершенно тривиальной и легко достижимой для начинающего студента. Но, с некоторой долей смущения, я должен признаться, что потребовалось около полудесяти лет совместных усилий ESP [Эгона Пирсона] и меня, чтобы все прояснить.

Решение упомянутого вопроса пришло однажды вечером, когда я сидел один в своей комнате в Статистической лаборатории Школы сельского хозяйства в Варшаве, напряженно размышляя о чем-то, что должно было быть очевидным задолго до этого. Здание было заперто, и около 8 часов вечера я услышал голоса снаружи, зовущие меня. Это была моя жена с друзьями, которые говорили мне, что пора идти в кино.

Моей первой реакцией было раздражение. А затем, когда я встал из-за стола, чтобы ответить на звонок, я внезапно понял: для любой заданной критической области и для любой заданной альтернативной гипотезы можно вычислить вероятность ошибки второго рода; она представлена ​​этим конкретным интегралом. Как только это будет сделано, оптимальной критической областью будет та, которая минимизирует этот самый интеграл, при соблюдении побочного условия, касающегося вероятности ошибки первого рода. Мы сталкиваемся с частной проблемой вариационного исчисления, вероятно, простой проблемой.

Эти мысли промелькнули, прежде чем я добежал до окна, чтобы подать сигнал жене. Инцидент отчётливо сохранился в моей памяти, но у меня нет воспоминаний о фильме, который мы смотрели. Возможно, это был Бастер Китон.

Смотрите также

• Экспоненты ошибок при проверке гипотез
• F -тест
• Лемма
• Теорема Уилкса

Ссылки

1. Нейман, Дж.; Пирсон, Э.С. (1933-02-16). "IX. О проблеме наиболее эффективных проверок статистических гипотез". Phil. Trans. R. Soc. Lond. A. 231 ( 694–706): 289–337. Bibcode :1933RSPTA.231..289N. doi : 10.1098/rsta.1933.0009 . ISSN  0264-3952.
2. Теории проверки гипотез Фишера, Неймана–Пирсона: одна теория или две?: Журнал Американской статистической ассоциации: Том 88, № 424: Теории проверки гипотез Фишера, Неймана–Пирсона: одна теория или две?: Журнал Американской статистической ассоциации: Том 88, № 424
3. Вальд: Глава II: Теория Неймана–Пирсона проверки статистической гипотезы: Вальд: Глава II: Теория Неймана–Пирсона проверки статистической гипотезы
4. Империя случая: Империя случая
5. Casella, George (2002). Статистический вывод. Roger L. Berger (2-е изд.). Австралия: Thomson Learning. стр. 388, Теорема 8.3.12. ISBN 0-534-24312-6. OCLC  46538638.
6. Берлиант, М. (1984). «Характеристика спроса на землю». Журнал экономической теории . 33 (2): 289–300. doi :10.1016/0022-0531(84)90091-7.
7. Ван Дайк, Дэвид А. (2014). «Роль статистики в открытии бозона Хиггса». Annual Review of Statistics and Its Application . 1 (1): 41–59. Bibcode :2014AnRSA...1...41V. doi : 10.1146/annurev-statistics-062713-085841 .
8. Нейман, Дж. (1970). Взгляд на некоторые из моих личных впечатлений в процессе исследования. В Scientists at Work: Festschrift in honor of Herman Wold . Под редакцией Т. Далениуса, Г. Карлссона, С. Мальмквиста. Almqvist & Wiksell, Стокгольм. https://worldcat.org/en/title/195948

• EL Lehmann, Joseph P. Romano, Проверка статистических гипотез , Springer, 2008, стр. 60

Внешние ссылки

• Косма Шализи дает интуитивный вывод леммы Неймана–Пирсона, используя идеи из экономики.
• cnx.org: Критерий Неймана–Пирсона