Парадокс Симпсона

Ошибка в статистических рассуждениях с группами

Парадокс Симпсона для количественных данных: положительная тенденция ( , ) появляется для двух отдельных групп, тогда как отрицательная тенденция ( ) появляется при объединении групп.

Визуализация парадокса Симпсона на данных, напоминающих изменчивость реального мира, показывает, что риск неверной оценки истинной причинно-следственной связи может быть трудно обнаружить.

Парадокс Симпсона — это явление в вероятности и статистике , при котором тенденция появляется в нескольких группах данных, но исчезает или меняет направление при объединении групп. Этот результат часто встречается в статистике социальных и медицинских наук, ^{[1] [2] [3]} и особенно проблематичен, когда частотным данным ненадлежащим образом придаются причинно-следственные интерпретации. ^[4] Парадокс может быть разрешен, если вмешивающиеся переменные и причинно-следственные связи надлежащим образом рассматриваются в статистическом моделировании ^{[4] [5]} (например, с помощью кластерного анализа ^[6] ).

Парадокс Симпсона использовался для иллюстрации того, какие вводящие в заблуждение результаты может дать неправильное использование статистики . ^{[7] [8]}

Эдвард Х. Симпсон впервые описал это явление в технической статье в 1951 году, ^[9] но статистики Карл Пирсон (в 1899 году ^[10] ) и Удни Юл (в 1903 году ^[11] ) упоминали подобные эффекты ранее. Название парадокс Симпсона было введено Колином Р. Блайтом в 1972 году. ^[12] Его также называют инверсией Симпсона , эффектом Юла–Симпсона , парадоксом слияния или парадоксом инверсии . ^[13]

Математик Джордан Элленберг утверждает, что парадокс Симпсона назван неверно, поскольку «в нем нет противоречия, а есть просто два разных способа думать об одних и тех же данных», и предполагает, что его урок «на самом деле не в том, чтобы указывать нам, какую точку зрения принять, а в том, чтобы настаивать на том, чтобы мы одновременно держали в уме и части, и целое». ^[14]

Примеры

Гендерная предвзятость Калифорнийского университета в Беркли

Один из самых известных примеров парадокса Симпсона взят из исследования гендерной предвзятости среди поступающих в аспирантуру Калифорнийского университета в Беркли . Данные о поступлении осенью 1973 года показали, что мужчины, подавшие заявления, имели больше шансов быть принятыми, чем женщины, и разница была настолько велика, что вряд ли она была случайной. ^{[15] [16]}

Однако, принимая во внимание информацию о факультетах, на которые подаются заявления, различные проценты отказов показывают различную сложность поступления на факультет, и в то же время это показывает, что женщины, как правило, подавали заявления на более конкурентоспособные факультеты с более низкими показателями приема, даже среди квалифицированных кандидатов (например, на факультет английского языка), тогда как мужчины, как правило, подавали заявления на менее конкурентоспособные факультеты с более высокими показателями приема (например, на инженерный факультет). Объединенные и скорректированные данные показали «небольшое, но статистически значимое смещение в пользу женщин». ^[16]

Ниже приведены данные шести крупнейших департаментов:

Все данные показали, что в общей сложности 4 из 85 факультетов были значительно предвзяты в отношении женщин, а 6 были значительно предвзяты в отношении мужчин (не все из них представлены в таблице «шесть крупнейших факультетов» выше). Примечательно, что количество предвзятых факультетов не было основой для заключения, а скорее это были гендерные приемы, объединенные по всем факультетам, при этом взвешивались по уровню отказов каждого факультета по всем его заявителям. ^[16]

Лечение камней в почках

Другой пример взят из реального медицинского исследования ^[17], в котором сравниваются показатели успешности двух методов лечения камней в почках . ^[18] В таблице ниже показаны показатели успешности (термин « показатель успешности» здесь фактически означает долю успешности) и количество процедур для методов лечения, включающих как мелкие, так и крупные камни в почках, где лечение A включает открытые хирургические процедуры, а лечение B включает закрытые хирургические процедуры. Цифры в скобках указывают количество случаев успеха по сравнению с общим размером группы.

Парадоксальный вывод заключается в том, что лечение A более эффективно при использовании на небольших камнях, а также при использовании на больших камнях, однако лечение B оказывается более эффективным при рассмотрении обоих размеров одновременно. В этом примере «скрытая» переменная (или смешивающая переменная ), вызывающая парадокс, — это размер камней, о важности которого исследователи не знали до тех пор, пока не были включены его эффекты. ^{[ необходима цитата ]}

Какое лечение считается лучшим, определяется тем, какое отношение успеха (успехи/общее) больше. Изменение неравенства между двумя отношениями при рассмотрении объединенных данных, которое создает парадокс Симпсона, происходит, потому что два эффекта происходят одновременно: ^{[ необходима цитата ]}

1. Размеры групп, которые объединяются, когда игнорируется скрытая переменная, сильно различаются. Врачи склонны назначать случаям с большими камнями лучшее лечение A, а случаям с маленькими камнями худшее лечение B. Поэтому в итогах доминируют группы 3 и 2, а не две гораздо меньшие группы 1 и 4.
2. Скрытая переменная, размер камня, оказывает большое влияние на соотношения; т. е. на показатель успеха больше влияет тяжесть случая, чем выбор лечения. Таким образом, группа пациентов с большими камнями, использующая лечение A (группа 3), показывает худшие результаты, чем группа с маленькими камнями, даже если последняя использовала худшее лечение B (группа 2).

На основании этих эффектов, парадоксальный результат, как видно, возникает из-за того, что эффект размера камней перевешивает преимущества лучшего лечения (A). Короче говоря, менее эффективное лечение B оказалось более эффективным, поскольку оно применялось чаще к случаям с небольшими камнями, которые было легче лечить. ^[18]

Джейнс утверждает, что правильный вывод заключается в том, что, хотя лечение А остается заметно лучше лечения В, размер почечных камней имеет большее значение. ^[19]

Средние показатели отбивания

Распространенный пример парадокса Симпсона касается средних показателей отбивания игроков в профессиональном бейсболе . Возможно, что один игрок будет иметь более высокий средний показатель отбивания, чем другой игрок каждый год в течение ряда лет, но иметь более низкий средний показатель отбивания на протяжении всех этих лет. Это явление может возникнуть, когда есть большие различия в количестве отбивания между годами. Математик Кен Росс продемонстрировал это, используя средние показатели отбивания двух бейсболистов, Дерека Джитера и Дэвида Джастиса , в течение 1995 и 1996 годов: ^{[20] [21]}

В 1995 и 1996 годах у Джастиса был более высокий средний показатель отбивания (выделен жирным шрифтом), чем у Джетера. Однако, если объединить два бейсбольных сезона, Джетер показывает более высокий средний показатель отбивания, чем Джастис. По словам Росса, это явление будет наблюдаться примерно раз в год среди возможных пар игроков. ^[20]

Векторная интерпретация

Векторная интерпретация парадокса Симпсона

Парадокс Симпсона также можно проиллюстрировать с помощью 2-мерного векторного пространства . ^[22] Коэффициент успешности (т. е. успехи/попытки ) может быть представлен вектором с наклоном . Более крутой вектор тогда представляет больший коэффициент успешности. Если объединить два коэффициента и , как в приведенных выше примерах, результат можно представить суммой векторов и , что согласно правилу параллелограмма является вектором с наклоном . ${\textstyle {\frac {p}{q}}}$ ${\displaystyle {\vec {A}}=(q,p)}$ ${\textstyle {\frac {p}{q}}}$ ${\textstyle {\frac {p_{1}}{q_{1}}}}$ ${\textstyle {\frac {p_{2}}{q_{2}}}}$ ${\displaystyle (q_{1},p_{1})}$ ${\displaystyle (q_{2},p_{2})}$ ${\displaystyle (q_{1}+q_{2},p_{1}+p_{2})}$ ${\textstyle {\frac {p_{1}+p_{2}}{q_{1}+q_{2}}}}$

Парадокс Симпсона гласит, что даже если вектор (оранжевый на рисунке) имеет меньший наклон, чем другой вектор (синий), и имеет меньший наклон, чем , сумма двух векторов потенциально может все еще иметь больший наклон, чем сумма двух векторов , как показано в примере. Чтобы это произошло, один из оранжевых векторов должен иметь больший наклон, чем один из синих векторов (здесь и ), и они, как правило, будут длиннее, чем альтернативно индексированные векторы, тем самым доминируя в общем сравнении. ${\displaystyle {\vec {L}}_{1}}$ ${\displaystyle {\vec {B}}_{1}}$ ${\displaystyle {\vec {L}}_{2}}$ ${\displaystyle {\vec {B}}_{2}}$ ${\displaystyle {\vec {L}}_{1}+{\vec {L}}_{2}}$ ${\displaystyle {\vec {B}}_{1}+{\vec {B}}_{2}}$ ${\displaystyle {\vec {L}}_{2}}$ ${\displaystyle {\vec {B}}_{1}}$

Корреляция между переменными

Инверсия Симпсона может также возникнуть в корреляциях , в которых две переменные, по-видимому, имеют (скажем) положительную корреляцию друг с другом, когда на самом деле они имеют отрицательную корреляцию, причем инверсия была вызвана «скрытым» конфаундером. Берман и др. ^[23] приводят пример из экономики, где набор данных предполагает, что общий спрос положительно коррелирует с ценой (то есть более высокие цены приводят к большему спросу), что противоречит ожиданиям. Анализ показывает, что время является искажающей переменной: построение графика как цены, так и спроса в зависимости от времени показывает ожидаемую отрицательную корреляцию в течение различных периодов, которая затем меняется на положительную, если игнорировать влияние времени, просто построив график спроса в зависимости от цены.

Психология

Психологический интерес к парадоксу Симпсона направлен на то, чтобы объяснить, почему люди ^{[ кто? ]} поначалу считают изменение знака невозможным. ^{[ необходимо разъяснение ]} Вопрос в том, откуда у людей эта сильная интуиция и как она кодируется в сознании .

Парадокс Симпсона показывает, что эта интуиция не может быть выведена ни из классической логики , ни из исчисления вероятностей , и, таким образом, привел философов к предположению, что она поддерживается врожденной причинной логикой, которая направляет людей в рассуждениях о действиях и их последствиях. ^[4] Принцип уверенности Сэвиджа ^[12] является примером того, что может повлечь за собой такая логика. Уточненная версия принципа уверенности Сэвиджа действительно может быть выведена из исчисления «дела» Перла ^[4] и гласит: «Действие A , которое увеличивает вероятность события B в каждой субпопуляции C _i из C, должно также увеличить вероятность B в популяции в целом, при условии, что действие не изменяет распределение субпопуляций». Это говорит о том, что знания о действиях и последствиях хранятся в форме, напоминающей причинно-следственные байесовские сети .

Вероятность

В статье Павлидеса и Перлмана представлено доказательство, полученное благодаря Хаджикостасу, что в случайной таблице 2 × 2 × 2 с равномерным распределением парадокс Симпсона возникнет с вероятностью ровно 1 ⁄ 60 . ^[24] Исследование Кока предполагает, что вероятность того, что парадокс Симпсона возникнет случайным образом в моделях путей (т. е. моделях, созданных с помощью анализа путей ) с двумя предикторами и одной критериальной переменной, составляет приблизительно 12,8 процента; немного выше, чем 1 возникновение на 8 моделей путей. ^[25]

Второй парадокс Симпсона

Второй, менее известный парадокс также обсуждался в статье Симпсона 1951 года. Он может возникнуть, когда «разумная интерпретация» не обязательно находится в разделенных данных, как в примере с камнями в почках, но может вместо этого находиться в объединенных данных. Следует ли использовать разделенную или объединенную форму данных, зависит от процесса, дающего начало данным, то есть правильная интерпретация данных не всегда может быть определена простым наблюдением за таблицами. ^[26]

Джуда Перл показала, что для того, чтобы разделенные данные представляли правильные причинно-следственные связи между любыми двумя переменными, и , разделяющие переменные должны удовлетворять графическому условию, называемому «критерием скрытого входа»: ^{[27] [28]} ${\displaystyle X}$ ${\displaystyle Y}$

1. Они должны блокировать все ложные пути между и ${\displaystyle X}$ ${\displaystyle Y}$
2. Ни одна переменная не может быть затронута ${\displaystyle X}$

Этот критерий обеспечивает алгоритмическое решение второго парадокса Симпсона и объясняет, почему правильная интерпретация не может быть определена только на основе данных; два разных графика, оба совместимые с данными, могут диктовать два разных критерия обхода.

Когда критерий обхода удовлетворяется набором Z ковариатов, формула корректировки (см. Вмешивающиеся факторы ) дает правильное причинное влияние X на Y. Если такого набора не существует, можно использовать do -исчисление Перла для обнаружения других способов оценки причинного влияния. ^{[4] [29]} Полноту do -исчисления ^{[30] [29]} можно рассматривать как предложение полного решения парадокса Симпсона.

Критика

Одно из критических замечаний заключается в том, что этот парадокс на самом деле вовсе не парадокс, а скорее неспособность должным образом учесть сопутствующие переменные или рассмотреть причинно-следственные связи между переменными. ^[31]

Другая критика кажущегося парадокса Симпсона заключается в том, что он может быть результатом специфического способа стратификации или группировки данных. Явление может исчезнуть или даже обратить вспять, если данные стратифицированы по-другому или если рассматриваются различные смешивающие переменные. Пример Симпсона фактически выявил явление, называемое неколлапсируемостью ^[32] , которое происходит, когда подгруппы с высокими пропорциями не дают простых средних значений при объединении. Это говорит о том, что парадокс может быть не универсальным явлением, а скорее частным случаем более общей статистической проблемы.

Критики явного парадокса Симпсона также утверждают, что сосредоточение внимания на парадоксе может отвлечь от более важных статистических вопросов, таких как необходимость тщательного рассмотрения сопутствующих переменных и причинно-следственных связей при интерпретации данных. ^[33]

Несмотря на эту критику, кажущийся парадокс Симпсона остается популярной и интригующей темой в статистике и анализе данных. Он продолжает изучаться и обсуждаться исследователями и практиками в широком спектре областей, и он служит ценным напоминанием о важности тщательного статистического анализа и потенциальных ловушках упрощенных интерпретаций данных.

Смотрите также

• Алиасинг  – эффект обработки сигнала
• Квартет Энскомба  – четыре набора данных с одинаковой описательной статистикой, но очень разными распределениями
• Парадокс Берксона  – тенденция неверно интерпретировать статистические эксперименты, включающие условные вероятности.
• Выборка вишни  – Заблуждение о неполном доказательстве
• Парадокс Кондорсе  – внутреннее противоречие правила большинства
• Экологическая ошибка  – логическая ошибка, которая возникает, когда групповые характеристики применяются к отдельным людям.
• Джерримендеринг  – форма политической манипуляции
• Парадокс низкого веса при рождении  – Статистическая причуда веса младенцев при рождении
• Проблема изменяемой площади  – Источник статистического смещения
• Ошибка прокурора  – ошибка в мышлении, которая заключается в недооценке информации о базовой ставке.Страницы, отображающие краткие описания целей перенаправления
• Феномен Уилла Роджерса  – Статистический феномен и парадокс
• Ложная корреляция
• Смещение пропущенной переменной

Ссылки

1. Клиффорд Х. Вагнер (февраль 1982 г.). «Парадокс Симпсона в реальной жизни». The American Statistician . 36 (1): 46–48. doi :10.2307/2684093. JSTOR  2684093.
2. Холт, ГБ (2016). Потенциальный парадокс Симпсона в многоцентровом исследовании внутрибрюшинной химиотерапии рака яичников. Журнал клинической онкологии, 34(9), 1016–1016.
3. Фрэнкс, Александр; Айролди, Эдоардо ; Славов, Николай (2017). «Посттранскрипционная регуляция в тканях человека». PLOS Computational Biology . 13 (5): e1005535. arXiv : 1506.00219 . Bibcode : 2017PLSCB..13E5535F. doi : 10.1371/journal.pcbi.1005535 . ISSN  1553-7358. PMC 5440056. PMID 28481885  . 
4. Judea Pearl . Причинность: модели, рассуждения и выводы , Cambridge University Press (2000, 2-е издание 2009). ISBN 0-521-77362-8 . 
5. Kock, N., & Gaskins, L. (2016). Парадокс Симпсона, умеренность и возникновение квадратичных отношений в моделях путей: иллюстрация информационных систем. Международный журнал прикладной нелинейной науки, 2(3), 200–234.
6. Рожье А. Киевит, Виллем Э. Франкенхейс, Лоренс Дж. Уолдорп и Денни Борсбум, Парадокс Симпсона в психологической науке: практическое руководство https://doi.org/10.3389/fpsyg.2013.00513
7. Роберт Л. Уордроп (февраль 1995 г.). «Парадокс Симпсона и горячая рука в баскетболе». The American Statistician , 49 (1) : стр. 24–28.
8. Алан Агрести (2002). «Категориальный анализ данных» (Второе издание). John Wiley and Sons ISBN 0-471-36093-7 
9. Симпсон, Эдвард Х. (1951). «Интерпретация взаимодействия в таблицах сопряженности». Журнал Королевского статистического общества, серия B. 13 ( 2): 238–241. doi :10.1111/j.2517-6161.1951.tb00088.x.
10. Пирсон, Карл ; Ли, Элис; Брэмли-Мур, Лесли (1899). «Генетический (репродуктивный) отбор: наследование плодовитости у человека и плодовитости у чистокровных скаковых лошадей». Philosophical Transactions of the Royal Society A. 192 : 257–330. doi : 10.1098/rsta.1899.0006 .
11. GU Yule (1903). «Заметки о теории ассоциации признаков в статистике». Biometrika . 2 (2): 121–134. doi :10.1093/biomet/2.2.121.
12. Колин Р. Блайт (июнь 1972 г.). «О парадоксе Симпсона и принципе уверенности». Журнал Американской статистической ассоциации . 67 (338): 364–366. doi :10.2307/2284382. JSTOR  2284382.
13. IJ Good , Y. Mittal (июнь 1987 г.). «Объединение и геометрия таблиц сопряженности два на два». Анналы статистики . 15 (2): 694–711. doi : 10.1214/aos/1176350369 . ISSN  0090-5364. JSTOR  2241334.
14. Элленберг, Джордан (25 мая 2021 г.). Форма: скрытая геометрия информации, биологии, стратегии, демократии и всего остального. Нью-Йорк: Penguin Press . стр. 228. ISBN 978-1-9848-7905-9. OCLC  1226171979.
15. Дэвид Фридман , Роберт Пизани и Роджер Первес (2007), Статистика (4-е издание), WW Norton . ISBN 0-393-92972-8 . 
16. PJ Bickel , EA Hammel и JW O'Connell (1975). "Sex Bias in Graduate Admissions: Data From Berkeley" (PDF) . Science . 187 (4175): 398–404. Bibcode :1975Sci...187..398B. doi :10.1126/science.187.4175.398. PMID  17835295. S2CID  15278703. Архивировано (PDF) из оригинала 2016-06-04.
17. CR Charig; DR Webb; SR Payne; JE Wickham (29 марта 1986 г.). «Сравнение лечения почечных камней открытой хирургией, чрескожной нефролитотомией и экстракорпоральной ударно-волновой литотрипсией». Br Med J (Clin Res Ed) . 292 (6524): 879–882. ​​doi : 10.1136/bmj.292.6524.879. PMC 1339981. PMID  3083922. 
18. Стивен А. Джулиус; Марк А. Малли (3 декабря 1994 г.). «Смущение и парадокс Симпсона». BMJ . 309 (6967): 1480–1481. doi :10.1136/bmj.309.6967.1480. PMC 2541623 . PMID  7804052. 
19. Джейнс, ET; Бреттхорст, G. Larry (2003). "8.10 Объединение данных". Теория вероятностей: логика науки . Кембридж, Великобритания; Нью-Йорк, Нью-Йорк: Cambridge University Press. ISBN 978-0-521-59271-0.
20. Ken Ross. « Математик на бейсбольном поле: шансы и вероятности для поклонников бейсбола (мягкая обложка) » Pi Press, 2004. ISBN 0-13-147990-3 . 12–13 
21. Статистика доступна на Baseball-Reference.com : данные по Дереку Джитеру; данные по Дэвиду Джастису.
22. Кочик Ежи (2001). «Доказательства без слов: парадокс Симпсона» (PDF) . Mathematics Magazine . 74 (5): 399. doi :10.2307/2691038. JSTOR  2691038. Архивировано (PDF) из оригинала 2010-06-12.
23. Берман, С. ДаллеМьюл, Л. Грин, М., Лакер, Дж. (2012), «Парадокс Симпсона: поучительная история в области продвинутой аналитики». Архивировано 10 мая 2020 г. в Wayback Machine , Значимость .
24. Мариос Г. Павлидес и Майкл Д. Перлман (август 2009 г.). «Насколько вероятен парадокс Симпсона?». The American Statistician . 63 (3): 226–233. doi :10.1198/tast.2009.09007. S2CID  17481510.
25. Кок, Н. (2015). Насколько вероятен парадокс Симпсона в моделях пути? Международный журнал электронного сотрудничества, 11(1), 1–7.
26. Нортон, Х. Джеймс; Дивайн, Джордж (август 2015 г.). «Парадокс Симпсона... и как его избежать». Значимость . 12 (4): 40–43. doi : 10.1111/j.1740-9713.2015.00844.x .
27. Pearl, Judea (2014). «Понимание парадокса Симпсона». The American Statistician . 68 (1): 8–13. doi :10.2139/ssrn.2343788. S2CID  2626833.
28. Pearl, Judea (1993). «Графические модели, причинность и вмешательство». Статистическая наука . 8 (3): 266–269. doi : 10.1214/ss/1177010894 .
29. Pearl, J.; Mackenzie, D. (2018). Книга «Почему?»: Новая наука о причине и следствии . Нью-Йорк, Нью-Йорк: Basic Books.
30. Шпицер, И.; Перл, Дж. (2006). Дектер, Р.; Ричардсон, Т.С. (ред.). «Идентификация условных интервенционных распределений». Труды Двадцать второй конференции по неопределенности в искусственном интеллекте . Корваллис, Орегон: AUAI Press: 437–444.
31. Блит, Колин Р. (июнь 1972 г.). «О парадоксе Симпсона и принципе уверенности». Журнал Американской статистической ассоциации . 67 (338): 364–366. doi :10.1080/01621459.1972.10482387. ISSN  0162-1459.
32. Гринланд, Сандер (01.11.2021). «Неколлапсируемость, спутывание и смещение из-за разреженных данных. Часть 2: Что исследователи должны делать с постоянными спорами об отношении шансов?». Журнал клинической эпидемиологии . 139 : 264–268. doi : 10.1016/j.jclinepi.2021.06.004 . ISSN  0895-4356. PMID  34119647.
33. Эрнан, Мигель А.; Клейтон, Дэвид; Кейдинг, Нильс (июнь 2011 г.). «Парадокс Симпсонов раскрыт». Международный журнал эпидемиологии . 40 (3): 780–785. дои : 10.1093/ije/dyr041. ISSN  1464-3685. ПМК 3147074 . ПМИД  21454324. 

Библиография

• Лейла Шнепс и Корали Колмез , Математика на суде. Как числа используются и злоупотребляют в зале суда , Basic Books, 2013. ISBN 978-0-465-03292-1 . (Шестая глава: «Математическая ошибка номер 6: парадокс Симпсона. Дело о половой предвзятости в Беркли: обнаружение дискриминации»). 

Внешние ссылки

• Парадокс Симпсона в Стэнфордской энциклопедии философии , авторы Ян Шпренгер и Нафтали Вайнбергер.
• Как статистика может вводить в заблуждение – Марк Лидделл – видео и урок TED-Ed.
• Перл, Джудеа , «Понимание парадокса Симпсона» (PDF)
• Парадокс Симпсона, короткая статья Александра Богомольного о векторной интерпретации парадокса Симпсона
• В колонке «The Numbers Guy» газеты Wall Street Journal от 2 декабря 2009 года рассматривались недавние случаи парадокса Симпсона в новостях. В частности, парадокс Симпсона при сравнении уровня безработицы во время рецессии 2009 года с рецессией 1983 года.
• «На тарелке, статистическая головоломка: понимание парадокса Симпсона» Артура Смита, 20 августа 2010 г.
• Парадокс Симпсона, видео Генри Райха из MinutePhysics