Как только возможность ошибки поиска в другом месте в анализе будет признана, ее можно будет компенсировать путем тщательного применения стандартных математических методов. [6] [7] [8]
Многие статистические тесты выдают p-значение , вероятность того, что данный результат может быть получен случайно, предполагая, что гипотеза, которую пытаются доказать, на самом деле ложна. Когда спрашивают « влияет ли X на Y ?», принято варьировать X и смотреть, есть ли в результате значительная вариация Y. Если это p-значение меньше некоторого предопределенного порога статистической значимости α , результат считается «значительным».
Однако если выполняется несколько тестов («ищет в другом месте», если первый тест не пройден), то ожидается, что значение p 1/ n возникнет один раз на n тестов. Например, когда нет реального эффекта, событие с p < 0,05 все равно произойдет один раз, в среднем, на каждые 20 выполненных тестов. Чтобы компенсировать это, вы можете разделить свой порог α на количество тестов n , так что результат будет значимым, когда p < α / n . Или, что эквивалентно, умножьте наблюдаемое значение p на количество тестов (значимо, когда np < α ).
Это упрощенный случай; число n на самом деле является числом степеней свободы в тестах или числом эффективно независимых тестов. Если они не полностью независимы, число может быть меньше числа тестов.
Эффект поиска в другом месте является частой причиной «инфляции значимости», когда число независимых тестов n недооценивается, поскольку неудавшиеся тесты не публикуются. В одной статье могут не упоминаться рассмотренные альтернативные гипотезы, или статья, не дающая результата, может быть просто не опубликована вообще, что приводит к тому, что в журналах доминируют статистические выбросы.
Примеры
Шведское исследование 1992 года пыталось определить, вызывают ли линии электропередач какие-либо неблагоприятные последствия для здоровья. Исследователи обследовали всех, кто жил в радиусе 300 м от высоковольтных линий электропередач в течение 25 лет, и искали статистически значимые увеличения показателей более 800 заболеваний. Исследование показало, что заболеваемость лейкемией у детей была в четыре раза выше среди тех, кто жил ближе всего к линиям электропередач, и это побудило шведское правительство принять меры. Проблема с выводом, однако, заключалась в том, что они не смогли компенсировать эффект поиска в другом месте; в любой коллекции из 800 случайных выборок, вероятно, что по крайней мере одна будет по крайней мере на 3 стандартных отклонения выше ожидаемого значения, чисто случайно. Последующие исследования не смогли показать никаких связей между линиями электропередач и лейкемией у детей, ни в причинно-следственной связи, ни даже в корреляции. [10]Равноудалённые последовательности букв «wiki» и «Pedia», найденные в версии короля Якова в Книге Бытия (10:7-14)
Феномен библейского кода подразумевает поиск нетипичных значимых групп слов, предсказывающих будущие события, скрытых в тексте еврейской Библии, взятой как необработанная последовательность букв без пробелов и организованной в различные сетки разных пропорций. Однако, как продемонстрировала статья в Skeptical Inquirer , [11] это равносильно созданию огромного количества сеток для проверки шаблонов или группировок путем деления полной текстовой строки на ширину от нескольких до сотен тысяч букв, повторяя ширину для последующих строк. Каждая из этих многочисленных сеток затем может быть, в свою очередь, дополнительно исследована для широкого диапазона интересующих слов путем пропуска интервалов, вперед или назад, произвольного x букв в тексте (или x+1, x+2 и т. д.), в огромном перекрестном произведении параметризованных возможностей, и связанное совпадающее слово интереса может быть любой близлежащей строкой в произвольном пропуске x+k или y+k букв, вперед или назад, так что объемы перестановок становятся огромными. Таким образом, оставляя в стороне связанные вопросы, такие как предвзятость подтверждения , даже если в первой сетке не было найдено группировок, представляющих интерес или значение, следующая итерация может быть опробована компьютером и так далее в массовом порядке , пока, наконец, не будут получены «чудесные» или «невероятные» группировки. Это равносильно тому, что, сдав себе неинтересную покерную руку, продолжая делать это в любых больших количествах, необходимых для получения стрит-флеша , рояль-флеша или даже многих таких событий подряд, и называя колоду вдохновленной для обеспечения такого результата. Автор Skeptical Inquirer, таким образом, смог достичь идентичных эффектов, просто применив те же алгоритмы поиска как к тексту Библии короля Якова на английском языке вместо якобы божественно вдохновленной еврейской версии, так и затем столь же эффективно к обыденному и произвольному примеру текста решения Верховного суда США 1987 года Эдвардс против Агилларда .
^ Лайонс, Л. (2008). «Открытые статистические вопросы в физике элементарных частиц». Анналы прикладной статистики . 2 (3): 887. arXiv : 0811.1663 . doi : 10.1214/08-AOAS163.
^ "Синопсис: Контроль за "эффектом взгляда в другую сторону"". Физика . 4. Американское физическое общество: s127. 2011. doi :10.1103/PhysRevLett.107.101801.
↑ Лори Энн Уайт (12 августа 2011 г.). «Слово недели: эффект Look Elsewhere». Стэнфордская национальная ускорительная лаборатория. Архивировано из оригинала 19 апреля 2012 г.
^ Дориго, Томмазо (16.10.2009). "Сверхъестественные совпадения и эффект взгляда в сторону" . Получено 17.10.2012 .
^ Дориго, Томмазо (2011-08-19). «Стоит ли вам волноваться из-за ваших данных? Пусть решает эффект взгляда в другое место». Сотрудничество с CMS.
^ Гросс, Э.; Вителлс, О. (2010). «Пробные факторы для эффекта поиска в другом месте в физике высоких энергий». The European Physical Journal C. 70 ( 1–2): 525–530. arXiv : 1005.1891 . Bibcode :2010EPJC...70..525G. doi :10.1140/epjc/s10052-010-1470-8.
^ Байер, Адриан Э.; Сельяк, Урош (2020). «Эффект взгляда в другое место с единой байесовской и частотной точки зрения». Журнал космологии и астрочастичной физики . 2020 (10): 009. arXiv : 2007.13821 . Bibcode : 2020JCAP...10..009B. doi : 10.1088/1475-7516/2020/10/009.
^ Байер, Адриан Э.; Сельяк, Урош; Робник, Якоб (2021). «Самокалибровка эффекта взгляда в другую сторону: быстрая оценка статистической значимости с использованием высот пиков». Monthly Notices of the Royal Astronomical Society . 508 (1): 1346–1357. arXiv : 2108.06333 . Bibcode : 2021MNRAS.508.1346B. doi : 10.1093/mnras/stab2331 .
^ Том Чиверс (2011-12-13). "Неподтвержденное наблюдение неуловимого бозона Хиггса". Daily Telegraph. Архивировано из оригинала 2011-12-17.
