Статистика , когда используется вводящим в заблуждение образом, может обмануть случайного наблюдателя, заставив его поверить во что-то иное, чем то, что показывают данные . То есть, неправильное использование статистики происходит, когда статистический аргумент утверждает ложь . В некоторых случаях неправильное использование может быть случайным. В других случаях оно является преднамеренным и направлено на выгоду преступника. Когда задействованная статистическая причина ложна или неправильно применена, это представляет собой статистическую ошибку .
Последствия таких неверных толкований могут быть весьма серьезными. Например, в медицинской науке исправление лжи может занять десятилетия и стоить жизни.
Легко попасть в ненадлежащее использование. Профессиональные ученые, математики и даже профессиональные статистики могут быть обмануты даже некоторыми простыми методами, даже если они тщательно проверяют все. Ученые, как известно, обманывают себя статистикой из-за отсутствия знаний теории вероятностей и отсутствия стандартизации своих тестов .
Одно из пригодных определений: «Неправильное использование статистики: использование чисел таким образом, что — либо намеренно, либо по незнанию или небрежности — выводы оказываются необоснованными или неверными». [1] «Числа» включают в себя вводящие в заблуждение графики, обсуждаемые в других источниках. Термин нечасто встречается в статистических текстах, и нет единого авторитетного определения. Это обобщение лжи со статистикой , которое было подробно описано примерами статистиков 60 лет назад.
Определение сталкивается с некоторыми проблемами (некоторые из них рассмотрены в источнике): [2]
How to Lie with Statistics признает, что статистика может законно принимать множество форм. Показывает ли статистика, что продукт «легкий и экономичный» или «хлипкий и дешевый», можно обсуждать вне зависимости от цифр. Некоторые возражают против замены статистической правильности на моральное лидерство (например) в качестве цели. Назначить вину за злоупотребления часто бывает сложно, поскольку ученые, социологи, статистики и репортеры часто являются сотрудниками или консультантами.
Коварное злоупотребление статистикой совершается слушателем, наблюдателем, аудиторией или присяжным. Поставщик предоставляет «статистику» в виде чисел или графиков (или фотографий «до/после»), позволяя потребителю делать выводы, которые могут быть необоснованными или неверными. Низкий уровень общественной статистической грамотности и нестатистическая природа человеческой интуиции позволяют вводить в заблуждение, не делая явно ошибочного вывода. Определение слабое в отношении ответственности потребителя статистики.
Историк перечислил более 100 заблуждений в дюжине категорий, включая заблуждения обобщения и заблуждения причинности. [3] Некоторые из заблуждений являются явно или потенциально статистическими, включая выборку, статистическую бессмыслицу, статистическую вероятность, ложную экстраполяцию, ложную интерполяцию и коварное обобщение. Все технические/математические проблемы прикладной вероятности укладываются в одну перечисленную ошибку статистической вероятности. Многие из заблуждений могут быть связаны со статистическим анализом, допуская возможность ложного вывода, вытекающего из статистически обоснованного анализа.
Примером использования статистики является анализ медицинских исследований. Процесс включает [4] [5] экспериментальное планирование, проведение эксперимента, анализ данных, выведение логических выводов и презентацию/отчетность. Отчет резюмируется популярной прессой и рекламодателями. Неправильное использование статистики может возникнуть из-за проблем на любом этапе процесса. Статистические стандарты, в идеале предъявляемые к научному отчету, сильно отличаются от тех, которые предъявляются к популярной прессе и рекламодателям; однако существуют случаи рекламы, замаскированной под науку, например, Australasian Journal of Bone & Joint Medicine . Определение неправильного использования статистики слабо в отношении требуемой полноты статистической отчетности. Высказывается мнение, что газеты должны предоставлять по крайней мере источник сообщаемой статистики.
Многие случаи неправильного использования статистики происходят из-за
Чтобы продвигать нейтральный (бесполезный) продукт, компания должна найти или провести, например, 40 исследований с уровнем достоверности 95%. Если продукт бесполезен, это даст одно исследование, показывающее, что продукт полезен, одно исследование, показывающее, что он вреден, и тридцать восемь неубедительных исследований (38 составляет 95% от 40). Эта тактика становится более эффективной, когда доступно больше исследований. Организации, которые не публикуют все проводимые ими исследования, такие как табачные компании, отрицающие связь между курением и раком, группы по защите прав потребителей табака и средства массовой информации, пытающиеся доказать связь между курением и различными заболеваниями, или продавцы чудодейственных таблеток, вероятно, будут использовать эту тактику.
Рональд Фишер рассматривал этот вопрос в своем знаменитом эксперименте с дегустацией чая (из его книги 1935 года «Планирование экспериментов »). Что касается повторных экспериментов, он сказал: «Это было бы незаконно и лишило бы наши расчеты основы, если бы все неудачные результаты не были учтены».
Другой термин, связанный с этой концепцией, — «сбор вишни» .
Многопараметрические наборы данных имеют два или более признаков/измерений . Если для анализа выбрано слишком мало этих признаков (например, если выбран только один признак и вместо множественной линейной регрессии выполнена простая линейная регрессия ), результаты могут быть обманчивыми. Это делает аналитика уязвимым для любого из различных статистических парадоксов или в некоторых (не всех) случаях ложной причинности, как показано ниже.
Ответы на опросы часто можно манипулировать, формулируя вопрос таким образом, чтобы вызвать преобладание определенного ответа у респондента. Например, при опросе поддержки войны вопросы:
скорее всего, приведут к искажению данных в разных направлениях, хотя оба опроса касаются поддержки войны. Лучший способ сформулировать вопрос — «Поддерживаете ли вы текущие военные действия США за рубежом?» Еще более нейтральный способ задать этот вопрос — «Каково ваше мнение о текущих военных действиях США за рубежом?» Суть должна быть в том, что человек, которому задают вопрос, не может догадаться по формулировке, что хочет услышать спрашивающий.
Другой способ сделать это — предварить вопрос информацией, которая подтверждает «желаемый» ответ. Например, больше людей, вероятно, ответят «да» на вопрос «Учитывая растущее бремя налогов на семьи среднего класса, поддерживаете ли вы сокращение подоходного налога?», чем на вопрос «Учитывая растущий дефицит федерального бюджета и острую необходимость в дополнительных доходах, поддерживаете ли вы сокращение подоходного налога?»
Правильная формулировка вопросов может быть очень тонкой. Ответы на два вопроса могут существенно различаться в зависимости от порядка, в котором они задаются. [15] «Опрос, в котором спрашивалось о «владении акциями», показал, что большинство техасских скотоводов владеют акциями, хотя, вероятно, не теми, которые торгуются на Нью-Йоркской фондовой бирже». [16]
Чрезмерное обобщение — это ошибка, возникающая, когда утверждается, что статистические данные о конкретной популяции справедливы для членов группы, для которой исходная популяция не является репрезентативной выборкой.
Например, предположим, что 100% яблок летом красные. Утверждение «Все яблоки красные» будет примером чрезмерного обобщения, поскольку исходная статистика была верна только для определенного подмножества яблок (летних), которое, как ожидается, не будет репрезентативным для популяции яблок в целом.
Реальный пример ошибки чрезмерного обобщения можно наблюдать как артефакт современных методов опроса, которые запрещают звонить на мобильные телефоны для телефонных политических опросов. Поскольку молодые люди с большей вероятностью, чем другие демографические группы, не имеют обычного "стационарного" телефона, телефонный опрос, который опрашивает исключительно респондентов звонков на стационарные телефоны, может привести к тому, что результаты опроса будут занижены в отношении взглядов молодых людей, если не будут приняты другие меры для учета этого перекоса выборки. Таким образом, опрос, изучающий предпочтения молодых людей при голосовании с использованием этой техники, может не быть абсолютно точным представлением истинных предпочтений молодых людей при голосовании в целом без чрезмерного обобщения, поскольку используемая выборка исключает молодых людей, которые носят только мобильные телефоны, чьи предпочтения при голосовании могут отличаться от предпочтений остального населения, а могут и не отличаться.
Чрезмерное обобщение часто происходит, когда информация передается через нетехнические источники, в частности через средства массовой информации.
Ученые ценой больших усилий узнали, что сбор хороших экспериментальных данных для статистического анализа — сложная задача. Пример: эффект плацебо (разум превыше тела) очень силен. У 100% испытуемых появилась сыпь при воздействии инертного вещества, которое было ложно названо ядовитым плющом, в то время как у немногих появилась сыпь на «безобидный» объект, который на самом деле был ядовитым плющом. [17] Исследователи борются с этим эффектом с помощью двойных слепых рандомизированных сравнительных экспериментов . Статистики обычно больше беспокоятся о достоверности данных, чем об анализе. Это отражено в области изучения в статистике, известной как дизайн экспериментов .
Опросчики ценой больших усилий узнали, что сбор хороших данных опроса для статистического анализа — дело трудное. Избирательное воздействие сотовых телефонов на сбор данных (обсуждаемое в разделе «Сверхобобщение») — один из возможных примеров; если молодые люди с традиционными телефонами не являются репрезентативными, выборка может быть предвзятой. Выборочные опросы имеют много ловушек и требуют большой осторожности при проведении. [18] Одно усилие потребовало почти 3000 телефонных звонков, чтобы получить 1000 ответов. Простая случайная выборка населения «не является простой и может не быть случайной». [19]
Если исследовательская группа хочет узнать, что думают 300 миллионов человек о какой-то теме, было бы непрактично спрашивать их всех. Однако, если группа выберет случайную выборку из примерно 1000 человек, они могут быть достаточно уверены, что результаты, полученные этой группой, являются репрезентативными для того, что сказала бы большая группа, если бы их всех спросили.
Эта уверенность фактически может быть количественно определена центральной предельной теоремой и другими математическими результатами. Уверенность выражается как вероятность того, что истинный результат (для большей группы) будет находиться в определенном диапазоне оценки (цифры для меньшей группы). Это цифра «плюс-минус», часто приводимая для статистических исследований. Вероятностная часть уровня уверенности обычно не упоминается; если это так, то предполагается, что это стандартное число, например 95%.
Эти два числа связаны. Если опрос имеет предполагаемую ошибку ±5% при 95%-ной достоверности, он также имеет предполагаемую ошибку ±6,6% при 99%-ной достоверности. ± % при 95%-ной достоверности всегда равно ± % при 99%-ной достоверности для нормально распределенной совокупности.
Чем меньше предполагаемая ошибка, тем больше требуемая выборка при заданном уровне достоверности; например, при 95,4%-ной достоверности:
Люди могут предположить, что, поскольку доверительная цифра опущена, есть 100% уверенность в том, что истинный результат находится в пределах предполагаемой погрешности. Это не является математически правильным.
Многие люди могут не осознавать, что случайность выборки очень важна. На практике многие опросы общественного мнения проводятся по телефону, что искажает выборку несколькими способами, включая исключение людей, у которых нет телефонов, предпочтение включению людей, у которых есть более одного телефона, предпочтение включению людей, которые готовы участвовать в телефонном опросе, по сравнению с теми, кто отказывается, и т. д. Неслучайная выборка делает предполагаемую ошибку ненадежной.
С другой стороны, люди могут считать, что статистика изначально ненадежна, потому что не всех приглашают, или потому что их самих никогда не опрашивают. Люди могут думать, что невозможно получить данные о мнении десятков миллионов людей, просто опросив несколько тысяч. Это также неточно. [a] Опрос с идеальной непредвзятой выборкой и правдивыми ответами имеет математически определенную погрешность , которая зависит только от количества опрошенных людей.
Однако часто для опроса сообщается только один предел погрешности. Когда результаты сообщаются для подгрупп населения, будет применяться больший предел погрешности, но это может быть не указано явно. Например, опрос 1000 человек может включать 100 человек из определенной этнической или экономической группы. Результаты, ориентированные на эту группу, будут гораздо менее надежными, чем результаты для всего населения. Если предел погрешности для полной выборки составлял, скажем, 4%, то предел погрешности для такой подгруппы может составлять около 13%.
Существует также много других проблем измерения в обследованиях населения.
Упомянутые выше проблемы применимы ко всем статистическим экспериментам, а не только к обследованиям населения.
Когда статистический тест показывает корреляцию между A и B, обычно существует шесть возможностей:
Шестая возможность может быть количественно определена статистическими тестами, которые могут вычислить вероятность того, что наблюдаемая корреляция будет настолько большой, насколько это возможно, если на самом деле нет никакой связи между переменными. Однако, даже если эта возможность имеет небольшую вероятность, все еще есть пять других.
Если количество людей, покупающих мороженое на пляже, статистически связано с количеством людей, утонувших на пляже, то никто не будет утверждать, что мороженое является причиной утопления, поскольку очевидно, что это не так. (В этом случае и утопление, и покупка мороженого явно связаны третьим фактором: количеством людей на пляже).
Это заблуждение можно использовать, например, для доказательства того, что воздействие химического вещества вызывает рак. Замените «количество людей, покупающих мороженое» на «количество людей, подвергшихся воздействию химического вещества X», а «количество людей, которые утонули» на «количество людей, которые заболели раком», и многие люди вам поверят. В такой ситуации может быть статистическая корреляция, даже если нет реального эффекта. Например, если есть мнение, что место с химическим веществом «опасно» (даже если на самом деле это не так), стоимость недвижимости в этом районе снизится, что побудит больше семей с низким доходом переехать в этот район. Если семьи с низким доходом более склонны заболеть раком, чем семьи с высоким доходом (например, из-за более плохого питания или меньшего доступа к медицинской помощи), то показатели заболеваемости раком возрастут, даже если само химическое вещество не является опасным. Считается [22] , что именно это и произошло с некоторыми ранними исследованиями, показывающими связь между ЭМП ( электромагнитными полями ) от линий электропередач и раком . [23]
В хорошо спланированных исследованиях эффект ложной причинности можно устранить, назначив некоторых людей в «группу лечения», а некоторых людей в «контрольную группу» случайным образом, и дав группе лечения лечение, а контрольной группе — нет. В приведенном выше примере исследователь может подвергнуть одну группу людей воздействию химического вещества X и оставить вторую группу неподверженной. Если в первой группе были более высокие показатели заболеваемости раком, исследователь знает, что нет третьего фактора, который повлиял бы на то, подвергся ли человек воздействию, потому что он контролировал, кто подвергся воздействию или нет, и он распределял людей в группы, подвергшиеся воздействию, и не подвергшиеся воздействию, случайным образом. Однако во многих приложениях фактическое проведение эксперимента таким образом либо непомерно дорого, либо неосуществимо, неэтично, незаконно или просто невозможно. Например, крайне маловероятно, что IRB одобрит эксперимент, который включал намеренное подвергание людей воздействию опасного вещества с целью проверки его токсичности. Очевидные этические последствия таких типов экспериментов ограничивают способность исследователей эмпирически проверять причинно-следственную связь.
В статистическом тесте нулевая гипотеза ( ) считается действительной до тех пор, пока достаточно данных не докажут ее ложность. Затем она отклоняется, а альтернативная гипотеза ( ) считается доказанной как верная. Случайно это может произойти, хотя и является истинным, с обозначенной вероятностью (уровень значимости). Это можно сравнить с судебным процессом, где обвиняемый считается невиновным ( ) до тех пор, пока его вина ( ) не будет доказана вне разумных сомнений ( ).
Но если данные не дают нам достаточно доказательств, чтобы отвергнуть то , что , это не доказывает автоматически, что это правильно. Если, например, производитель табачных изделий хочет продемонстрировать, что его продукция безопасна, он может легко провести тест с небольшой выборкой курильщиков против небольшой выборки некурящих. Маловероятно, что у кого-либо из них разовьется рак легких (и даже если это произойдет, разница между группами должна быть очень большой, чтобы отвергнуть ). Поэтому, вероятно, даже когда курение опасно, наш тест не отвергнет . Если принимается, из этого автоматически не следует, что курение доказано безвредным. Тест имеет недостаточно мощности, чтобы отвергнуть , поэтому тест бесполезен, и ценность «доказательства» также равна нулю.
Это можно — используя судебный аналог выше — сравнить с действительно виновным подсудимым, которого отпускают только потому, что доказательств недостаточно для обвинительного приговора. Это не доказывает невиновность подсудимого, а лишь то, что доказательств недостаточно для обвинительного приговора.
«...нулевая гипотеза никогда не доказывается и не устанавливается, но она может быть опровергнута в ходе эксперимента. Можно сказать, что каждый эксперимент существует только для того, чтобы дать фактам шанс опровергнуть нулевую гипотезу». (Фишер в книге «Планирование экспериментов ») Существует много причин для путаницы, включая использование двойной отрицательной логики и терминологии, возникающей в результате слияния «проверки значимости» Фишера (где нулевая гипотеза никогда не принимается) с «проверкой гипотез» (где некоторая гипотеза всегда принимается).
Статистическая значимость — это мера вероятности; практическая значимость — это мера эффекта. [24] Излечение от облысения статистически значимо, если редкий персиковый пушок обычно покрывает ранее голую голову. Излечение практически значимо, когда шляпа больше не нужна в холодную погоду, и парикмахер спрашивает, насколько снять верх. Лысые хотят излечение, которое является как статистически, так и практически значимым; оно, вероятно, сработает, и если это так, то это будет иметь большой волосатый эффект. Научные публикации часто требуют только статистической значимости. Это привело к жалобам (за последние 50 лет), что тестирование статистической значимости является неправильным использованием статистики. [25]
Выемка данных — это злоупотребление добычей данных . При выемке данных большие компиляции данных исследуются с целью найти корреляцию без какого-либо заранее определенного выбора гипотезы для проверки. Поскольку требуемый доверительный интервал для установления связи между двумя параметрами обычно выбирается равным 95% (что означает, что существует 95% вероятность того, что наблюдаемая связь не является следствием случайности), существует 5% вероятность найти корреляцию между любыми двумя наборами полностью случайных переменных. Учитывая, что усилия по выемке данных обычно изучают большие наборы данных со многими переменными и, следовательно, даже большим числом пар переменных, ложные, но, по-видимому, статистически значимые результаты почти наверняка будут обнаружены любым таким исследованием.
Обратите внимание, что выемка данных является допустимым способом поиска возможной гипотезы, но затем эта гипотеза должна быть проверена с помощью данных, которые не использовались при первоначальной выемке. Неправильное использование происходит, когда эта гипотеза утверждается как факт без дальнейшей проверки.
«Вы не можете законно проверить гипотезу на тех же данных, которые изначально предполагали эту гипотезу. Лекарство очевидно. Как только у вас появится гипотеза, разработайте исследование, чтобы специально найти эффект, который, как вы теперь думаете, существует. Если результат этого теста статистически значим, у вас наконец есть реальные доказательства». [26]
Эта практика, неофициально называемая «подтасовкой данных», включает в себя выборочную подачу сообщений (см. также предвзятость публикаций ) и даже простое создание ложных данных.
Примеров выборочной отчетности предостаточно. Самые простые и распространенные примеры включают выбор группы результатов, которые следуют шаблону, соответствующему предпочтительной гипотезе , игнорируя другие результаты или «прогоны данных», которые противоречат гипотезе.
Ученые, в целом, подвергают сомнению обоснованность результатов исследований, которые не могут быть воспроизведены другими исследователями. Однако некоторые ученые отказываются публиковать свои данные и методы. [27]
Манипулирование данными является серьезной проблемой/соображением в самом честном статистическом анализе. Выбросы, пропущенные данные и ненормальность могут негативно повлиять на достоверность статистического анализа. Целесообразно изучить данные и устранить реальные проблемы до начала анализа. «[В] любой диаграмме рассеяния будут некоторые точки, более или менее отделенные от основной части облака: эти точки следует отклонять только по причине». [28]
Псевдорепликация — это техническая ошибка, связанная с дисперсионным анализом . Сложность скрывает тот факт, что статистический анализ проводится на единственной выборке (N=1). Для этого вырожденного случая дисперсия не может быть рассчитана (деление на ноль). (N=1) всегда даст исследователю наивысшую статистическую корреляцию между преднамеренным смещением и фактическими результатами.
Ошибка игрока предполагает , что событие, для которого можно измерить будущую вероятность, имеет ту же вероятность произойти, когда оно уже произошло. Таким образом, если кто-то уже подбросил 9 монет и каждая монета выпала орлом, люди склонны предполагать, что вероятность того, что десятый бросок также выпадет орлом, составляет 1023 к 1 (что было до подбрасывания первой монеты), тогда как на самом деле вероятность того, что десятый бросок выпадет орлом, составляет 50% (предполагая, что монета непредвзята).
Ошибка прокурора [ 29] предполагает, что вероятность того, что явное уголовное событие является случайностью, равна вероятности того, что подозреваемый невиновен. Ярким примером в Великобритании является неправомерное осуждение Салли Кларк за убийство двух ее сыновей, которые, по-видимому, умерли от синдрома внезапной детской смерти (СВДС). В своих экспертных показаниях ныне дискредитированный профессор сэр Рой Медоу утверждал, что из-за редкости СВДС вероятность невиновности Кларк составляла 1 к 73 миллионам. Позднее это было подвергнуто сомнению Королевским статистическим обществом ; [30] предполагая, что цифра Медоу была точной, нужно взвесить все возможные объяснения друг против друга, чтобы сделать вывод о том, что, скорее всего, стало причиной необъяснимой смерти двух детей. Имеющиеся данные свидетельствуют о том, что шансы были бы в пользу двойного СВДС по сравнению с двойным убийством в девять раз. [31] Цифра 1 из 73 миллионов также была вводящей в заблуждение, поскольку она была получена путем нахождения вероятности смерти ребенка из обеспеченной, некурящей семьи от СВДС и возведения ее в квадрат : это ошибочно рассматривает каждую смерть как статистически независимую , предполагая, что нет фактора, такого как генетика, который мог бы повысить вероятность смерти двух братьев и сестер от СВДС. [32] [33] Это также пример экологического заблуждения , поскольку оно предполагает, что вероятность СВДС в семье Кларк была такой же, как и в среднем во всех обеспеченных, некурящих семьях; социальный класс - это очень сложная и многогранная концепция, со множеством других переменных, таких как образование, направление работы и многое другое. Предположение, что человек будет иметь те же характеристики, что и остальная часть данной группы, не учитывает влияние других переменных, которые, в свою очередь, могут вводить в заблуждение. [33] Приговор Салли Кларк был в конечном итоге отменен, и Медоу была исключена из медицинского регистра. [34]
Игровое заблуждение . Вероятности основаны на простых моделях, которые игнорируют реальные (хотя и отдаленные) возможности. Игроки в покер не учитывают, что противник может вытащить пистолет вместо карты. Застрахованные (и правительства) предполагают, что страховщики останутся платежеспособными, но видят AIG и системный риск .
Другие неправильные употребления включают сравнение яблок и апельсинов , использование неправильного среднего значения, [35] регрессию к среднему значению , [36] и зонтичную фразу « мусор на входе — мусор на выходе » . [37] Некоторые статистические данные просто не имеют отношения к проблеме. [38]
Некоторые рекламные фразы, такие как «более 99 из 100», могут быть неверно истолкованы как 100%. [39]
Квартет Энскомба представляет собой вымышленный набор данных, демонстрирующий недостатки простой описательной статистики (и ценность построения графиков данных перед численным анализом).
{{cite journal}}: CS1 maint: DOI неактивен по состоянию на апрель 2024 г. ( ссылка )Содержит обширный список медицинских злоупотреблений статистикой всех типов.{{citation}}: CS1 maint: неподходящий URL ( ссылка )В этом австралийском отчете о статистике преступлений приводятся многочисленные примеры интерпретации и неверного толкования данных. «Увеличение доступа СМИ к информации о преступлениях не сопровождалось повышением качества освещения преступлений в СМИ. Неправильное использование статистики преступлений СМИ препятствовало рациональным дебатам о законе и порядке». Среди предполагаемых злоупотреблений СМИ: выборочное использование данных, выборочное представление фактов, вводящие в заблуждение комментарии, искажение фактов и вводящие в заблуждение заголовки. Полиция и политики также злоупотребляли статистикой.{{cite news}}: CS1 maint: неподходящий URL ( ссылка )Цитаты: Дрейпер, Г. (2005). «Детский рак в зависимости от расстояния от высоковольтных линий электропередач в Англии и Уэльсе: исследование случай-контроль». BMJ . 330 (7503): 1290. doi :10.1136/bmj.330.7503.1290. PMC 558197 . PMID 15933351. {{cite journal}}: CS1 maint: неподходящий URL ( ссылка )
{{cite journal}}: CS1 maint: неподходящий URL ( ссылка ){{cite journal}}: CS1 maint: неподходящий URL ( ссылка )