stringtranslate.com

Ошибка выжившего

Популярное визуальное представление ошибки выживаемости. Эта диаграмма показывает, где были сбиты возвращающиеся самолеты времен Второй мировой войны. Предложение усилить красные кластеры иллюстрирует ошибку выживаемости, поскольку анализировались только те самолеты, которые не разбились.

Ошибка выживаемости или ошибка выживания — это логическая ошибка , когда внимание уделяется субъектам, прошедшим отбор, и игнорируются те, которые не прошли отбор. Это может привести к неверным выводам из-за неполных данных.

Ошибка выжившего — это форма ошибки отбора , которая может привести к чрезмерно оптимистичным убеждениям, поскольку игнорируются множественные неудачи, например, когда компании, которые больше не существуют, исключаются из анализа финансовых показателей. Это также может привести к ложному убеждению, что успехи в группе имеют некое особое свойство, а не просто совпадение, как в корреляции, «доказывающей» причинно-следственную связь .

Другой вид предвзятости выжившего заключается в том, что мы думаем, что инцидент произошел определенным образом, потому что единственные люди, которые были вовлечены в инцидент и могут говорить о нем, это те, кто выжил. Даже если бы кто-то знал, что некоторые люди мертвы, у них не было бы своего голоса, чтобы добавить его к разговору, что сделало бы его предвзятым.

Как общий экспериментальный недостаток

Исследователь парапсихологии Джозеф Бэнкс Райн считал , что он определил несколько человек из сотен потенциальных испытуемых, которые обладали способностями экстрасенсорного восприятия (ЭСВ). Его расчеты основывались на невероятности того, что эти несколько человек случайно угадают карты Зенера , показанные партнеру . [1] Главной критикой, которая всплыла против его расчетов, была возможность бессознательной ошибки выживаемости при выборе испытуемых. Его обвиняли в том, что он не учел большой эффективный размер своей выборки ; то есть всех испытуемых, которых он отверг как не являющихся «сильными телепатами », потому что они потерпели неудачу на более ранней стадии тестирования. Если бы он сделал это, он мог бы увидеть, что из большой выборки один или два человека, вероятно, достигли бы — чисто случайно — той истории успеха, которую он наблюдал.

Описывая случай Райна в книге «Причуды и заблуждения во имя науки» , Мартин Гарднер объяснил, что экспериментаторы допустили такие очевидные ошибки не из-за статистической наивности, а скорее из-за тонкого игнорирования плохо выполняющих задания субъектов. Он сказал, что даже без каких-либо уловок, если взять достаточно большую выборку, всегда найдется определенное количество субъектов, которые продемонстрируют невероятный успех. Чтобы проиллюстрировать это, он размышляет о том, что произойдет, если сто профессоров психологии прочитают работу Райна и решат провести собственные тесты; он сказал, что ошибка выжившего отсеет типично неудачные эксперименты, одновременно поощряя удачливых продолжать тестирование.

Он предположил, что эксперименты, подтверждающие нулевую гипотезу (т. е. не показывающие никакого результата), не будут сообщаться, но «в конце концов, остается один экспериментатор, чей субъект набрал высокие баллы в течение шести или семи последовательных сеансов. Ни экспериментатор, ни субъект не знают о других девяноста девяти проектах, и поэтому оба имеют сильное заблуждение, что действует ESP». Он заключает: «Экспериментатор пишет восторженную статью, отправляет ее Райну, который публикует ее в своем журнале, и читатели оказываются под большим впечатлением». [2]

Если достаточно много ученых изучают явление, некоторые из них случайно найдут статистически значимые результаты, и именно эти эксперименты представляются для публикации. Кроме того, статьи, показывающие положительные результаты, могут быть более привлекательными для редакторов. [3] Эта проблема известна как смещение положительных результатов , тип смещения публикации . Чтобы бороться с этим, некоторые редакторы теперь специально призывают представлять «отрицательные» научные результаты, где «ничего не произошло». [4]

Ошибка выжившего — одна из исследовательских проблем, поднятых в провокационной статье 2005 года « Почему большинство опубликованных результатов исследований ложны », в которой показано, что большое количество опубликованных медицинских исследовательских работ содержат результаты, которые невозможно воспроизвести. [3]

Один из известных примеров предвзятости бессмертного времени произошел в исследовании Редельмейера и Сингха, опубликованном в Annals of Internal Medicine и предположительно показывающем, что актеры и актрисы, удостоенные премии «Оскар», жили почти на четыре года дольше, чем их менее успешные коллеги. [5] Однако статистический метод, используемый для получения этой статистически значимой разницы, давал победителям несправедливое преимущество, поскольку он засчитывал годы жизни победителей до победы в счет выживания после победы. Когда данные были повторно проанализированы с использованием методов, которые избегали этой предвзятости бессмертного времени, преимущество выживания было ближе к одному году и не было статистически значимым. [6]

Примеры

Финансы и экономика

В финансах смещение выживаемости — это тенденция к исключению обанкротившихся компаний из исследований эффективности, поскольку они больше не существуют. Это часто приводит к тому, что результаты исследований оказываются перекошенными, поскольку включаются только компании, которые были достаточно успешны, чтобы выжить до конца периода. Например, выбор фондов компанией взаимного фонда на сегодняшний день будет включать только те, которые успешны сейчас. Многие убыточные фонды закрываются и объединяются с другими фондами, чтобы скрыть плохую эффективность. Теоретически 70% существующих фондов могли бы честно утверждать, что имеют эффективность в первом квартиле своих аналогов, если группа аналогов включает фонды, которые закрылись. [7]

В 1996 году Элтон, Грубер и Блейк показали, что смещение выжившего больше в секторе небольших фондов, чем в крупных взаимных фондах (предположительно, потому что небольшие фонды имеют большую вероятность сворачивания). [8] Они оценивают размер смещения в отрасли взаимных фондов США в 0,9% в год, где смещение определяется и измеряется как:

«Смещение определяется как среднее значение α для выживших фондов за вычетом среднего значения α для всех фондов»

(где α — это скорректированная с учетом риска доходность по индексу S&P 500. Это стандартная мера эффективности паевых инвестиционных фондов).

Кроме того, в финансовой сфере смещение выживаемости — это использование текущего набора членства в индексе вместо использования фактических изменений в составе с течением времени. Рассмотрим бэктест до 1990 года, чтобы найти среднюю производительность (общую доходность) членов S&P 500, которые выплачивали дивиденды в течение предыдущего года. Использование только текущих 500 членов и создание исторической линии капитала общей доходности компаний, которые соответствовали критериям, будет добавлением смещения выживаемости к результатам. S&P ведет индекс здоровых компаний, удаляя компании, которые больше не соответствуют их критериям как представитель фондового рынка США с большой капитализацией. Компании, которые имели здоровый рост на пути к включению в S&P 500, будут учитываться так, как если бы они были в индексе в течение этого периода роста, чего не было. Вместо этого в индексе могла быть другая компания, которая теряла рыночную капитализацию и была предназначена для индекса S&P 600 с малой капитализацией, которая позже была удалена и не будет учитываться в результатах. Использование фактического членства в индексе и применение дат входа и выхода для получения соответствующей доходности во время включения в индекс позволит получить вывод, свободный от смещения.

Бизнес

Цитаты успешных генеральных директоров в рамках в публичной библиотеке

Майкл Шермер в Scientific American [9] и Ларри Смит из Университета Ватерлоо [10] описали, как советы о коммерческом успехе искажают восприятие этого успеха, игнорируя все предприятия и бросивших колледжи , которые потерпели неудачу. [11] Журналист и автор Дэвид Макрейни замечает, что «консультационный бизнес — это монополия, которой управляют выжившие. Когда что-то становится невыжившим, оно либо полностью устраняется, либо его голос приглушается до нуля». [12] Алек Лю написал в Vice , что «на каждого Марка Цукерберга приходятся тысячи неудачников, которые устраивали вечеринки, на которые никто никогда не ходил, и которые устарели еще до того, как мы узнали об их существовании». [13]

В своей книге «Черный лебедь » финансовый писатель Нассим Талеб назвал данные, скрытые ошибкой выжившего, «молчаливыми доказательствами» [14] .

История

Диагору Мелосскому задали вопрос о картинах, изображающих спасшихся от кораблекрушения: «Послушай, ты, кто думает, что боги не заботятся о человеческих делах, что ты скажешь о стольких людях, спасенных от смерти их особой милостью?», на что Диагор ответил: «Почему же, я говорю, что здесь нет изображений тех, кто был выброшен на берег, а таких гораздо больше». [15]

Сьюзан Мамм описала, как предвзятость выживания заставляет историков изучать организации, которые все еще существуют, больше, чем те, которые закрылись. Это означает, что крупные, успешные организации, такие как Женский институт , которые были хорошо организованы и все еще имеют доступные архивы для работы историков, изучаются больше, чем небольшие благотворительные организации, даже если они, возможно, проделали большую работу. [16]

Архитектура и строительство

Так же, как новые здания строятся каждый день, а старые постоянно сносятся, история большинства гражданских и городских архитектур включает в себя процесс постоянного обновления, реконструкции и революции. Только самые красивые, полезные и структурно прочные здания выживают из поколения в поколение. Это создает эффект отбора, когда самые уродливые и слабые здания истории были искоренены (исчезли из виду общественности, оставив видимое впечатление, что все более ранние здания были красивее и лучше построены). [ необходима цитата ]

Высококонкурентная карьера

Будь то кинозвезды, спортсмены, музыканты или генеральные директора многомиллиардных корпораций, которые бросили школу, популярные СМИ часто рассказывают историю о решительном человеке , который следует за своей мечтой и побеждает вопреки всем обстоятельствам. Гораздо меньше внимания уделяется многим людям, которые могут быть такими же умелыми и решительными, но не могут добиться успеха из-за факторов, находящихся вне их контроля, или других (на первый взгляд) случайных событий. Также существует тенденция упускать из виду ресурсы и события, которые помогли добиться такого успеха, которого не было у тех, кто потерпел неудачу. [17]

Например, исследование 2013 года показало, что 91% художников не были обнаружены в социальных сетях, и только 1,1% были мейнстримными или мега-крупными. [18] Это создает ложное общественное восприятие того, что любой может достичь великих вещей, если у него есть способности и он приложит усилия. Подавляющее большинство неудачников не видны публике, и только те, кто выжил под избирательным давлением своей конкурентной среды, регулярно появляются на публике.

Военный

Эта гипотетическая модель повреждений выживших самолетов показывает места, где они могут получить повреждения и все равно вернуться домой. Если бы самолет был усилен в указанных областях, это было бы результатом ошибки выживаемости, поскольку важные данные по смертельно поврежденным самолетам игнорировались; те, которые были поражены в других местах, не выжили.

Во время Второй мировой войны статистик Авраам Вальд учитывал ошибку выживаемости в своих расчетах, когда рассматривал, как минимизировать потери бомбардировщиков от огня противника. [19] Статистическая исследовательская группа (SRG) в Колумбийском университете , в которую входил Вальд, исследовала повреждения, нанесенные самолетам, вернувшимся с миссий, и рекомендовала добавить броню в области, которые показали наименьшие повреждения. [20] [21] [22] Пулевые отверстия в возвращающихся самолетах представляли собой области, где бомбардировщик мог получить повреждения и все еще летать достаточно хорошо, чтобы безопасно вернуться на базу. Поэтому Вальд предложил, чтобы ВМС укрепили области, где возвращающиеся самолеты были невредимы, [19] : 88  делая вывод, что самолеты, пораженные в этих областях, были теми, которые, скорее всего, были потеряны. Его работа считается основополагающей в тогда зарождающейся дисциплине оперативных исследований . [23]

Кошки

В исследовании, проведенном в 1987 году, сообщалось, что кошки, которые падают с менее чем шестого этажа и остаются живы, получают более серьезные травмы, чем кошки, которые падают с более высокого этажа. [24] [25] Было высказано предположение, что это может происходить из-за того, что кошки достигают конечной скорости после того, как выпрямляются примерно на пятом этаже, и после этого они расслабляются, что приводит к менее серьезным травмам у кошек, которые упали с шестого или более этажей. [26] В 1996 году в газетной колонке The Straight Dope было высказано предположение, что другим возможным объяснением этого явления может быть ошибка выживаемости. Кошек, которые погибают при падении, реже приводят к ветеринару, чем травмированных кошек, и поэтому многие кошки, погибшие при падении с более высоких зданий, не упоминаются в исследованиях по этому вопросу. [27]

Исследования эволюции

Большие группы организмов, называемые кладами , которые выживают в течение длительного времени, подвержены различным ошибкам выживания, таким как « толчок прошлого », что создает иллюзию того, что клады в целом имеют тенденцию возникать с высокой скоростью диверсификации , которая затем замедляется со временем. [28]

Торговое право

Ошибка выжившего может вызвать проблемы с правдивостью рекламы , когда показатель успеха, рекламируемый для продукта или услуги, измеряется путем ссылки на население, состав которого отличается от целевой аудитории для рекламы. Это особенно важно, когда

  1. в рекламе либо не раскрываются существенные различия между двумя группами населения, либо они описываются недостаточно подробно; и
  2. Эти различия являются результатом преднамеренного «предварительного отбора» компанией потенциальных клиентов, чтобы гарантировать, что только клиенты с чертами характера, повышающими вероятность их успеха, будут допущены к покупке продукта или услуги, особенно когда процедуры отбора или стандарты оценки компании держатся в секрете ; и
  3. Компания, предлагающая продукт или услугу, взимает плату (особенно такую, которая не подлежит возврату или не указана в рекламе) за привилегию попытки стать ее клиентом.

Например, реклама сервиса онлайн-знакомств eHarmony.com не проходит тест на истинность рекламы, поскольку не проходит первые два этапа и проходит третий, хотя должны быть пройдены все три:

  1. они заявляют, что процент успеха значительно выше, чем у конкурирующих сервисов, при этом, как правило, не раскрывают, что этот процент рассчитывается по отношению к подгруппе зрителей, состоящей из людей, обладающих чертами, которые повышают их вероятность нахождения и поддержания отношений, и не имеющих черт, которые препятствуют этому, и
  2. компания намеренно выбирает эти качества, проводя длительный процесс предварительного отбора, призванный отбраковать потенциальных клиентов, у которых отсутствуют первые качества или есть вторые, но
  3. компания не взимает плату за проведение предварительного отборочного теста; таким образом, ее потенциальные клиенты не сталкиваются с «риском убытков», кроме потери времени, усилий, необходимых для завершения процесса предварительного отбора [29] , и разочарования.

Смотрите также

Ссылки

  1. ^ Шермер, Майкл (3 августа 2011 г.). «Отклонения: скептическое расследование Ассоциации Эдгара Кейси по исследованиям и просвещению». Skeptic.com . Получено 21 мая 2018 г. .
  2. ↑ Модные тенденции и заблуждения во имя науки , Мартин Гарднер, стр. 303, 1957, Dover Publications Inc.
  3. ^ ab Ioannidis, JPA (2005). «Почему большинство опубликованных результатов исследований ложны». PLoS Med . 2 (8): e124. doi : 10.1371/journal.pmed.0020124 . PMC 1182327. PMID  16060722 . 
  4. ^ Гудчайлд ван Хилтен, Люси. «Почему пришло время публиковать исследовательские «провалы»». Elsevier Connect . Elsevier. Архивировано из оригинала 2 июня 2021 г. . Получено 31 мая 2021 г. .
  5. ^ Редельмейер, Дональд А.; Сингх, Шелдон М. (15 мая 2001 г.). «Выживание актеров и актрис, удостоенных премии «Оскар». Annals of Internal Medicine . 134 (10): 955–62. doi :10.7326/0003-4819-134-10-200105150-00009. ISSN  0003-4819. PMID  11352696.
  6. ^ Сильвестр, Мари-Пьер; Хусти, Элла; Хэнли, Джеймс А. (5 сентября 2006 г.). «Живут ли обладатели премии «Оскар» дольше, чем менее успешные сверстники? Повторный анализ доказательств». Annals of Internal Medicine . 145 (5): 361–3, обсуждение 392. doi : 10.7326/0003-4819-145-5-200609050-00009. ISSN  0003-4819. PMID  16954361. S2CID  13724567.
  7. ^ "Как думать о диверсификации - Страница 3 - Bogleheads.org". www.bogleheads.org . Архивировано из оригинала 29 октября 2020 г. . Получено 26 октября 2020 г. .
  8. ^ Элтон; Грубер; Блейк (1996). «Ошибка выжившего и эффективность взаимных фондов». Обзор финансовых исследований . 9 (4): 1097–1120. doi : 10.1093/rfs/9.4.1097 . S2CID  154097782.В этой статье исследователи устраняют ошибку выживаемости, отслеживая доходность всех фондов, существовавших на конец 1976 года. Они показывают, что другие исследователи сделали ложные выводы, не включив ошибку в регрессии по результатам работы фондов.
  9. ↑ Майкл Шермер (19 августа 2014 г.). «Как предубеждение выжившего искажает реальность». Scientific American. Архивировано из оригинала 29 апреля 2019 г. Получено 20 июля 2015 г.
  10. ↑ Кармин Галло (7 декабря 2012 г.). «Выбросившие высокие технологии неверно истолковывают совет Стива Джобса». Forbes . Архивировано из оригинала 2 апреля 2019 г. Получено 15 сентября 2017 г.
  11. ↑ Роберт Дж. Циммер (1 марта 2013 г.). «Миф об успешном отказе от учебы в колледже: почему он может сделать миллионы молодых американцев беднее». The Atlantic. Архивировано из оригинала 9 апреля 2019 г. Получено 11 марта 2017 г.
  12. ^ Карен Э. Кляйн (11 августа 2014 г.). «Как предубеждение выжившего обманывает предпринимателей». Bloomberg . Архивировано из оригинала 7 марта 2016 г. Получено 11 марта 2017 г.
  13. ^ Алек Лю (3 октября 2012 г.). «Что случилось с убийцей Facebook? Все сложно». Motherboard - Tech by Vice.
  14. ^ Талеб, Нассим Николас (2010). Черный лебедь: Влияние крайне маловероятного (2-е изд.). Нью-Йорк: Random House. стр. 101. ISBN 9780679604181.
  15. ^ Цицерон, De Natura Deor., iii. 37.
  16. ^ Мумм, Сьюзен (2010). Женщины и филантропические культуры, в книге «Женщины, гендер и религиозные культуры в Великобритании, 1800-1940», редакторы Сью Морган и Жаклин де Врис . Лондон: Routledge.
  17. ^ Карен Э. Кляйн (11 августа 2014 г.). «Как предубеждение выжившего обманывает предпринимателей». Bloomberg Business. Архивировано из оригинала 23 мая 2017 г. Получено 11 апреля 2017 г.
  18. ^ Уллоа, Нина (19 июня 2024 г.). «91 процент всех артистов полностью неизвестны». Digital Music News .
  19. ^ ab Wald, Abraham. (1943). Метод оценки уязвимости самолета на основе повреждений выживших . Статистическая исследовательская группа, Колумбийский университет. CRC 432 — перепечатка от июля 1980 г. Архивировано 13 июля 2019 г. в Wayback Machine . Центр военно-морских анализов.
  20. ^ Уоллис, В. Аллен (1980). «Статистическая исследовательская группа, 1942-1945: ответ». Журнал Американской статистической ассоциации . 75 (370): 334–335. doi :10.2307/2287454. JSTOR  2287454.
  21. ^ "Bullet Holes & Bias: The Story of Abraham Wald". mcdreeamie-musings . 23 апреля 2019 г. Архивировано из оригинала 16 апреля 2020 г. Получено 29 мая 2020 г.
  22. ^ "AMS :: Feature Column :: The Legend of Abraham Wald". Американское математическое общество . Архивировано из оригинала 27 мая 2020 года . Получено 29 мая 2020 года .
  23. ^ Мангель, Марк; Саманиего, Франциско (июнь 1984 г.). «Работа Авраама Вальда по живучести самолетов». Журнал Американской статистической ассоциации . 79 (386): 259–267. doi :10.2307/2288257. JSTOR  2288257.Перепечатка на сайте автора Архивировано 17 августа 2019 г. на Wayback Machine
  24. ^ Уитни, У.О.; Мельхафф, К.Дж. (1987). «Высотный синдром у кошек». Журнал Американской ветеринарной медицинской ассоциации . 191 (11): 1399–403. PMID  3692980.
  25. ^ "Highrise Syndrome in Cats". Архивировано из оригинала 21 февраля 2015 г. Получено 13 июня 2014 г.
  26. ↑ Falling Cats Архивировано 12 июля 2007 г. на Wayback Machine
  27. ^ «Всегда ли кошки приземляются на лапы невредимыми, независимо от того, с какой высоты они падают?». The Straight Dope . 19 июля 1996 г. Архивировано из оригинала 16 апреля 2012 г. Получено 13 марта 2008 г.
  28. ^ Бадд, GE; Манн, RP (2018). «История написана победителями: влияние толчка прошлого на летопись ископаемых» (PDF) . Эволюция . 72 (11): 2276–2291. doi :10.1111/evo.13593. PMC 6282550 . PMID  30257040. Архивировано (PDF) из оригинала 28 апреля 2019 г. . Получено 12 декабря 2018 г. . 
  29. ^ Фархи, Пол (13 мая 2007 г.). «Они познакомились в сети, но определенно не сошлись характерами». Washington Post . Архивировано из оригинала 16 мая 2017 г. Получено 15 сентября 2017 г.
  30. ^ "Архивная копия" (PDF) . Архивировано (PDF) из оригинала 5 июля 2019 г. . Получено 5 июля 2019 г. .{{cite web}}: CS1 maint: архивная копия как заголовок ( ссылка )