В статистике смещение выборки — это смещение , при котором выборка собирается таким образом, что некоторые члены предполагаемой совокупности имеют более низкую или более высокую вероятность выборки, чем другие. Это приводит к смещенной выборке [1] совокупности (или нечеловеческих факторов), в которой все индивидуумы или случаи не были одинаково вероятно выбраны. [2] Если это не учитывать, результаты могут быть ошибочно приписаны изучаемому явлению, а не методу выборки .
Медицинские источники иногда называют смещение выборки смещением установления . [3] [4] Смещение установления имеет в основном то же самое определение, [5] [6], но иногда все еще классифицируется как отдельный тип смещения. [5]
Смещение выборки обычно классифицируется как подтип смещения отбора , [7] иногда его специально называют смещением отбора выборки , [8] [9] [10], но некоторые классифицируют его как отдельный тип смещения. [11] Отличительной чертой смещения выборки, хотя и не общепринятой, является то, что оно подрывает внешнюю валидность теста (способность его результатов быть обобщенными на всю популяцию), в то время как смещение отбора в основном касается внутренней валидности для различий или сходств, обнаруженных в имеющейся выборке. В этом смысле ошибки, возникающие в процессе сбора выборки или когорты, вызывают смещение выборки, в то время как ошибки в любом процессе после этого вызывают смещение отбора.
Однако часто смещение отбора и смещение выборки используются как синонимы. [12]
Изучение медицинских состояний начинается с отдельных сообщений. По своей природе такие сообщения включают только тех, кого направляют на диагностику и лечение. У ребенка, который не может функционировать в школе, с большей вероятностью диагностируют дислексию , чем у ребенка, который борется, но сдает экзамен. Ребенок, обследованный на одно состояние, с большей вероятностью будет обследован и диагностирован на другие состояния, что искажает статистику сопутствующих заболеваний . Поскольку определенные диагнозы начинают ассоциироваться с проблемами поведения или умственной отсталостью , родители стараются не допустить стигматизации своих детей этими диагнозами, что вносит дополнительную предвзятость. Исследования, тщательно отобранные из целых групп населения, показывают, что многие состояния встречаются гораздо чаще и обычно гораздо мягче, чем считалось ранее.
Генетики ограничены в том, как они могут получить данные из человеческих популяций. В качестве примера рассмотрим человеческую характеристику. Мы заинтересованы в решении, наследуется ли характеристика как простой менделевский признак. Следуя законам менделевского наследования , если родители в семье не имеют характеристики, но несут аллель для нее, они являются носителями (например, неэкспрессивная гетерозигота ). В этом случае у каждого из их детей будет 25% шанс проявить характеристику. Проблема возникает, потому что мы не можем сказать, в каких семьях оба родителя являются носителями (гетерозиготными), если только у них нет ребенка, который проявляет эту характеристику. Описание следует учебнику Саттона. [13]
На рисунке показаны родословные всех возможных семей с двумя детьми, когда родители являются носителями (Аа).
Вероятности каждой из выбранных семей приведены на рисунке, а также дана частота выборки затронутых детей. В этом простом случае исследователь будет искать частоту 4 ⁄ 7 или 5 ⁄ 8 для характеристики, в зависимости от типа используемого усеченного отбора.
Примером смещения отбора является так называемый «эффект пещерного человека». Большая часть нашего понимания доисторических людей исходит из пещер, таких как наскальные рисунки, сделанные почти 40 000 лет назад. Если бы были современные рисунки на деревьях, шкурах животных или склонах холмов, они были бы давно смыты. Аналогично, свидетельства наличия костров, мусорных куч , мест захоронений и т. д., скорее всего, останутся нетронутыми до современной эпохи в пещерах. Доисторические люди связаны с пещерами, потому что именно там все еще существуют данные, а не обязательно потому, что большинство из них жили в пещерах большую часть своей жизни. [14]
Смещение выборки проблематично, поскольку возможно, что статистика, вычисленная для выборки, является систематически ошибочной. Смещение выборки может привести к систематической переоценке или недооценке соответствующего параметра в популяции. Смещение выборки встречается на практике, поскольку практически невозможно обеспечить идеальную случайность при выборке. Если степень искажения мала, то выборку можно рассматривать как разумное приближение к случайной выборке. Кроме того, если выборка не сильно отличается по измеряемой величине, то смещенная выборка все равно может быть разумной оценкой.
Слово «предвзятость» имеет ярко выраженный негативный оттенок. Действительно, предвзятость иногда возникает из-за преднамеренного намерения ввести в заблуждение или другого научного мошенничества . В статистическом использовании предвзятость просто представляет собой математическое свойство, независимо от того, является ли оно преднамеренным или неосознанным или вызвано несовершенством инструментов, используемых для наблюдения. Хотя некоторые люди могут преднамеренно использовать предвзятую выборку для получения вводящих в заблуждение результатов, чаще всего предвзятая выборка является просто отражением сложности получения действительно репрезентативной выборки или незнания предвзятости в их процессе измерения или анализа. Примером того, как может существовать незнание предвзятости, является широко распространенное использование отношения (также известного как кратное изменение ) в качестве меры различия в биологии. Поскольку легче достичь большого отношения с двумя небольшими числами с заданной разницей и относительно сложнее достичь большого отношения с двумя большими числами с большей разницей, большие значимые различия могут быть упущены при сравнении относительно больших числовых измерений. Некоторые называют это «демаркационной ошибкой», поскольку использование отношения (деления) вместо разности (вычитания) переводит результаты анализа из области науки в плоскость лженауки (см. Проблема демаркации ).
Некоторые выборки используют предвзятый статистический дизайн, который тем не менее позволяет оценивать параметры. Например, Национальный центр статистики здравоохранения США намеренно делает избыточные выборки из групп меньшинств во многих своих общенациональных исследованиях, чтобы получить достаточную точность для оценок в этих группах. [15] Эти исследования требуют использования весов выборки (см. ниже) для получения надлежащих оценок по всем этническим группам. При условии соблюдения определенных условий (главным образом, что веса рассчитываются и используются правильно) эти выборки позволяют точно оценивать параметры популяции.
Классический пример предвзятой выборки и вводящих в заблуждение результатов, которые она дала, произошел в 1936 году. На заре опросов общественного мнения американский журнал Literary Digest собрал более двух миллионов почтовых опросов и предсказал, что кандидат от республиканцев на президентских выборах в США Альф Лэндон с большим отрывом победит действующего президента Франклина Рузвельта . Результат оказался прямо противоположным. Опрос Literary Digest представлял собой выборку, собранную среди читателей журнала, дополненную записями зарегистрированных владельцев автомобилей и пользователей телефонов. Эта выборка включала в себя чрезмерное представительство богатых людей, которые, как группа, с большей вероятностью проголосовали бы за кандидата от республиканцев. Напротив, опрос всего 50 тысяч граждан, отобранных организацией Джорджа Гэллапа , успешно предсказал результат, что привело к популярности опроса Гэллапа .
Другой классический пример произошел на президентских выборах 1948 года . В ночь выборов Chicago Tribune напечатала заголовок DEWEY DEFEATS TRUMAN , который оказался ошибочным. Утром ухмыляющийся избранный президент Гарри С. Трумэн был сфотографирован с газетой под этим заголовком. Причина, по которой Tribune ошиблась, заключается в том, что ее редактор доверял результатам телефонного опроса. Исследования в области опросов тогда находились в зачаточном состоянии, и немногие ученые понимали, что выборка пользователей телефонов не является репрезентативной для всего населения. Телефоны еще не были широко распространены, и те, у кого они были, как правило, были зажиточными людьми и имели постоянные адреса. (Во многих городах телефонный справочник Bell System содержал те же имена, что и Social Register ). Кроме того, опрос Гэллапа, на котором Tribune основывала свой заголовок, на момент печати был более двух недель. [17]
В данных о качестве воздуха загрязняющие вещества (такие как оксид углерода , оксид азота , диоксид азота или озон ) часто показывают высокую корреляцию , поскольку они происходят из одного и того же химического процесса(ов). Эти корреляции зависят от пространства (т. е. местоположения) и времени (т. е. периода). Поэтому распределение загрязняющих веществ не обязательно является репрезентативным для каждого местоположения и каждого периода. Если недорогой измерительный прибор калибруется с полевыми данными многомерным образом, точнее, путем размещения рядом с эталонным прибором, то взаимосвязи между различными соединениями включаются в модель калибровки. При перемещении измерительного прибора могут быть получены ошибочные результаты. [18]
Примером из XXI века является пандемия COVID-19 , когда было показано, что различия в смещении выборки при тестировании на COVID-19 объясняют большие различия как в показателях летальности, так и в возрастном распределении случаев заболевания в разных странах. [19] [20]
Если целые сегменты населения исключены из выборки, то нет никаких корректировок, которые могли бы дать оценки, репрезентативные для всего населения. Но если некоторые группы недопредставлены и степень недопредставленности может быть количественно определена, то веса выборки могут исправить смещение. Однако успех исправления ограничен выбранной моделью отбора. Если отсутствуют некоторые переменные, методы, используемые для исправления смещения, могут быть неточными. [21]
Например, гипотетическая популяция может включать 10 миллионов мужчин и 10 миллионов женщин. Предположим, что смещенная выборка из 100 пациентов включала 20 мужчин и 80 женщин. Исследователь мог бы исправить этот дисбаланс, присвоив вес 2,5 каждому мужчине и 0,625 каждой женщине. Это скорректировало бы любые оценки для достижения того же ожидаемого значения, что и выборка, включающая ровно 50 мужчин и 50 женщин, если только мужчины и женщины не различались по вероятности участия в опросе. [ необходима цитата ]
словарь Мосби, 8-е издание
