В статистике повторная выборка — это создание новых выборок на основе одной наблюдаемой выборки. Методы повторной выборки:
Тесты на перестановку основаны на повторной выборке исходных данных с учетом нулевой гипотезы. На основании повторной выборки данных можно сделать вывод, насколько вероятно, что исходные данные встречаются при нулевой гипотезе.
Бутстрэппинг — это статистический метод оценки выборочного распределения оценщика путем выборки с заменой из исходной выборки, чаще всего с целью получения надежных оценок стандартных ошибок и доверительных интервалов такого параметра совокупности, как среднее значение , медиана , доля , шансы соотношение , коэффициент корреляции или коэффициент регрессии . Его назвали принципом плагина [1] , поскольку это метод оценки функционалов распределения населения путем оценки тех же функционалов при эмпирическом распределении на основе выборки.
Например, [1] при оценке среднего значения совокупности этот метод использует выборочное среднее значение; для оценки медианы совокупности используется выборочная медиана; для оценки линии регрессии совокупности используется выборочная линия регрессии.
Его также можно использовать для построения тестов гипотез. Его часто используют как надежную альтернативу выводам, основанным на параметрических предположениях, когда эти предположения вызывают сомнения или когда параметрический вывод невозможен или требует очень сложных формул для расчета стандартных ошибок. Методы начальной загрузки также используются при переходах обновления-выбора фильтров частиц , алгоритмах генетического типа и связанных с ними методах повторной выборки/реконфигурации Монте-Карло, используемых в вычислительной физике . [2] [3] В этом контексте бутстрап используется для замены последовательно эмпирических взвешенных вероятностных мер эмпирическими мерами . Бутстрап позволяет заменять образцы с низким весом копиями образцов с большим весом.
Перекрестная проверка — это статистический метод проверки прогнозной модели . Подмножества данных сохраняются для использования в качестве проверочных наборов; модель соответствует оставшимся данным (обучающему набору) и используется для прогнозирования проверочного набора. Усреднение качества прогнозов по наборам проверки дает общую меру точности прогноза. Перекрестная проверка неоднократно используется при построении деревьев решений.
Одна из форм перекрестной проверки исключает одно наблюдение за раз; это похоже на складной нож . Другая, K -кратная перекрестная проверка, разбивает данные на K подмножества; каждый по очереди сохраняется в качестве набора проверки.
Это позволяет избежать «самовлияния». Для сравнения: в методах регрессионного анализа, таких как линейная регрессия , каждое значение y приближает линию регрессии к себе, в результате чего прогноз этого значения кажется более точным, чем он есть на самом деле. Перекрестная проверка, применяемая к линейной регрессии, прогнозирует значение y для каждого наблюдения без использования этого наблюдения.
Это часто используется для принятия решения о том, сколько переменных-предикторов использовать в регрессии. Без перекрестной проверки добавление предикторов всегда уменьшает остаточную сумму квадратов (или, возможно, оставляет ее неизменной). Напротив, среднеквадратическая ошибка, проверенная перекрестной проверкой, будет иметь тенденцию уменьшаться, если добавляются ценные предикторы, но увеличиваться, если добавляются бесполезные предикторы. [4]
Подвыборка — это альтернативный метод аппроксимации выборочного распределения оценщика. Два ключевых отличия от начальной загрузки:
Преимущество субдискретизации в том, что она действительна в гораздо более слабых условиях по сравнению с бутстрапом. В частности, набор достаточных условий состоит в том, что скорость сходимости оценки известна и предельное распределение непрерывно. Кроме того, размер повторной выборки (или подвыборки) должен стремиться к бесконечности вместе с размером выборки, но с меньшей скоростью, чтобы их соотношение сходилось к нулю. Хотя подвыборка первоначально предлагалась только для случая независимых и одинаково распределенных (iid) данных, методология была расширена и теперь охватывает также данные временных рядов; в этом случае выполняется повторная выборка блоков последующих данных, а не отдельных точек данных. Существует множество случаев прикладного характера, когда подвыборка приводит к достоверному выводу, а бутстрэппинг - нет; например, к таким случаям относятся примеры, когда скорость сходимости оценщика не равна квадратному корню из размера выборки или когда предельное распределение не является нормальным. Когда и подвыборка, и бутстрап согласованы, бутстрап обычно более точен. RANSAC — популярный алгоритм, использующий подвыборку.
Складной нож (перекрестная проверка складным ножом) используется в статистическом выводе для оценки систематической ошибки и стандартной ошибки (дисперсии) статистики, когда для ее расчета используется случайная выборка наблюдений. Исторически этот метод предшествовал изобретению бутстрепа: Кенуй изобрел этот метод в 1949 году, а Тьюки расширил его в 1958 году . выборка выбрана случайным образом. [7] Он придумал для этого метода название «взаимопроникающие образцы».
Кенуй изобрел этот метод с целью уменьшить погрешность выборочной оценки. Тьюки расширил этот метод, предположив, что если бы повторы можно было считать одинаково и независимо распределенными, то можно было бы сделать оценку дисперсии параметра выборки и что он был бы приблизительно распределен, как варьирующийся с n -1 степенями свободы ( n размер выборки).
Основная идея оценщика дисперсии складного ножа заключается в систематическом перерасчете статистической оценки, исключая одно или несколько наблюдений за раз из набора выборок. Из этого нового набора повторов статистики можно вычислить оценку систематической ошибки и оценку дисперсии статистики.
Вместо использования складного ножа для оценки дисперсии его можно применить к логарифму дисперсии. Это преобразование может привести к лучшим оценкам, особенно когда распределение самой дисперсии может быть ненормальным.
Для многих статистических параметров оценка дисперсии складным ножом асимптотически стремится к истинному значению почти наверняка. С технической точки зрения можно сказать, что оценка складного ножа последовательна . Складной нож является последовательным для выборочных средних , выборочных дисперсий , центральной и нецентральной t-статистики (с возможными ненормальными популяциями), выборочного коэффициента вариации , оценок максимального правдоподобия , оценок наименьших квадратов, коэффициентов корреляции и коэффициентов регрессии .
Это не соответствует выборочной медиане . В случае унимодальной вариации отношение дисперсии складного ножа к выборочной дисперсии имеет тенденцию распределяться как половина квадрата распределения хи-квадрат с двумя степенями свободы .
Складной нож, как и оригинальный бутстрап, зависит от независимости данных. Были предложены расширения складного ножа, позволяющие учитывать зависимость данных.
Другим расширением является метод удаления группы, используемый в сочетании с выборкой Пуассона .
Складной нож эквивалентен случайной (подвыборке) перекрестной проверке с исключением одного, он отличается только целью. [8]
Оба метода, бутстреп и складной нож, оценивают изменчивость статистики на основе изменчивости этой статистики между подвыборками, а не на основе параметрических предположений. Для более общего складного ножа, складного ножа с удалением-m наблюдений, бутстрап можно рассматривать как его случайное приближение. Оба дают схожие численные результаты, поэтому каждый из них можно рассматривать как аппроксимацию другого. Хотя существуют огромные теоретические различия в их математических взглядах, главное практическое различие для пользователей статистики заключается в том, что бутстрап дает разные результаты при повторении одних и тех же данных, тогда как складной нож каждый раз дает один и тот же результат. По этой причине складной нож популярен, когда оценки необходимо несколько раз проверить перед публикацией (например, в органах официальной статистики). С другой стороны, когда эта функция проверки не является решающей и интересно иметь не число, а просто представление о его распределении, предпочтителен бутстрап (например, исследования в области физики, экономики, биологических наук).
Использование бутстрепа или складного ножа может зависеть больше от оперативных аспектов, чем от статистических задач обследования. Складной нож, первоначально использовавшийся для уменьшения систематической ошибки, является более специализированным методом и оценивает только дисперсию точечной оценки. Этого может быть достаточно для базовых статистических выводов (например, проверки гипотез, доверительных интервалов). С другой стороны, бутстрап сначала оценивает все распределение (точечного оценщика), а затем вычисляет на его основе дисперсию. Несмотря на то, что это мощный и простой способ, он может потребовать больших вычислительных затрат.
«Бутстрап может применяться как к задачам оценки дисперсии, так и к задачам оценки распределения. Однако с точки зрения эмпирических результатов бутстрап-оценщик дисперсии не так хорош, как складной нож или оценщик дисперсии сбалансированной повторной репликации (BRR). Кроме того, бутстрап-оценщик дисперсии обычно требует больше вычислений, чем складной нож или BRR. Таким образом, бутстрап в основном рекомендуется для оценки распределения». [ требуется указание авторства ] [9]
Особое внимание следует уделить складному ножу, особенно складному ножу для наблюдения «delete-1». Его следует использовать только с гладкой, дифференцируемой статистикой (например, итогами, средними значениями, пропорциями, отношениями, нечетными отношениями, коэффициентами регрессии и т. д.; но не с медианами или квантилями). Это может стать практическим недостатком. Этот недостаток обычно является аргументом в пользу начальной загрузки, а не складного ножа. Более общие складные ножи, чем удаление-1, такие как складной нож «удаление-m» или оценщик Ходжеса – Лемана « удалить все, кроме 2» , решают эту проблему для медиан и квантилей, ослабляя требования к гладкости для последовательной оценки дисперсии.
Обычно складной нож легче применить к сложным схемам отбора проб, чем бутстрап. Сложные схемы выборки могут включать стратификацию, несколько этапов (кластеризацию), различные веса выборки (поправки на отсутствие ответов, калибровку, пост-стратификацию) и схемы выборки с неравной вероятностью. Теоретические аспекты как бутстрапа, так и складного ножа можно найти у Шао и Ту (1995), [10] , тогда как базовое введение изложено в Wolter (2007). [11] Бутстреп-оценка предсказывающей ошибки модели является более точной, чем оценка складного ножа с помощью линейных моделей, таких как линейная дискриминантная функция или множественная регрессия. [12]
Серия: Вероятность и приложения
Монографии по статистике и прикладной теории вероятности.