В статистике ресэмплинг — это создание новых выборок на основе одной наблюдаемой выборки. Методы ресэмплинга:
Тесты перестановки основаны на повторной выборке исходных данных, предполагающих нулевую гипотезу. На основе повторной выборки данных можно сделать вывод о том, насколько вероятно, что исходные данные будут соответствовать нулевой гипотезе.
Бутстраппинг — это статистический метод оценки выборочного распределения оценщика путем выборки с заменой из исходной выборки, чаще всего с целью получения надежных оценок стандартных ошибок и доверительных интервалов параметра популяции, такого как среднее значение , медиана , пропорция , отношение шансов , коэффициент корреляции или коэффициент регрессии . Он был назван принципом подключаемого модуля [1] , поскольку это метод оценки функционалов распределения популяции путем оценки тех же функционалов при эмпирическом распределении на основе выборки.
Например, [1] при оценке среднего значения совокупности этот метод использует выборочное среднее; для оценки медианы совокупности он использует выборочную медиану; для оценки линии регрессии совокупности он использует линию регрессии выборки.
Он также может использоваться для построения тестов гипотез. Он часто используется как надежная альтернатива выводу, основанному на параметрических предположениях, когда эти предположения вызывают сомнения или когда параметрический вывод невозможен или требует очень сложных формул для расчета стандартных ошибок. Методы бутстрапа также используются в переходах обновления-выбора фильтров частиц , алгоритмах генетического типа и связанных с ними методах Монте-Карло повторной выборки/реконфигурации, используемых в вычислительной физике . [2] [3] В этом контексте бутстрап используется для замены последовательно эмпирических взвешенных вероятностных мер эмпирическими мерами . Бутстрап позволяет заменять образцы с низкими весами копиями образцов с высокими весами.
Перекрестная проверка — это статистический метод проверки предсказательной модели . Подмножества данных удерживаются для использования в качестве проверочных наборов; модель подгоняется под оставшиеся данные (обучающий набор) и используется для прогнозирования проверочного набора. Усреднение качества прогнозов по проверочным наборам дает общую меру точности прогноза. Перекрестная проверка используется неоднократно при построении деревьев решений.
Одна из форм перекрестной проверки исключает одно наблюдение за раз; это похоже на складной нож . Другая форма, K -кратная перекрестная проверка, разбивает данные на K подмножеств; каждое из них по очереди выставляется в качестве набора проверки.
Это позволяет избежать «самовлияния». Для сравнения, в методах регрессионного анализа , таких как линейная регрессия , каждое значение y тянет линию регрессии к себе, делая предсказание этого значения более точным, чем оно есть на самом деле. Перекрестная проверка, примененная к линейной регрессии, предсказывает значение y для каждого наблюдения без использования этого наблюдения.
Это часто используется для принятия решения о том, сколько переменных-предикторов использовать в регрессии. Без перекрестной проверки добавление предикторов всегда уменьшает остаточную сумму квадратов (или, возможно, оставляет ее неизменной). Напротив, перекрестная проверка среднеквадратической ошибки будет иметь тенденцию к уменьшению, если добавляются ценные предикторы, но увеличиваться, если добавляются бесполезные предикторы. [4]
Подвыборка — это альтернативный метод аппроксимации выборочного распределения оценщика. Два ключевых отличия от бутстрапа:
Преимущество подвыборки в том, что она действительна при гораздо более слабых условиях по сравнению с бутстрапом. В частности, набор достаточных условий заключается в том, что скорость сходимости оценщика известна, а предельное распределение является непрерывным. Кроме того, размер повторной выборки (или подвыборки) должен стремиться к бесконечности вместе с размером выборки, но с меньшей скоростью, так что их отношение сходится к нулю. Хотя подвыборка изначально была предложена только для случая независимых и одинаково распределенных (iid) данных, методология была расширена для охвата также данных временных рядов; в этом случае выполняется повторная выборка блоков последующих данных, а не отдельных точек данных. Существует много случаев прикладного интереса, когда подвыборка приводит к действительному выводу, тогда как бутстрап — нет; например, такие случаи включают примеры, когда скорость сходимости оценщика не является квадратным корнем размера выборки или когда предельное распределение не является нормальным. Когда и подвыборка, и бутстрап согласованы, бутстрап, как правило, более точен. RANSAC — популярный алгоритм, использующий субвыборку.
Jackknifing (перекрестная проверка методом складного ножа) используется в статистическом выводе для оценки смещения и стандартной ошибки (дисперсии) статистики, когда для ее расчета используется случайная выборка наблюдений. Исторически этот метод предшествовал изобретению бутстрапа, когда Кенуй изобрел этот метод в 1949 году, а Тьюки расширил его в 1958 году. [5] [6] Этот метод был предвосхищен Махаланобисом , который в 1946 году предложил повторные оценки интересующей статистики с половиной выборки, выбранной случайным образом. [7] Он придумал название «взаимопроникающие выборки» для этого метода.
Кенуй изобрел этот метод с целью уменьшения смещения оценки выборки. Тьюки расширил этот метод, предположив, что если реплики можно считать одинаково и независимо распределенными, то можно сделать оценку дисперсии параметра выборки, и что она будет приблизительно распределена как случайная величина с n −1 степенями свободы ( n — размер выборки).
Основная идея оценки дисперсии складного ножа заключается в систематическом пересчете статистической оценки, исключая одно или несколько наблюдений за раз из выборки. Из этого нового набора повторов статистики можно рассчитать оценку смещения и оценку дисперсии статистики.
Вместо того, чтобы использовать складной нож для оценки дисперсии, его можно применить к логарифму дисперсии. Это преобразование может привести к лучшим оценкам, особенно когда распределение самой дисперсии может быть ненормальным.
Для многих статистических параметров оценка дисперсии методом складного ножа асимптотически стремится к истинному значению почти наверняка. В технических терминах говорят, что оценка методом складного ножа является состоятельной . Оценка методом складного ножа является состоятельной для выборочных средних , выборочных дисперсий , центральных и нецентральных t-статистик (с возможно ненормальными популяциями), выборочных коэффициентов вариации , оценок максимального правдоподобия , оценок наименьших квадратов, коэффициентов корреляции и коэффициентов регрессии .
Это не соответствует выборочной медиане . В случае унимодальной переменной отношение складной дисперсии к выборочной дисперсии имеет тенденцию распределяться как половина квадрата распределения хи-квадрат с двумя степенями свободы .
Складной нож, как и оригинальный бутстрап, зависит от независимости данных. Были предложены расширения складного ножа, позволяющие учитывать зависимость в данных.
Другим расширением является метод удаления группы, используемый совместно с выборкой Пуассона .
Метод «складного ножа» эквивалентен случайной (подвыборочной) перекрестной проверке с исключением одного, отличается только целью. [8]
Оба метода, бутстрап и складной нож, оценивают изменчивость статистики из изменчивости этой статистики между подвыборками, а не из параметрических предположений. Для более общего складного ножа, складного ножа с удалением m наблюдений, бутстрап можно рассматривать как случайную аппроксимацию его. Оба дают схожие числовые результаты, поэтому каждый можно рассматривать как аппроксимацию другого. Хотя существуют огромные теоретические различия в их математических идеях, главное практическое различие для пользователей статистики заключается в том, что бутстрап дает разные результаты при повторении на одних и тех же данных, тогда как складной нож дает абсолютно одинаковый результат каждый раз. Из-за этого складной нож популярен, когда оценки необходимо проверять несколько раз перед публикацией (например, официальные статистические агентства). С другой стороны, когда эта функция проверки не имеет решающего значения и интересно не число, а просто представление о его распределении, бутстрап предпочтительнее (например, исследования в области физики, экономики, биологических наук).
Использование bootstrap или jackknife может зависеть больше от операционных аспектов, чем от статистических проблем опроса. jackknife, изначально использовавшийся для снижения смещения, является более специализированным методом и оценивает только дисперсию точечной оценки. Этого может быть достаточно для базового статистического вывода (например, проверки гипотез, доверительных интервалов). Bootstrap, с другой стороны, сначала оценивает все распределение (точечной оценки), а затем вычисляет дисперсию из него. Хотя это мощный и простой метод, он может потребовать больших вычислительных затрат.
«Бутстрап может применяться как к задачам оценки дисперсии, так и к задачам оценки распределения. Однако оценка дисперсии бутстрапа не так хороша, как оценка дисперсии складного ножа или сбалансированной повторной репликации (BRR) с точки зрения эмпирических результатов. Кроме того, оценка дисперсии бутстрапа обычно требует больше вычислений, чем оценка дисперсии складного ножа или BRR. Таким образом, бутстрап в основном рекомендуется для оценки распределения». [ attribution needed ] [9]
Складной нож имеет особое значение, особенно с методом удаления-1 наблюдения. Его следует использовать только с гладкими, дифференцируемыми статистиками (например, итоги, средние значения, пропорции, отношения, отношения шансов, коэффициенты регрессии и т. д.; не с медианами или квантилями). Это может стать практическим недостатком. Этот недостаток обычно является аргументом в пользу бутстраппинга по сравнению с методом удаления-1. Более общие методы удаления-1, такие как метод удаления-m или метод удаления-всех-кроме-2 Ходжеса-Лемана , преодолевают эту проблему для медиан и квантилей, ослабляя требования к гладкости для согласованной оценки дисперсии.
Обычно складной нож легче применять к сложным схемам выборки, чем бутстрап. Сложные схемы выборки могут включать стратификацию, многоэтапную выборку (кластеризацию), различные веса выборки (корректировки неответов, калибровку, постстратификацию) и неравные по вероятности планы выборки. Теоретические аспекты как бутстрапа, так и складного ножа можно найти в Shao и Tu (1995), [10] , тогда как базовое введение изложено в Wolter (2007). [11] Оценка бутстрапа смещения прогноза модели точнее, чем оценки складного ножа с линейными моделями, такими как линейная дискриминантная функция или множественная регрессия. [12]
Серия: Вероятность и приложения
Монографии по статистике и прикладной вероятности