В статистике количество степеней свободы — это количество значений в окончательном вычислении статистики , которые могут изменяться. [1]
Оценки статистических параметров могут основываться на различных объемах информации или данных. Количество независимых фрагментов информации, которые входят в оценку параметра, называется степенями свободы. В общем, степени свободы оценки параметра равны числу независимых оценок , входящих в оценку, за вычетом количества параметров, используемых в качестве промежуточных шагов при оценке самого параметра. Например, если дисперсию необходимо оценить по случайной выборке независимых оценок, то степени свободы равны количеству независимых оценок ( N ) минус количество параметров, оцененных как промежуточные шаги (один, а именно выборка среднее значение) и поэтому равен . [2]
Математически степени свободы — это количество измерений области случайного вектора или, по сути, количество «свободных» компонентов (сколько компонентов необходимо знать, прежде чем вектор будет полностью определен).
Этот термин чаще всего используется в контексте линейных моделей ( линейная регрессия , дисперсионный анализ ), где определенные случайные векторы вынуждены лежать в линейных подпространствах , а число степеней свободы является размерностью подпространства . Степени свободы также обычно связаны с квадратами длин (или «суммой квадратов» координат) таких векторов, а также с параметрами хи-квадрат и других распределений, которые возникают в связанных задачах статистического тестирования.
Хотя во вводных учебниках степени свободы могут быть представлены как параметры распределения или посредством проверки гипотез, именно базовая геометрия определяет степени свободы и имеет решающее значение для правильного понимания концепции.
Хотя основная концепция степеней свободы была признана еще в 1821 году в работе немецкого астронома и математика Карла Фридриха Гаусса , [3] ее современное определение и использование были впервые разработаны английским статистиком Уильямом Сили Госсетом в его статье « Биометрика » 1908 года «The Вероятная ошибка среднего», опубликованного под псевдонимом «Студент». [4] Хотя Госсет на самом деле не использовал термин «степени свободы», он объяснил эту концепцию в ходе разработки того, что стало известно как t-распределение Стьюдента . Сам термин был популяризирован английским статистиком и биологом Рональдом Фишером , начиная с его работы по хи-квадратам в 1922 году. [5]
В уравнениях типичным символом степеней свободы является ν (строчная греческая буква nu ). В тексте и таблицах обычно используется сокращение «df». Р. А. Фишер использовал n для обозначения степеней свободы, но в современном использовании n обычно используется для обозначения размера выборки.
Геометрически степени свободы можно интерпретировать как размерность некоторых векторных подпространств. В качестве отправной точки предположим, что у нас есть выборка независимых нормально распределенных наблюдений:
Это можно представить как n -мерный случайный вектор :
Поскольку этот случайный вектор может лежать где угодно в n -мерном пространстве, он имеет n степеней свободы.
Теперь пусть будет выборочное среднее . Случайный вектор можно разложить как сумму выборочного среднего плюс вектор остатков:
Первый вектор в правой части ограничен кратным вектору единиц, и единственной свободной величиной является . Следовательно, он имеет 1 степень свободы.
Второй вектор ограничен соотношением . Первые n − 1 компонентов этого вектора могут быть чем угодно. Однако, как только вы узнаете первые n - 1 компонентов, ограничение сообщит вам значение n -го компонента. Следовательно, этот вектор имеет n − 1 степеней свободы.
Математически первый вектор представляет собой наклонную проекцию вектора данных на подпространство , охватываемое вектором единиц. Первая степень свободы — это размерность этого подпространства. Второй вектор невязки представляет собой проекцию метода наименьших квадратов на ( n - 1)-мерное ортогональное дополнение этого подпространства и имеет n - 1 степень свободы.
В приложениях статистического тестирования часто интересуются не векторами компонентов, а их квадратами длин. В приведенном выше примере остаточная сумма квадратов равна
Если точки данных обычно распределяются со средним значением 0 и дисперсией , то остаточная сумма квадратов имеет масштабированное распределение хи-квадрат (масштабированное коэффициентом ) с n - 1 степенями свободы. Степени свободы, в данном случае параметр распределения, по-прежнему можно интерпретировать как размерность основного векторного подпространства.
Аналогично, одновыборочная статистика t -критерия ,
следует t-распределению Стьюдента с n - 1 степенями свободы, когда предполагаемое среднее верно. Опять же, степени свободы возникают из вектора невязки в знаменателе.
Когда представляются результаты моделей структурных уравнений (SEM), они обычно включают один или несколько показателей общего соответствия модели, наиболее распространенным из которых является статистика χ 2 . Это формирует основу для других индексов, о которых обычно сообщают. Хотя именно эти другие статистические данные интерпретируются чаще всего, степени свободы χ 2 важны для понимания соответствия модели, а также природы самой модели.
Степени свободы в SEM вычисляются как разница между количеством уникальных фрагментов информации, которые используются в качестве входных данных для анализа (иногда называемых известными), и количеством однозначно оцениваемых параметров, иногда называемых неизвестными. Например, в однофакторном подтверждающем факторном анализе с четырьмя элементами имеется 10 известных (шесть уникальных ковариаций среди четырех вопросов и четыре дисперсии элементов) и 8 неизвестных (4 факторные нагрузки и 4 дисперсии ошибок) для 2 степеней свобода. Степени свободы важны для понимания соответствия модели хотя бы по той причине, что при прочих равных условиях, чем меньше степеней свободы, тем лучше будут индексы, такие как χ 2 .
Было показано, что читатели статей, содержащих SEM, могут использовать степени свободы, чтобы определить, действительно ли авторы этих статей сообщают правильную статистику соответствия модели. Например, в организационных науках почти половина статей, опубликованных в ведущих журналах, сообщают о степенях свободы, которые не соответствуют моделям, описанным в этих статьях, заставляя читателя задаваться вопросом, какие модели на самом деле были протестированы. [6]
Обычно степени свободы представляют собой количество независимых фрагментов информации, доступных для оценки другого фрагмента информации. Более конкретно, количество степеней свободы — это количество независимых наблюдений в выборке данных, которые доступны для оценки параметра совокупности, из которой взята эта выборка. Например, если у нас есть два наблюдения, при вычислении среднего значения у нас есть два независимых наблюдения; однако при расчете дисперсии у нас есть только одно независимое наблюдение, поскольку оба наблюдения одинаково далеки от выборочного среднего.
При подгонке статистических моделей к данным векторы остатков вынуждены лежать в пространстве меньшей размерности, чем количество компонентов в векторе. Это меньшее измерение – это количество степеней свободы ошибки , также называемое остаточными степенями свободы .
Пожалуй, это самый простой пример. Предполагать
являются случайными величинами, каждая из которых имеет ожидаемое значение μ , и пусть
быть «выборочным средним». Тогда величины
являются остатками , которые можно рассматривать как оценки ошибок X i − µ . Сумма остатков (в отличие от суммы ошибок) обязательно равна 0. Если известны значения любого n - 1 остатков, таким образом, можно найти последний. Это означает, что они вынуждены находиться в пространстве размерности n - 1. Говорят, что существует n - 1 степеней свободы для ошибок.
Пример, который лишь немного менее прост, - это оценка a и b в модели методом наименьших квадратов.
где x i задано, но e i и, следовательно, Y i являются случайными. Пусть и — оценки a и b методом наименьших квадратов . Тогда остатки
ограничены пространством, определяемым двумя уравнениями
Говорят, что существует n - 2 степени свободы для ошибки.
Условно, заглавная буква Y используется при указании модели, а строчная буква y — при определении остатков; это потому, что первые представляют собой гипотетические случайные величины, а вторые — фактические данные.
Мы можем обобщить это на множественную регрессию, включающую p параметров и ковариаты (например, p - 1 предикторов и одно среднее значение (= точка пересечения в регрессии)), и в этом случае стоимость в степенях свободы подбора равна p , оставляя n - p степеней. свобода ошибок
Демонстрация распределений t и хи-квадрат для одновыборочных задач, приведенная выше, является простейшим примером возникновения степеней свободы. Однако подобная геометрия и векторные разложения лежат в основе большей части теории линейных моделей , включая линейную регрессию и дисперсионный анализ . Здесь представлен явный пример, основанный на сравнении трех средних; геометрия линейных моделей более подробно обсуждается Кристенсеном (2002). [7]
Предположим, что независимые наблюдения проводятся для трех популяций , и . Ограничение тремя группами и равными размерами выборки упрощает обозначения, но идеи легко обобщаются.
Наблюдения можно разложить как
где – средние значения отдельных выборок, а – среднее значение всех 3 n наблюдений. В векторной записи это разложение можно записать как
Вектор наблюдения в левой части имеет 3 n степеней свободы. В правой части первый вектор имеет одну степень свободы (или размерность) для общего среднего значения. Второй вектор зависит от трех случайных величин: , и . Однако их сумма должна быть равна 0, и поэтому они ограничены; поэтому вектор должен лежать в двумерном подпространстве и иметь две степени свободы. Остальные 3 n - 3 степени свободы находятся в векторе остатков (состоящем из n - 1 степеней свободы в каждой из популяций).
В задачах статистического тестирования обычно интересуются не самими компонентными векторами, а их квадратами длин или суммой квадратов. Степени свободы, связанные с суммой квадратов, представляют собой степени свободы соответствующих векторов-компонентов.
Приведенный выше пример с тремя совокупностями является примером одностороннего дисперсионного анализа . Сумма квадратов модели или обработки представляет собой квадрат длины второго вектора,
с 2 степенями свободы. Остаточная или погрешная сумма квадратов равна
с 3( n −1) степенями свободы. Конечно, во вводных книгах по ANOVA обычно приводятся формулы без указания векторов, но именно эта базовая геометрия порождает формулы SS и показывает, как однозначно определить степени свободы в любой данной ситуации.
При нулевой гипотезе об отсутствии различий между средними совокупными значениями (и при условии, что стандартные предположения о регулярности ANOVA удовлетворены) суммы квадратов имеют масштабированные распределения хи-квадрат с соответствующими степенями свободы. Статистика F-теста представляет собой соотношение после масштабирования по степеням свободы. Если нет разницы между населением, это означает, что это соотношение соответствует F -распределению с 2 и 3 n - 3 степенями свободы.
В некоторых сложных условиях, таких как несбалансированные схемы с разделенными графиками , суммы квадратов больше не имеют масштабированного распределения хи-квадрат. Сравнение суммы квадратов со степенями свободы больше не имеет смысла, и в этих случаях программное обеспечение может сообщать об определенных дробных «степенях свободы». Такие числа не имеют подлинной интерпретации степеней свободы, а просто обеспечивают приблизительное распределение хи-квадрат для соответствующей суммы квадратов. Подробности таких приближений выходят за рамки этой страницы.
Несколько часто встречающихся статистических распределений ( t Стьюдента , хи-квадрат , F ) имеют параметры, которые обычно называют степенями свободы . Эта терминология просто отражает то, что во многих приложениях, где встречаются такие распределения, параметр соответствует степеням свободы основного случайного вектора, как в предыдущем примере ANOVA. Другой простой пример: если являются независимыми нормальными случайными величинами, статистика
следует распределению хи-квадрат с n - 1 степенями свободы. Здесь степени свободы возникают из остаточной суммы квадратов в числителе и, в свою очередь, из n - 1 степеней свободы основного вектора невязок .
При применении этих распределений к линейным моделям параметры степеней свободы могут принимать только целые значения. Базовые семейства распределений допускают дробные значения параметров степеней свободы, которые могут возникнуть в более сложных целях. Одним из примеров являются задачи, в которых используются приближения хи-квадрат, основанные на эффективных степенях свободы. В других приложениях, таких как моделирование данных с тяжелыми хвостами , at или F -распределение может использоваться в качестве эмпирической модели. В этих случаях не существует определенной степени свободы интерпретации параметров распределения, хотя терминологию можно продолжать использовать.
Многие нестандартные методы регрессии, включая регуляризованные проекции наименьших квадратов (например, гребневую регрессию ), линейные сглаживатели , сглаживающие сплайны и полупараметрическую регрессию , основаны не на обычных проекциях наименьших квадратов , а скорее на регуляризованных ( обобщенных и/или штрафных) наименьших квадратах. квадраты, поэтому степени свободы, определенные в терминах размерности, обычно бесполезны для этих процедур. Однако эти процедуры по-прежнему линейны в наблюдениях, и подобранные значения регрессии могут быть выражены в виде
где — вектор подобранных значений для каждого из исходных значений ковариат из подобранной модели, y — исходный вектор ответов, а H — шляпчатая матрица или, в более общем смысле, более гладкая матрица.
Для статистических выводов суммы квадратов все еще могут быть сформированы: сумма квадратов модели равна ; остаточная сумма квадратов равна . Однако, поскольку H не соответствует обычному методу наименьших квадратов (т.е. не является ортогональной проекцией), эти суммы квадратов больше не имеют (масштабированных, нецентральных) распределений хи-квадрат и размерно определенных степеней -свобода бесполезна.
Эффективные степени свободы соответствия могут быть определены различными способами для реализации тестов согласия , перекрестной проверки и других процедур статистического вывода . Здесь можно различать эффективные степени свободы регрессии и остаточные эффективные степени свободы .
Для эффективных степеней свободы регрессии соответствующие определения могут включать след матрицы шляпки, [8] tr( H ), след квадратичной формы матрицы шляпки tr( H'H ), форму tr(2 H – H H' ), или приближение Саттертуэйта , tr( H'H ) 2 /tr( H'HH'H ) . [9] В случае линейной регрессии матрица шляпки H равна X ( X ' X ) −1 X ' , и все эти определения сводятся к обычным степеням свободы. Заметить, что
степени свободы регрессии (не остаточные) в линейных моделях представляют собой «сумму чувствительности подобранных значений по отношению к наблюдаемым значениям ответа», [10] , т.е. сумму оценок рычагов .
Один из способов помочь концептуализировать это — рассмотреть простую матрицу сглаживания, такую как размытие по Гауссу , используемую для уменьшения шума данных. В отличие от простой линейной или полиномиальной аппроксимации вычисление эффективных степеней свободы сглаживающей функции не является простым. В этих случаях важно оценить степени свободы, разрешенные матрицей, чтобы оставшиеся степени свободы затем можно было использовать для оценки статистических тестов, таких как .
Существуют соответствующие определения остаточных эффективных степеней свободы (redf) с заменой H на I − H . Например, если цель состоит в том, чтобы оценить дисперсию ошибки, redf будет определен как tr(( I - H )'( I - H )), а несмещенная оценка будет (с ),
или: [11] [12] [13] [14]
Последнее приближение, приведенное выше [12], снижает вычислительные затраты с O ( n 2 ) до всего лишь O ( n ). В общем случае числитель будет минимизировать целевую функцию; например, если матрица шляпы включает в себя ковариационную матрицу наблюдения Σ, тогда становится .
Обратите внимание, что, в отличие от исходного случая, допускаются нецелые степени свободы, хотя значение обычно все равно должно быть ограничено диапазоном от 0 до n . [15]
Рассмотрим в качестве примера сглаживатель ближайшего соседа k , который представляет собой среднее значение k ближайших измеренных значений к данной точке. Тогда в каждой из n измеренных точек вес исходного значения в линейной комбинации, составляющей прогнозируемое значение, составляет всего 1/ k . Таким образом, след матрицы шляпки равен n/k . Таким образом, гладкость стоит n/k эффективных степеней свободы.
В качестве другого примера рассмотрим существование почти дублированных наблюдений. Наивное применение классической формулы n − p привело бы к переоценке степени свободы остатков, как если бы каждое наблюдение было независимым. Однако более реалистично, что матрица шляпы H = X ( X ' Σ -1 X ) -1 X ' Σ -1 будет включать в себя ковариационную матрицу наблюдений Σ, указывающую ненулевую корреляцию между наблюдениями.
Более общая формулировка эффективной степени свободы привела бы к более реалистичной оценке, например, дисперсии ошибки σ 2 , которая, в свою очередь, масштабирует апостериорное стандартное отклонение неизвестных параметров; степень свободы также повлияет на коэффициент расширения, необходимый для создания эллипса ошибки для данного уровня достоверности .
Аналогичными понятиями являются эквивалентные степени свободы в непараметрической регрессии , [16] степень свободы сигнала в атмосферных исследованиях, [17] [18] и нецелая степень свободы в геодезии. [19] [20]
Остаточная сумма квадратов имеет обобщенное распределение хи-квадрат , и теория, связанная с этим распределением [21], предлагает альтернативный путь к ответам, приведенным выше. [ нужны дальнейшие объяснения ]
{{cite book}}
: |first2=
имеет общее имя ( справка )