Индекс дисперсии

Нормализованная мера дисперсии распределения вероятностей

В теории вероятностей и статистике индекс дисперсии , ^[1] индекс дисперсии , коэффициент дисперсии , относительная дисперсия или отношение дисперсии к среднему ( VMR ), как и коэффициент вариации , является нормализованной мерой дисперсии распределения вероятностей : это мера, используемая для количественной оценки того, является ли набор наблюдаемых событий кластеризованным или рассеянным по сравнению со стандартной статистической моделью .

Он определяется как отношение дисперсии к среднему значению , ${\displaystyle \sigma ^{2}}$ ${\displaystyle \mu }$

${\displaystyle D={\sigma ^{2} \over \mu }.}$

Он также известен как фактор Фано , хотя этот термин иногда резервируется для оконных данных (среднее значение и дисперсия вычисляются по подгруппе), где индекс дисперсии используется в особом случае, когда окно бесконечно. Оконные данные используются часто: VMR часто вычисляется по различным интервалам времени или небольшим областям в пространстве, которые можно назвать «окнами», а полученная статистика называется фактором Фано.

Он определяется только тогда, когда среднее значение не равно нулю, и обычно используется только для положительной статистики, такой как данные подсчета или время между событиями, или когда предполагается, что базовое распределение является экспоненциальным распределением или распределением Пуассона . ${\displaystyle \mu }$

Терминология

В этом контексте наблюдаемый набор данных может состоять из времени возникновения предопределенных событий, таких как землетрясения в данном регионе с заданной магнитудой или местоположения в географическом пространстве растений данного вида. Детали таких событий сначала преобразуются в подсчеты количества событий или событий в каждом из набора равных по размеру временных или пространственных регионов.

Вышеприведенное определяет индекс дисперсии для подсчетов . ^[2] Другое определение применяется для индекса дисперсии для интервалов , ^[3] где рассматриваемые величины являются длинами временных интервалов между событиями. Обычное использование заключается в том, что «индекс дисперсии» означает индекс дисперсии для подсчетов.

Интерпретация

Некоторые распределения, в частности распределение Пуассона , имеют равные дисперсию и среднее значение, что дает им VMR = 1. Геометрическое распределение и отрицательное биномиальное распределение имеют VMR > 1, в то время как биномиальное распределение имеет VMR < 1, а постоянная случайная величина имеет VMR = 0. Это дает следующую таблицу:

Это можно считать аналогом классификации конических сечений по эксцентриситету ; подробности см. в разделе Кумулянты частных распределений вероятностей .

Значимость индекса дисперсии заключается в том, что он имеет значение 1, когда распределение вероятностей числа появлений в интервале является распределением Пуассона . Таким образом, меру можно использовать для оценки того, можно ли моделировать наблюдаемые данные с использованием процесса Пуассона . Когда коэффициент дисперсии меньше 1, набор данных считается «недостаточно рассеянным»: это состояние может относиться к закономерностям появления, которые являются более регулярными, чем случайность, связанная с процессом Пуассона. Например, регулярные, периодические события будут недостаточно рассеянными. Если индекс дисперсии больше 1, набор данных считается чрезмерно рассеянным .

Выборочная оценка индекса дисперсии может быть использована для построения формального статистического теста гипотезы об адекватности модели, согласно которой ряд подсчетов следует распределению Пуассона. ^{[4] [5]} С точки зрения интервальных подсчетов избыточная дисперсия соответствует большему количеству интервалов с низкими подсчетами и большему количеству интервалов с высокими подсчетами по сравнению с распределением Пуассона; в противоположность этому, недостаточная дисперсия характеризуется большим количеством интервалов со значениями, близкими к среднему значению, по сравнению с распределением Пуассона.

VMR также является хорошим показателем степени случайности данного явления. Например, этот метод широко используется в управлении валютой.

Пример

Для случайно диффундирующих частиц ( броуновское движение ) распределение числа частиц внутри заданного объема является пуассоновским, т. е. VMR = 1. Поэтому, чтобы оценить, обусловлена ​​ли заданная пространственная структура (предполагая, что у вас есть способ ее измерить) исключительно диффузией или в ней задействовано некоторое взаимодействие частиц: разделите пространство на участки, квадраты или выборочные единицы (SU), подсчитайте количество особей в каждом участке или SU и вычислите VMR. VMR, значительно превышающие 1, обозначают кластерное распределение, где случайного блуждания недостаточно, чтобы подавить притягивающий межчастичный потенциал.

История

Первым, кто обсудил использование теста для обнаружения отклонений от распределения Пуассона или биномиального, был, по-видимому, Лексис в 1877 году. Одним из разработанных им тестов было отношение Лексиса .

Этот индекс впервые был использован в ботанике Клэпхэмом в 1936 году.

Хоэль изучил первые четыре момента его распределения. ^[6] Он обнаружил, что приближение к статистике χ2 ^{является} разумным, если μ > 5.

Неравномерное распределение

Для сильно перекошенных распределений может быть более целесообразным использовать линейную функцию потерь, а не квадратичную. Аналогичный коэффициент дисперсии в этом случае представляет собой отношение среднего абсолютного отклонения от медианы к медиане данных, ^[7] или, в символах:

${\displaystyle CD={\frac {1}{n}}{\frac {\sum _{j}{|m-x_{j}|}}{m}}}$

где n — размер выборки, m — медиана выборки, а сумма берется по всей выборке. Айова , Нью-Йорк и Южная Дакота используют этот линейный коэффициент дисперсии для оценки налогов и сборов. ^{[8] [9] [10]}

Для двухвыборочного теста, в котором размеры выборок велики, обе выборки имеют одинаковую медиану и различаются по дисперсии вокруг нее, доверительный интервал для линейного коэффициента дисперсии ограничен снизу величиной

${\displaystyle {\frac {t_{a}}{t_{b}}}\exp {\left(-{\sqrt {z_{\alpha }\left(\operatorname {var} \left[\log \left({\frac {t_{a}}{t_{b}}}\right)\right]\right)}}\right)}}$

где t _j — среднее абсолютное отклонение j ^-й выборки, а z _α — длина доверительного интервала для нормального распределения достоверности α (например, для α = 0,05, z _α = 1,96). ^[7]

Смотрите также

• Подсчет данных
• Гармоническое среднее

Похожие соотношения

• Коэффициент вариации , ${\displaystyle \sigma /\mu }$
• Стандартизированный момент , ${\displaystyle \mu _{k}/\sigma ^{k}}$
• Фактор Фано (оконный VMR) ${\displaystyle \sigma _{W}^{2}/\mu _{W}}$
• отношение сигнал/шум ( при обработке сигналов ) ${\displaystyle \mu /\sigma }$

Примечания

1. Кокс и Льюис (1966)
2. Кокс и Льюис (1966), стр. 72
3. Кокс и Льюис (1966), стр. 71
4. Кокс и Льюис (1966), стр. 158
5. Upton & Cook (2006), под индексом дисперсии
6. Hoel, PG (1943). «Об индексах дисперсии». Annals of Mathematical Statistics . 14 (2): 155–162. doi : 10.1214/aoms/1177731457 . JSTOR  2235818.
7. Бонетт, Д.Г.; Зайер, Э. (2006). «Доверительный интервал для коэффициента дисперсии в ненормальных распределениях». Биометрический журнал . 48 (1): 144–148. дои : 10.1002/bimj.200410148. PMID  16544819. S2CID  33665632.
8. "Statistical Calculation Definitions for Mass Appraisal" (PDF) . Iowa.gov . Архивировано из оригинала (PDF) 11 ноября 2010 г. Медианное отношение: отношение, расположенное посередине между самым высоким отношением и самым низким отношением, когда индивидуальные отношения для класса недвижимости ранжируются в порядке возрастания или убывания. Медианное отношение чаще всего используется для определения уровня оценки для данного класса недвижимости.
9. "Оценка капитала в Нью-Йорке: результаты исследования рыночной стоимости 2010 года". Архивировано из оригинала 6 ноября 2012 года.
10. "Summary of the Assessment Process" (PDF) . state.sd.us . Департамент доходов Южной Дакоты - Отдел имущественных/специальных налогов. Архивировано из оригинала (PDF) 10 мая 2009 г.

Ссылки

• Кокс, DR; Льюис, PAW (1966). Статистический анализ серий событий . Лондон: Methuen.
• Аптон, Г.; Кук, И. (2006). Оксфордский словарь статистики (2-е изд.). Oxford University Press. ISBN 978-0-19-954145-4.