Коэффициент ранговой корреляции Кендалла

Статистика ранговой корреляции

В статистике коэффициент ранговой корреляции Кендалла , обычно называемый коэффициентом τ Кендалла (по греческой букве τ , тау), является статистикой, используемой для измерения порядковой связи между двумя измеренными величинами. Тест τ является непараметрическим тестом гипотезы для статистической зависимости, основанным на коэффициенте τ. Это мера ранговой корреляции : сходство упорядочений данных при ранжировании по каждой из величин. Он назван в честь Мориса Кендалла , который разработал его в 1938 году, ^[1] хотя Густав Фехнер предложил похожую меру в контексте временных рядов в 1897 году. ^[2]

Интуитивно понятно, что корреляция Кендалла между двумя переменными будет высокой, когда наблюдения имеют схожий (или идентичный для корреляции 1) ранг (т. е. относительную позиционную метку наблюдений внутри переменной: 1-й, 2-й, 3-й и т. д.) между двумя переменными, и низкой, когда наблюдения имеют неодинаковый (или полностью разный для корреляции −1) ранг между двумя переменными.

Оба коэффициента корреляции, Кендалла и Спирмена, можно сформулировать как частные случаи более общего коэффициента корреляции . Его понятия согласованности и несогласованности также появляются в других областях статистики, например, индекс Рэнда в кластерном анализе . ${\displaystyle \tau }$ ${\displaystyle \rho }$

Определение

Все точки в серой области являются конкордантными, а все точки в белой области являются дискордантными относительно точки . С точками существует всего возможных пар точек. В этом примере имеется 395 конкордантных пар точек и 40 дискордантных пар точек, что приводит к коэффициенту корреляции ранга Кендалла 0,816. ${\displaystyle (X_{1},Y_{1})}$ ${\displaystyle n=30}$ ${\displaystyle {\binom {30}{2}}=435}$

Пусть будет набором наблюдений совместных случайных величин X и Y , таким, что все значения ( ) и ( ) уникальны. (Способы обработки неуникальных значений см. в разделе #Учет связей.) Любая пара наблюдений и , где , называется согласованной, если порядок сортировки и совпадает: то есть, если выполняется либо оба и , либо оба и ; в противном случае они называются несогласованными . ${\displaystyle (x_{1},y_{1}),...,(x_{n},y_{n})}$ ${\displaystyle x_{i}}$ ${\displaystyle y_{i}}$ ${\displaystyle (x_{i},y_{i})}$ ${\displaystyle (x_{j},y_{j})}$ ${\displaystyle i<j}$ ${\displaystyle (x_{i},x_{j})}$ ${\displaystyle (y_{i},y_{j})}$ ${\displaystyle x_{i}>x_{j}}$ ${\displaystyle y_{i}>y_{j}}$ ${\displaystyle x_{i}<x_{j}}$ ${\displaystyle y_{i}<y_{j}}$

Коэффициент τ Кендалла определяется как:

${\displaystyle \tau ={\frac {({\text{number of concordant pairs}})-({\text{number of discordant pairs}})}{({\text{number of pairs}})}}=1-{\frac {2({\text{number of discordant pairs}})}{n \choose 2}}.}$^[3]

где — биномиальный коэффициент для числа способов выбора двух предметов из n предметов. ${\displaystyle {n \choose 2}={n(n-1) \over 2}}$

Число несогласованных пар равно числу инверсий , которое переставляет y-последовательность в тот же порядок, что и x-последовательность.

Характеристики

Знаменатель — это общее количество парных комбинаций, поэтому коэффициент должен находиться в диапазоне −1 ≤  τ  ≤ 1.

• Если совпадение двух рейтингов идеальное (т.е. оба рейтинга одинаковы), коэффициент имеет значение 1.
• Если несоответствие между двумя рейтингами полное (т.е. один рейтинг является противоположностью другого), коэффициент имеет значение -1.
• Если X и Y — независимые случайные величины , а не постоянные, то математическое ожидание коэффициента равно нулю.
• Явное выражение для коэффициента ранга Кендалла имеет вид . ${\displaystyle \tau ={\frac {2}{n(n-1)}}\sum _{i<j}\operatorname {sgn}(x_{i}-x_{j})\operatorname {sgn}(y_{i}-y_{j})}$

Проверка гипотезы

Коэффициент ранга Кендалла часто используется в качестве испытательной статистики в статистическом тесте гипотезы , чтобы установить, можно ли считать две переменные статистически зависимыми. Этот тест является непараметрическим , поскольку он не опирается ни на какие предположения о распределениях X или Y или распределении ( X , Y ).

При нулевой гипотезе независимости X и Y , выборочное распределение τ имеет ожидаемое значение , равное нулю. Точное распределение не может быть охарактеризовано в терминах обычных распределений, но может быть точно рассчитано для небольших выборок; для более крупных выборок обычно используют приближение к нормальному распределению со средним значением нулевым и дисперсией . ^[4] ${\textstyle 2(2n+5)/9n(n-1)}$

Теорема. Если выборки независимы, то дисперсия определяется выражением . ${\textstyle \tau _{A}}$ ${\textstyle Var[\tau _{A}]=2(2n+5)/9n(n-1)}$

Доказательство

Доказательство
Вальц и Маклеод (1990; ^[5] 1995 ^[6] )

WLOG, мы переупорядочиваем пары данных, так что . В предположении независимости порядок представляет собой перестановку, выбранную равномерно случайным образом из , группы перестановок на . ${\textstyle x_{1}<x_{2}<\cdots <x_{n}}$ ${\textstyle y_{1},...,y_{n}}$ ${\textstyle S_{n}}$ ${\textstyle 1:n}$

Для каждой перестановки ее уникальный код инверсии таков , что каждый находится в диапазоне . Выборка перестановки равномерно эквивалентна выборке кода инверсии равномерно, что эквивалентно выборке каждого равномерно и независимо. ${\textstyle l}$ ${\textstyle l_{0}l_{1}\cdots l_{n-1}}$ ${\textstyle l_{i}}$ ${\textstyle 0:i}$ ${\textstyle l}$ ${\textstyle l_{i}}$

Тогда у нас есть $${\displaystyle {\begin{aligned}E[\tau _{A}^{2}]&=E\left[\left(1-{\frac {4\sum _{i}l_{i}}{n(n-1)}}\right)^{2}\right]\\&=1-{\frac {8}{n(n-1)}}\sum _{i}E[l_{i}]+{\frac {16}{n^{2}(n-1)^{2}}}\sum _{ij}E[l_{i}l_{j}]\\&=1-{\frac {8}{n(n-1)}}\sum _{i}E[l_{i}]+{\frac {16}{n^{2}(n-1)^{2}}}\left(\sum _{ij}E[l_{i}]E[l_{j}]+\sum _{i}V[l_{i}]\right)\\&=1-{\frac {8}{n(n-1)}}\sum _{i}E[l_{i}]+{\frac {16}{n^{2}(n-1)^{2}}}\sum _{ij}E[l_{i}]E[l_{j}]+{\frac {16}{n^{2}(n-1)^{2}}}\left(\sum _{i}V[l_{i}]\right)\\&=\left(1-{\frac {4\sum _{i}E[l_{i}]}{n(n-1)}}\right)^{2}+{\frac {16}{n^{2}(n-1)^{2}}}\left(\sum _{i}V[l_{i}]\right)\end{aligned}}}$$

Первый член — это просто . Второй член можно вычислить, заметив, что — равномерная случайная величина на , поэтому и , а затем снова используя формулу суммы квадратов. ${\textstyle E[\tau _{A}]^{2}=0}$ ${\textstyle l_{i}}$ ${\textstyle 0:i}$ ${\textstyle E[l_{i}]={\frac {i}{2}}}$ ${\textstyle E[l_{i}^{2}]={\frac {0^{2}+\cdots +i^{2}}{i+1}}={\frac {i(2i+1)}{6}}}$

Асимптотическая нормальность  —  в пределе сходится по распределению к стандартному нормальному распределению. ${\textstyle n\to \infty }$ ${\textstyle z_{A}={\frac {\tau _{A}}{\sqrt {Var[\tau _{A}]}}}={n_{C}-n_{D} \over {\sqrt {n(n-1)(2n+5)/18}}}}$

Доказательство

Используйте результат из Класса статистик с асимптотически нормальным распределением Хёффдинга (1948). ^[7]

Случай стандартных нормальных распределений

Если IID-выборки из одного и того же совместно нормального распределения с известным коэффициентом корреляции Пирсона , то ожидание ранговой корреляции Кендалла имеет замкнутую формулу. ^[8] ${\textstyle (x_{1},y_{1}),(x_{2},y_{2}),...,(x_{n},y_{n})}$ ${\textstyle r}$

Равенство Грейнера  —  Если совместно нормальны, с корреляцией , то ${\textstyle X,Y}$ ${\textstyle r}$ $${\displaystyle r=\sin {\left({\frac {\pi }{2}}E[\tau _{A}]\right)}}$$

Название приписывается Ричарду Грейнеру (1909) ^[9] П. А. П. Мораном . ^[10]

Доказательство

Доказательство ^[11]

Определите следующие величины.

• ${\textstyle A^{+}:=\{(\Delta x,\Delta y):\Delta x\Delta y>0\}}$
• ${\textstyle \Delta _{i,j}:=(x_{i}-x_{j},y_{i}-y_{j})}$является точкой в ​​. ${\textstyle \mathbb {R} ^{2}}$

В обозначениях мы видим, что число согласованных пар, , равно числу тех , которые попадают в подмножество . То есть, . ${\textstyle n_{C}}$ ${\textstyle \Delta _{i,j}}$ ${\textstyle A^{+}}$ ${\textstyle n_{C}=\sum _{1\leq i<j\leq n}1_{\Delta _{i,j}\in A^{+}}}$

Таким образом, $${\displaystyle E[\tau _{A}]={\frac {4}{n(n-1)}}E[n_{C}]-1={\frac {4}{n(n-1)}}\sum _{1\leq i<j\leq n}Pr(\Delta _{i,j}\in A^{+})-1}$$

Поскольку каждый из них является выборкой IID совместно нормального распределения, спаривание не имеет значения, поэтому каждый член в суммировании абсолютно одинаков, и поэтому остается вычислить вероятность. Мы делаем это с помощью повторных аффинных преобразований. ${\textstyle (x_{i},y_{i})}$ $${\displaystyle E[\tau _{A}]=2Pr(\Delta _{1,2}\in A^{+})-1}$$

Сначала нормализуем, вычитая среднее значение и разделив стандартное отклонение. Это не изменит . Это дает нам , где выбирается из стандартного нормального распределения на . ${\textstyle X,Y}$ ${\textstyle \tau _{A}}$ $${\displaystyle {\begin{bmatrix}x\\y\end{bmatrix}}={\begin{bmatrix}1&r\\r&1\end{bmatrix}}^{1/2}{\begin{bmatrix}z\\w\end{bmatrix}}}$$ ${\textstyle (Z,W)}$ ${\textstyle \mathbb {R} ^{2}}$

Таким образом, где вектор все еще распределен как стандартное нормальное распределение на . Остается выполнить несколько неинтересных и утомительных матричных возведений в степень и тригонометрию, которые можно пропустить. $${\displaystyle \Delta _{1,2}={\sqrt {2}}{\begin{bmatrix}1&r\\r&1\end{bmatrix}}^{1/2}{\begin{bmatrix}(z_{1}-z_{2})/{\sqrt {2}}\\(w_{1}-w_{2})/{\sqrt {2}}\end{bmatrix}}}$$ ${\textstyle {\begin{bmatrix}(z_{1}-z_{2})/{\sqrt {2}}\\(w_{1}-w_{2})/{\sqrt {2}}\end{bmatrix}}}$ ${\textstyle \mathbb {R} ^{2}}$

Таким образом, тогда и только тогда , когда подмножество справа является «сжатой» версией двух квадрантов. Поскольку стандартное нормальное распределение является вращательно-симметричным, нам нужно только вычислить угол, охватываемый каждым сжатым квадрантом. ${\textstyle \Delta _{1,2}\in A^{+}}$ $${\displaystyle {\begin{bmatrix}(z_{1}-z_{2})/{\sqrt {2}}\\(w_{1}-w_{2})/{\sqrt {2}}\end{bmatrix}}\in {\frac {1}{\sqrt {2}}}{\begin{bmatrix}1&r\\r&1\end{bmatrix}}^{-1/2}A^{+}={\frac {1}{2{\sqrt {2}}}}{\begin{bmatrix}{\frac {1}{\sqrt {1+r}}}+{\frac {1}{\sqrt {1-r}}}&{\frac {1}{\sqrt {1+r}}}-{\frac {1}{\sqrt {1-r}}}\\{\frac {1}{\sqrt {1+r}}}-{\frac {1}{\sqrt {1-r}}}&{\frac {1}{\sqrt {1+r}}}+{\frac {1}{\sqrt {1-r}}}\end{bmatrix}}A^{+}}$$

Первый квадрант — это сектор, ограниченный двумя лучами . Он преобразуется в сектор, ограниченный двумя лучами и . Они соответственно образуют угол с горизонтальной и вертикальной осью, где ${\textstyle (1,0),(0,1)}$ ${\textstyle ({\frac {1}{\sqrt {1+r}}}+{\frac {1}{\sqrt {1-r}}},{\frac {1}{\sqrt {1+r}}}-{\frac {1}{\sqrt {1-r}}})}$ ${\textstyle ({\frac {1}{\sqrt {1+r}}}-{\frac {1}{\sqrt {1-r}}},{\frac {1}{\sqrt {1+r}}}+{\frac {1}{\sqrt {1-r}}})}$ ${\textstyle \theta }$ $${\displaystyle \theta =\arctan {\frac {{\frac {1}{\sqrt {1+r}}}-{\frac {1}{\sqrt {1-r}}}}{{\frac {1}{\sqrt {1+r}}}+{\frac {1}{\sqrt {1-r}}}}}}$$

Вместе два преобразованных квадранта охватывают угол , поэтому и, следовательно, ${\textstyle \pi +4\theta }$ $${\displaystyle Pr(\Delta _{1,2}\in A^{+})={\frac {\pi +4\theta }{2\pi }}}$$
$${\displaystyle \sin {\left({\frac {\pi }{2}}E[\tau _{A}]\right)}=\sin(2\theta )=r}$$

Учет связей

Говорят, что пара связана , если и только если или ; связанная пара не является ни согласованной, ни несогласованной. Когда в данных возникают связанные пары, коэффициент может быть изменен несколькими способами, чтобы сохранить его в диапазоне [−1, 1]: ${\displaystyle \{(x_{i},y_{i}),(x_{j},y_{j})\}}$ ${\displaystyle x_{i}=x_{j}}$ ${\displaystyle y_{i}=y_{j}}$

Тау-а

Статистика Tau-a проверяет силу ассоциации перекрестных таблиц . Обе переменные должны быть порядковыми . Tau-a не будет делать никаких поправок на связи. Она определяется как:

${\displaystyle \tau _{A}={\frac {n_{c}-n_{d}}{n_{0}}}}$

где n _c , n _d и n ₀ определены, как в следующем разделе.

Тау-б

Статистика Tau-b, в отличие от Tau-a, делает поправки на связи. ^[12] Значения Tau-b варьируются от −1 (100% отрицательная ассоциация или идеальная инверсия) до +1 (100% положительная ассоциация или идеальное согласие). Нулевое значение указывает на отсутствие ассоциации.

Коэффициент Тау-b Кендалла определяется как:

${\displaystyle \tau _{B}={\frac {n_{c}-n_{d}}{\sqrt {(n_{0}-n_{1})(n_{0}-n_{2})}}}}$

где

${\displaystyle {\begin{aligned}n_{0}&=n(n-1)/2\\n_{1}&=\sum _{i}t_{i}(t_{i}-1)/2\\n_{2}&=\sum _{j}u_{j}(u_{j}-1)/2\\n_{c}&={\text{Number of concordant pairs}}\\n_{d}&={\text{Number of discordant pairs}}\\t_{i}&={\text{Number of tied values in the }}i^{\text{th}}{\text{ group of ties for the first quantity}}\\u_{j}&={\text{Number of tied values in the }}j^{\text{th}}{\text{ group of ties for the second quantity}}\end{aligned}}}$

Простой алгоритм, разработанный на языке BASIC, вычисляет коэффициент Тау-b, используя альтернативную формулу. ^[13]

Имейте в виду, что некоторые статистические пакеты, например SPSS, используют альтернативные формулы для повышения вычислительной эффективности, с удвоенным «обычным» числом согласованных и несогласованных пар. ^[14]

Тау-с

Tau-c (также называемый Стюартом-Кендаллом Tau-c) ^[15] больше подходит, чем Tau-b, для анализа данных на основе неквадратных (т. е. прямоугольных) таблиц сопряженности . ^{[15] [16]} Поэтому используйте Tau-b, если базовая шкала обеих переменных имеет одинаковое количество возможных значений (до ранжирования), и Tau-c, если они различаются. Например, одна переменная может быть оценена по 5-балльной шкале (очень хорошо, хорошо, средне, плохо, очень плохо), тогда как другая может быть основана на более точной 10-балльной шкале.

Коэффициент Тау-c Кендалла определяется как: ^[16]

${\displaystyle \tau _{C}={\frac {2(n_{c}-n_{d})}{n^{2}{\frac {(m-1)}{m}}}}=\tau _{A}{\frac {n-1}{n}}{\frac {m}{m-1}}}$

где

${\displaystyle {\begin{aligned}n_{c}&={\text{Number of concordant pairs}}\\n_{d}&={\text{Number of discordant pairs}}\\r&={\text{Number of rows}}\\c&={\text{Number of columns}}\\m&=\min(r,c)\end{aligned}}}$

Тесты значимости

Когда две величины статистически зависимы, распределение нелегко охарактеризовать в терминах известных распределений. Однако для следующей статистики , приблизительно распределено как стандартное нормальное, когда переменные статистически независимы: ${\displaystyle \tau }$ ${\displaystyle \tau _{A}}$ ${\displaystyle z_{A}}$

${\displaystyle z_{A}={n_{c}-n_{d} \over {\sqrt {{\frac {1}{18}}v_{0}}}}}$

где . ${\displaystyle v_{0}=n(n-1)(2n+5)}$

Таким образом, чтобы проверить, являются ли две переменные статистически зависимыми, вычисляют и находят кумулятивную вероятность для стандартного нормального распределения при . Для 2-стороннего теста умножьте это число на два, чтобы получить p -значение. Если p -значение ниже заданного уровня значимости, то отвергается нулевая гипотеза (на этом уровне значимости) о том, что величины статистически независимы. ${\displaystyle z_{A}}$ ${\displaystyle -|z_{A}|}$

При учете связей следует вносить многочисленные корректировки . Следующая статистика, , имеет то же распределение, что и распределение, и снова приблизительно равна стандартному нормальному распределению, когда величины статистически независимы: ${\displaystyle z_{A}}$ ${\displaystyle z_{B}}$ ${\displaystyle \tau _{B}}$

${\displaystyle z_{B}={n_{c}-n_{d} \over {\sqrt {v}}}}$

где

${\displaystyle {\begin{array}{ccl}v&=&{\frac {1}{18}}v_{0}-(v_{t}+v_{u})/18+(v_{1}+v_{2})\\v_{0}&=&n(n-1)(2n+5)\\v_{t}&=&\sum _{i}t_{i}(t_{i}-1)(2t_{i}+5)\\v_{u}&=&\sum _{j}u_{j}(u_{j}-1)(2u_{j}+5)\\v_{1}&=&\sum _{i}t_{i}(t_{i}-1)\sum _{j}u_{j}(u_{j}-1)/(2n(n-1))\\v_{2}&=&\sum _{i}t_{i}(t_{i}-1)(t_{i}-2)\sum _{j}u_{j}(u_{j}-1)(u_{j}-2)/(9n(n-1)(n-2))\end{array}}}$

Иногда это называют тестом Манна-Кендалла. ^[17]

Алгоритмы

Прямое вычисление числителя включает две вложенные итерации, что характеризуется следующим псевдокодом: ${\displaystyle n_{c}-n_{d}}$

число := 0 для i := 2..N сделать  для j := 1..(i − 1) сделать число := число + знак(x[i] − x[j]) × знак(y[i] − y[j])возвращаемое число

Хотя этот алгоритм быстро реализуется, он сложен и становится очень медленным на больших выборках. Более сложный алгоритм ^[18], построенный на алгоритме Merge Sort , может быть использован для вычисления числителя во времени. ${\displaystyle O(n^{2})}$ ${\displaystyle O(n\cdot \log {n})}$

Начните с упорядочения точек данных, сортируя их по первой величине, , и, во-вторых (среди связей в ), по второй величине, . При таком начальном упорядочении не сортируется, и ядро ​​алгоритма состоит из вычисления того, сколько шагов потребуется пузырьковой сортировке для сортировки этого начального . Улучшенный алгоритм сортировки слиянием со сложностью может быть применен для вычисления количества обменов, , которые потребуются пузырьковой сортировке для сортировки . Тогда числитель для вычисляется как: ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle y}$ ${\displaystyle y}$ ${\displaystyle O(n\log n)}$ ${\displaystyle S(y)}$ ${\displaystyle y_{i}}$ ${\displaystyle \tau }$

${\displaystyle n_{c}-n_{d}=n_{0}-n_{1}-n_{2}+n_{3}-2S(y),}$

где вычисляется как и , но относительно совместных связей в и . ${\displaystyle n_{3}}$ ${\displaystyle n_{1}}$ ${\displaystyle n_{2}}$ ${\displaystyle x}$ ${\displaystyle y}$

Сортировка слиянием разделяет сортируемые данные на две примерно равные половины, и , затем сортирует каждую половину рекурсивно, а затем объединяет две отсортированные половины в полностью отсортированный вектор. Количество перестановок пузырьковой сортировки равно: ${\displaystyle y}$ ${\displaystyle y_{\mathrm {left} }}$ ${\displaystyle y_{\mathrm {right} }}$

${\displaystyle S(y)=S(y_{\mathrm {left} })+S(y_{\mathrm {right} })+M(Y_{\mathrm {left} },Y_{\mathrm {right} })}$

где и являются отсортированными версиями и , и характеризует эквивалент обмена пузырьковой сортировки для операции слияния. вычисляется, как показано в следующем псевдокоде: ${\displaystyle Y_{\mathrm {left} }}$ ${\displaystyle Y_{\mathrm {right} }}$ ${\displaystyle y_{\mathrm {left} }}$ ${\displaystyle y_{\mathrm {right} }}$ ${\displaystyle M(\cdot ,\cdot )}$ ${\displaystyle M(\cdot ,\cdot )}$

Функция M(L[1..n], R[1..m]) равна я := 1 j := 1 nSwaps := 0 пока i ≤ n и j ≤ m делать  если R[j] < L[i] то nОбменов := nОбменов + n − i + 1 j := j + 1 еще я := я + 1 возврат nSwaps

Побочным эффектом вышеописанных шагов является то, что вы в итоге получаете как отсортированную версию , так и отсортированную версию . С их помощью факторы и , используемые для вычисления, легко получаются за один проход по отсортированным массивам за линейное время. ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle t_{i}}$ ${\displaystyle u_{j}}$ ${\displaystyle \tau _{B}}$

Аппроксимация ранговой корреляции Кендалла из потока

Эффективные алгоритмы для расчета коэффициента ранговой корреляции Кендалла в соответствии со стандартным оценщиком имеют временную сложность. Однако эти алгоритмы требуют наличия всех данных для определения рангов наблюдений, что создает проблему в последовательных настройках данных, где наблюдения раскрываются постепенно. К счастью, существуют алгоритмы для оценки коэффициента ранговой корреляции Кендалла в последовательных настройках. ^{[19] [20]} Эти алгоритмы имеют сложность времени обновления и пространства, эффективно масштабируясь с числом наблюдений. Следовательно, при обработке пакета наблюдений временная сложность становится , в то время как пространственная сложность остается постоянной . ${\displaystyle O(n\cdot \log {n})}$ ${\displaystyle O(1)}$ ${\displaystyle n}$ ${\displaystyle O(n)}$ ${\displaystyle O(1)}$

Первый такой алгоритм ^[19] представляет собой приближение к коэффициенту ранговой корреляции Кендалла, основанное на огрублении совместного распределения случайных величин. Нестационарные данные обрабатываются с помощью подхода скользящего окна. Этот алгоритм ^[19] прост и способен обрабатывать дискретные случайные величины вместе с непрерывными случайными величинами без модификации.

Второй алгоритм ^[20] основан на оценщиках рядов Эрмита и использует альтернативный оценщик для точного коэффициента ранговой корреляции Кендалла, т. е. для вероятности согласованности за вычетом вероятности несогласованности пар двумерных наблюдений. Этот альтернативный оценщик также служит приближением к стандартному оценщику. Этот алгоритм ^[20] применим только к непрерывным случайным величинам, но он продемонстрировал превосходную точность и потенциальный прирост скорости по сравнению с первым описанным алгоритмом ^[19] , а также возможность обработки нестационарных данных без использования скользящих окон. Эффективная реализация подхода на основе рядов Эрмита содержится в пакете R package hermiter. ^[20]

Реализации программного обеспечения

• R реализует тест для cor.test(x, y, method = "kendall") в своем пакете "stats" (также будет работать, но последний не возвращает p-значение). Все три версии коэффициента доступны в пакете "DescTools" вместе с доверительными интервалами: для , для , для . Быстрые пакетные оценки коэффициента ранговой корреляции Кендалла вместе с последовательными оценками предусмотрены в пакете hermiter. ^[20] ${\displaystyle \tau _{B}}$cor(x, y, method = "kendall")KendallTauA(x,y,conf.level=0.95) ${\displaystyle \tau _{A}}$KendallTauB(x,y,conf.level=0.95) ${\displaystyle \tau _{B}}$StuartTauC(x,y,conf.level=0.95) ${\displaystyle \tau _{C}}$
• Для Python библиотека SciPy реализует вычисление в scipy.stats.kendalltau ${\displaystyle \tau _{B}}$
• В Stata реализовано как .ktau varlist

Смотрите также

• Математический портал

• Корреляция
• Расстояние тау Кендалла
• Кендаллс W
• Коэффициент ранговой корреляции Спирмена
• Гамма Гудмена и Краскала
• Оценка Тейла–Сена
• U-критерий Манна–Уитни — эквивалентен коэффициенту корреляции тау Кендалла, если одна из переменных является бинарной.

Ссылки

1. Кендалл, М. (1938). «Новая мера ранговой корреляции». Biometrika . 30 (1–2): 81–89. doi :10.1093/biomet/30.1-2.81. JSTOR  2332226.
2. Kruskal, WH (1958). «Порядковые меры ассоциации». Журнал Американской статистической ассоциации . 53 (284): 814–861. doi :10.2307/2281954. JSTOR  2281954. MR  0100941.
3. Нельсен, РБ (2001) [1994], «Метрика тау Кендалла», Энциклопедия математики , EMS Press
4. Прохоров, А.В. (2001) [1994], "Коэффициент ранговой корреляции Кендалла", Энциклопедия математики , EMS Press
5. Вальц, Пол Д.; Маклеод, А. Ян (февраль 1990 г.). «Упрощенный вывод дисперсии коэффициента ранговой корреляции Кендалла». The American Statistician . 44 (1): 39–40. doi :10.1080/00031305.1990.10475691. ISSN  0003-1305.
6. Вальц, Пол Д.; Маклеод, А. Йен; Томпсон, Мэри Э. (февраль 1995 г.). «Генерирующая функция кумулянта и приближения хвостовой вероятности для оценки Кендалла с равными рейтингами». Анналы статистики . 23 (1): 144–160. doi : 10.1214/aos/1176324460 . ISSN  0090-5364.
7. Hoeffding, Wassily (1992), Kotz, Samuel; Johnson, Norman L. (ред.), "Класс статистики с асимптотически нормальным распределением", Breakthroughs in Statistics: Foundations and Basic Theory , Springer Series in Statistics, New York, NY: Springer, стр. 308–334, doi :10.1007/978-1-4612-0919-5_20, ISBN 978-1-4612-0919-5, получено 2024-01-19
8. Кендалл, MG (1949). «Ранговая и продуктово-моментная корреляция». Biometrika . 36 (1/2): 177–193. doi :10.2307/2332540. ISSN  0006-3444. JSTOR  2332540. PMID  18132091.
9. Ричард Грейнер, (1909), Ueber das Fehlersystem der Kollektiv-maßlehre , Zeitschrift für Mathematik und Physik, Band 57, BG Teubner, Лейпциг, страницы 121–158, 225–260, 337–373.
10. Моран, ПАП (1948). «Ранговая корреляция и корреляция продукта-момента». Biometrika . 35 (1/2): 203–206. doi :10.2307/2332641. ISSN  0006-3444. JSTOR  2332641. PMID  18867425.
11. Бергер, Дэниел (2016). «Доказательство равенства Грейнера». Электронный журнал SSRN . doi :10.2139/ssrn.2830471. ISSN  1556-5068.
12. Агрести, А. (2010). Анализ порядковых категориальных данных (второе издание). Нью-Йорк: John Wiley & Sons. ISBN 978-0-470-08289-8.
13. Альфред Брофи (1986). «Алгоритм и программа для расчета коэффициента ранговой корреляции Кендалла» (PDF) . Методы исследования поведения, приборы и компьютеры . 18 : 45–46. doi :10.3758/BF03200993. S2CID  62601552.
14. IBM (2016). IBM SPSS Statistics 24 Algorithms. IBM. стр. 168. Получено 31 августа 2017 г.
15. Берри, К. Дж.; Джонстон, Дж. Э.; Захран, С.; Мильке, П. В. (2009). «Тау-мера Стюарта размера эффекта для порядковых переменных: некоторые методологические соображения». Методы исследования поведения . 41 (4): 1144–1148. doi : 10.3758/brm.41.4.1144 . PMID  19897822.
16. Стюарт, А. (1953). «Оценка и сравнение сил ассоциации в таблицах сопряженности». Biometrika . 40 (1–2): 105–110. doi :10.2307/2333101. JSTOR  2333101.
17. Вальц, Пол Д.; Маклеод, А. Йен; Томпсон, Мэри Э. (февраль 1995 г.). «Генерирующая функция кумулянта и приближения хвостовой вероятности для оценки Кендалла с равными рейтингами». Анналы статистики . 23 (1): 144–160. doi : 10.1214/aos/1176324460 . ISSN  0090-5364.
18. Найт, У. (1966). «Компьютерный метод расчета тау Кендалла с негруппированными данными». Журнал Американской статистической ассоциации . 61 (314): 436–439. doi :10.2307/2282833. JSTOR  2282833.
19. Xiao, W. (2019). «Новые онлайн-алгоритмы для непараметрических корреляций с применением для анализа данных датчиков». Международная конференция IEEE по большим данным (Big Data) 2019 года . стр. 404–412. doi :10.1109/BigData47090.2019.9006483. ISBN 978-1-7281-0858-2. S2CID  211298570.
20. Stephanou, M. и Varughese, M (2023). "Hermiter: R-пакет для последовательной непараметрической оценки". Computational Statistics . arXiv : 2111.14091 . doi :10.1007/s00180-023-01382-0. S2CID  244715035.{{cite journal}}: CS1 maint: multiple names: authors list (link)

Дальнейшее чтение

• Abdi, H. (2007). "Ранговая корреляция Кендалла" (PDF) . В Salkind, NJ (ред.). Энциклопедия измерений и статистики . Thousand Oaks (CA): Sage.
• Daniel, Wayne W. (1990). «Тау Кендалла». Прикладная непараметрическая статистика (2-е изд.). Бостон: PWS-Kent. С. 365–377. ISBN 978-0-534-91976-4.
• Кендалл, Морис; Гиббонс, Джин Дикинсон (1990) [Впервые опубликовано в 1948]. Методы ранговой корреляции . Серия книг Чарльза Гриффина (5-е изд.). Оксфорд: Oxford University Press. ISBN 978-0195208375.
• Бонетт, Дуглас Г.; Райт, Томас А. (2000). «Требования к размеру выборки для оценки корреляций Пирсона, Кендалла и Спирмена». Психометрика . 65 (1): 23–28. doi :10.1007/BF02294183. S2CID  120558581.

Внешние ссылки

• Расчет связанного ранга
• Программное обеспечение для вычисления тау Кендалла на очень больших наборах данных
• Онлайн-программа: вычисляет корреляцию тау-ранга Кендалла