Индекс чувствительности

Рисунок 1: Вероятность ошибки оптимальной по Байесу классификации и индекс байесовой дискриминируемости между двумя одномерными гистограммами, вычисленные из их области перекрытия. Рисунок 2: То же самое, вычисленное из объема перекрытия двух двумерных гистограмм. Рисунок 3: индексы дискриминируемости двух одномерных нормальных распределений с неравными дисперсиями. Граница классификации обозначена черным цветом. Рисунок 4: индексы дискриминируемости двух двумерных нормальных распределений с неравными ковариационными матрицами (эллипсы — это эллипсы ошибок 1 sd). Цветная полоса показывает относительный вклад в дискриминируемость каждого измерения. Они вычисляются численными методами ^[1] . ${\displaystyle e_{b}}$ ${\displaystyle d'_{b}}$

Индекс чувствительности или индекс дискриминируемости или индекс обнаруживаемости — это безразмерная статистика, используемая в теории обнаружения сигнала . Более высокий индекс указывает на то, что сигнал может быть легче обнаружен.

Определение

Индекс дискриминируемости — это разделение между средними значениями двух распределений (обычно сигнального и шумового) в единицах стандартного отклонения.

Равные дисперсии/ковариации

Для двух одномерных распределений с одинаковым стандартным отклонением это обозначается как («dee-prime»): ${\displaystyle a}$ ${\displaystyle b}$ ${\displaystyle d'}$

${\displaystyle d'={\frac {\left\vert \mu _{a}-\mu _{b}\right\vert }{\sigma }}}$.

В более высоких измерениях, т.е. с двумя многомерными распределениями с одинаковой матрицей дисперсии-ковариации (чьей симметричной квадратной корней, матрицей стандартного отклонения, является ), это обобщается до расстояния Махаланобиса между двумя распределениями: ${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle \mathbf {S} }$

${\displaystyle d'={\sqrt {({\boldsymbol {\mu }}_{a}-{\boldsymbol {\mu }}_{b})'\mathbf {\Sigma } ^{-1}({\boldsymbol {\mu }}_{a}-{\boldsymbol {\mu }}_{b})}}=\lVert \mathbf {S} ^{-1}({\boldsymbol {\mu }}_{a}-{\boldsymbol {\mu }}_{b})\rVert =\lVert {\boldsymbol {\mu }}_{a}-{\boldsymbol {\mu }}_{b}\rVert /\sigma _{\boldsymbol {\mu }}}$,

где - это 1-мерный срез sd вдоль единичного вектора через средние значения, т.е. равняется 1-мерному срезу через средние значения. ^[1] ${\displaystyle \sigma _{\boldsymbol {\mu }}=1/\lVert \mathbf {S} ^{-1}{\boldsymbol {\mu }}\rVert }$ ${\displaystyle {\boldsymbol {\mu }}}$ ${\displaystyle d'}$ ${\displaystyle d'}$

Для двух двумерных распределений с одинаковой дисперсией-ковариацией это определяется по формуле:

${\displaystyle {d'}^{2}={\frac {1}{1-\rho ^{2}}}\left({d'}_{x}^{2}+{d'}_{y}^{2}-2\rho {d'}_{x}{d'}_{y}\right)}$,

где - коэффициент корреляции, а здесь и , т.е. включая знаки средних разностей вместо абсолютных. ^[1] ${\displaystyle \rho }$ ${\displaystyle d'_{x}={\frac {{\mu _{b}}_{x}-{\mu _{a}}_{x}}{\sigma _{x}}}}$ ${\displaystyle d'_{y}={\frac {{\mu _{b}}_{y}-{\mu _{a}}_{y}}{\sigma _{y}}}}$

${\displaystyle d'}$также оценивается как . ^{[2] : 8} ${\displaystyle Z({\text{hit rate}})-Z({\text{false alarm rate}})}$

Неравные дисперсии/ковариации

Когда два распределения имеют разные стандартные отклонения (или, в общих чертах, разные ковариационные матрицы), существует несколько конкурирующих индексов, все из которых сводятся к для равной дисперсии/ковариации. ${\displaystyle d'}$

Индекс байесовского дискриминанта

Это максимальный (оптимальный по Байесу) индекс дискриминируемости для двух распределений, основанный на величине их перекрытия, т.е. оптимальная (байесовская) ошибка классификации идеальным наблюдателем, или ее дополнение — оптимальная точность : ${\displaystyle e_{b}}$ ${\displaystyle a_{b}}$

${\displaystyle d'_{b}=-2Z\left({\text{Bayes error rate }}e_{b}\right)=2Z\left({\text{best accuracy rate }}a_{b}\right)}$, ^[1]

где — обратная кумулятивная функция распределения стандартного нормального. Байесовская дискриминантность между одномерными и многомерными нормальными распределениями может быть вычислена численно ^[1] (код Matlab), а также может использоваться в качестве приближения, когда распределения близки к нормальному. ${\displaystyle Z}$

${\displaystyle d'_{b}}$является положительно-определенной статистической мерой расстояния, которая свободна от предположений о распределениях, таких как расхождение Кульбака-Лейблера . является асимметричной, тогда как является симметричной для двух распределений. Однако не удовлетворяет неравенству треугольника, поэтому она не является полной метрикой. ^[1] ${\displaystyle D_{\text{KL}}}$ ${\displaystyle D_{\text{KL}}(a,b)}$ ${\displaystyle d'_{b}(a,b)}$ ${\displaystyle d'_{b}}$

В частности, для задачи «да/нет» между двумя одномерными нормальными распределениями со средними значениями и дисперсиями оптимальная по Байесу точность классификации составляет: ^[1] ${\displaystyle \mu _{a},\mu _{b}}$ ${\displaystyle v_{a}>v_{b}}$

${\displaystyle p(A|a)=p({\chi '}_{1,v_{a}\lambda }^{2}>v_{b}c),\;\;p(B|b)=p({\chi '}_{1,v_{b}\lambda }^{2}<v_{a}c)}$,

где обозначает нецентральное распределение хи-квадрат , и . Байесовская дискриминируемость ${\displaystyle \chi '^{2}}$ ${\displaystyle \lambda =\left({\frac {\mu _{a}-\mu _{b}}{v_{a}-v_{b}}}\right)^{2}}$ ${\displaystyle c=\lambda +{\frac {\ln v_{a}-\ln v_{b}}{v_{a}-v_{b}}}}$ ${\displaystyle d'_{b}=2Z\left({\frac {p\left(A|a\right)+p\left(B|b\right)}{2}}\right).}$

${\displaystyle d'_{b}}$также может быть вычислен из ROC-кривой задачи «да/нет» между двумя одномерными нормальными распределениями с одним сдвиговым критерием. Его также можно высчитать из ROC-кривой любых двух распределений (в любом количестве переменных) с сдвиговым отношением правдоподобия, найдя точку на ROC-кривой, которая находится дальше всего от диагонали. ^[1]

Для двухинтервальной задачи между этими распределениями оптимальная точность равна ( обозначает обобщенное распределение хи-квадрат ), где . ^[1] Байесовская дискриминируемость . ${\displaystyle a_{b}=p\left({\tilde {\chi }}_{{\boldsymbol {w}},{\boldsymbol {k}},{\boldsymbol {\lambda }},0,0}^{2}>0\right)}$ ${\displaystyle {\tilde {\chi }}^{2}}$ ${\displaystyle {\boldsymbol {w}}={\begin{bmatrix}\sigma _{s}^{2}&-\sigma _{n}^{2}\end{bmatrix}},\;{\boldsymbol {k}}={\begin{bmatrix}1&1\end{bmatrix}},\;{\boldsymbol {\lambda }}={\frac {\mu _{s}-\mu _{n}}{\sigma _{s}^{2}-\sigma _{n}^{2}}}{\begin{bmatrix}\sigma _{s}^{2}&\sigma _{n}^{2}\end{bmatrix}}}$ ${\displaystyle d'_{b}=2Z\left(a_{b}\right)}$

Индекс дискриминантности RMS sd

Обычный приблизительный (т.е. субоптимальный) индекс дискриминируемости, имеющий замкнутую форму, заключается в том, чтобы взять среднее значение дисперсий, т.е. среднеквадратичное отклонение двух стандартных отклонений: ^[3] (также обозначается как ). Он равен -баллу площади под кривой рабочей характеристики приемника (AUC) однокритериального наблюдателя. Этот индекс распространяется на общие измерения как расстояние Махаланобиса с использованием объединенной ковариации, т.е. с как общей матрицей sd. ^[1] ${\displaystyle d'_{a}=\left\vert \mu _{a}-\mu _{b}\right\vert /\sigma _{\text{rms}}}$ ${\displaystyle d_{a}}$ ${\displaystyle {\sqrt {2}}}$ ${\displaystyle z}$ ${\displaystyle \mathbf {S} _{\text{rms}}=\left[\left(\mathbf {\Sigma } _{a}+\mathbf {\Sigma } _{b}\right)/2\right]^{\frac {1}{2}}}$

Средний индекс дискриминантности sd

Другой индекс — это , расширенный до общих измерений с использованием в качестве общей матрицы sd. ^[1] ${\displaystyle d'_{e}=\left\vert \mu _{a}-\mu _{b}\right\vert /\sigma _{\text{avg}}}$ ${\displaystyle \mathbf {S} _{\text{avg}}=\left(\mathbf {S} _{a}+\mathbf {S} _{b}\right)/2}$

Сравнение индексов

Было показано, что для двух одномерных нормальных распределений, а для многомерных нормальных распределений, по-прежнему. ^[1] ${\displaystyle d'_{a}\leq d'_{e}\leq d'_{b}}$ ${\displaystyle d'_{a}\leq d'_{e}}$

Таким образом, и недооценивают максимальную дискриминируемость одномерных нормальных распределений. может недооценивать максимум примерно на 30%. На пределе высокой дискриминируемости для одномерных нормальных распределений сходится к . Эти результаты часто остаются верными в более высоких измерениях, но не всегда. ^[1] Симпсон и Фиттер ^[3] продвигали как лучший индекс, особенно для двухинтервальных задач, но Дас и Гейслер ^[1] показали, что является оптимальной дискриминируемостью во всех случаях и часто является лучшим замкнутым приближением, чем , даже для двухинтервальных задач. ${\displaystyle d'_{a}}$ ${\displaystyle d'_{e}}$ ${\displaystyle d'_{b}}$ ${\displaystyle d'_{a}}$ ${\displaystyle d'_{b}}$ ${\displaystyle d'_{e}}$ ${\displaystyle d'_{b}}$ ${\displaystyle d'_{a}}$ ${\displaystyle d'_{b}}$ ${\displaystyle d'_{e}}$ ${\displaystyle d'_{a}}$

Приблизительный индекс , который использует геометрическое среднее значение sd, меньше при малой дискриминируемости, но больше при большой дискриминируемости. ^[1] ${\displaystyle d'_{gm}}$ ${\displaystyle d'_{b}}$

Вклад в различимость по каждому измерению

В общем, вклад в общую дискриминируемость каждого измерения или признака может быть измерен с использованием величины, на которую дискриминируемость падает при удалении этого измерения. Если общая байесовская дискриминируемость равна , а байесовская дискриминируемость с удаленным измерением равна , мы можем определить вклад измерения как . Это то же самое, что и индивидуальная дискриминируемость измерения , когда ковариационные матрицы равны и диагональны, но в других случаях эта мера более точно отражает вклад измерения, чем его индивидуальная дискриминируемость. ^[1] ${\displaystyle d'}$ ${\displaystyle i}$ ${\displaystyle d'_{-i}}$ ${\displaystyle i}$ ${\displaystyle {\sqrt {d'^{2}-{d'_{-i}}^{2}}}}$ ${\displaystyle i}$

Масштабирование дискриминируемости двух распределений

Масштабирование дискриминируемости двух распределений путем линейной интерполяции среднего вектора и матрицы sd (квадратный корень из ковариационной матрицы) одного из них по отношению к другому. Эллипсы — это эллипсы ошибок двух распределений. Черная кривая — это квадратичная граница, разделяющая два распределения. ^[1]

Иногда мы можем захотеть масштабировать дискриминируемость двух распределений данных, перемещая их ближе или дальше друг от друга. Один из таких случаев — когда мы моделируем задачу обнаружения или классификации, и производительность модели превышает производительность субъекта или наблюдаемых данных. В этом случае мы можем переместить распределения переменных модели ближе друг к другу, чтобы они соответствовали наблюдаемой производительности, а также предсказать, какие конкретные точки данных должны начать перекрываться и быть неправильно классифицированными.

Есть несколько способов сделать это. Один из них — вычислить средний вектор и ковариационную матрицу двух распределений, а затем выполнить линейное преобразование для интерполяции среднего и матрицы sd (квадратный корень ковариационной матрицы) одного из распределений по отношению к другому. ^[1]

Другой способ заключается в вычислении переменных решения точек данных (логарифмическое отношение правдоподобия того, что точка принадлежит одному распределению по сравнению с другим) в рамках мультинормальной модели, а затем перемещение этих переменных решения ближе друг к другу или дальше друг от друга. ^[1]

Смотрите также

• Эксплуатационная характеристика приемника (ROC)
• Сводная статистика
• Размер эффекта

Ссылки

1. Дас, Абхранил; Уилсон С. Гейслер (2020). «Методы интеграции мультинормалей и вычисления мер классификации». arXiv : 2012.14331 [stat.ML].
2. MacMillan, N.; Creelman, C. (2005). Теория обнаружения: Руководство пользователя. Lawrence Erlbaum Associates. ISBN 9781410611147.
3. Simpson, AJ; Fitter, MJ (1973). «Каков наилучший индекс обнаруживаемости?». Psychological Bulletin . 80 (6): 481–488. doi :10.1037/h0035203.

• Викенс, Томас Д. (2001). Элементарная теория обнаружения сигнала. OUP USA. гл. 2, стр. 20. ISBN 0-19-509250-3.

Внешние ссылки

• Интерактивное руководство по теории обнаружения сигналов, включая расчет d ′.