Информация о Фишере

Понятие в статистике

В математической статистике информация Фишера (иногда называемая просто информацией ^[1] ) — это способ измерения количества информации , которую несет наблюдаемая случайная величина X о неизвестном параметре θ распределения, которое моделирует X. Формально это дисперсия оценки или ожидаемое значение наблюдаемой информации .

Роль информации Фишера в асимптотической теории оценки максимального правдоподобия была подчеркнута статистиком сэром Рональдом Фишером (после некоторых первоначальных результатов Фрэнсиса Исидро Эджворта ). Информационная матрица Фишера используется для расчета ковариационных матриц , связанных с оценками максимального правдоподобия . Его также можно использовать при формулировании тестовой статистики, такой как тест Вальда .

В байесовской статистике информация Фишера играет роль в получении неинформативных априорных распределений согласно правилу Джеффриса . ^[2] Это также проявляется как ковариация апостериорного распределения в большой выборке при условии, что априорное распределение достаточно гладкое (результат, известный как теорема Бернштейна-фон Мизеса , который был предсказан Лапласом для экспоненциальных семейств ). ^[3] Тот же результат используется при аппроксимации апостериорного приближения Лапласа , где информация Фишера появляется как ковариация подобранного гауссиана. ^[4]

Было показано, что статистические системы научного характера (физические, биологические и т. д.), функции правдоподобия которых подчиняются сдвиговой инвариантности, подчиняются максимальной информации Фишера. ^[5] Уровень максимума зависит от характера ограничений системы.

Определение

Информация Фишера — это способ измерения количества информации, которую несет наблюдаемая случайная величина о неизвестном параметре, от которого зависит вероятность . Позвольте быть функцией плотности вероятности (или функцией массы вероятности ) для обусловленной значением . Он описывает вероятность того, что мы наблюдаем данный результат при известном значении . Если имеет резкий пик по отношению к изменениям , легко указать на «правильное» значение из данных или, что то же самое, что данные предоставляют много информации о параметре . Если он плоский и разбросанный, то потребуется много выборок, чтобы оценить фактическое «истинное» значение, которое будет получено с использованием всей выборки генеральной совокупности. Это предполагает изучение некоторой дисперсии по отношению к . ${\displaystyle X}$ ${\displaystyle \theta }$ ${\displaystyle X}$ ${\displaystyle f(X;\theta )}$ ${\displaystyle X}$ ${\displaystyle \theta }$ ${\displaystyle X}$ ${\displaystyle \theta }$ ${\displaystyle f}$ ${\displaystyle \theta }$ ${\displaystyle \theta }$ ${\displaystyle X}$ ${\displaystyle \theta }$ ${\displaystyle f}$ ${\displaystyle X}$ ${\displaystyle \theta }$ ${\displaystyle \theta }$

Формально частная производная по натуральному логарифму функции правдоподобия называется оценкой . При определенных условиях регулярности, если является истинным параметром (т.е. фактически распределяется как ), можно показать, что ожидаемое значение (первый момент ) оценки, оцененное при истинном значении параметра , равно 0: ^[6] ${\displaystyle \theta }$ ${\displaystyle \theta }$ ${\displaystyle X}$ ${\displaystyle f(X;\theta )}$ ${\displaystyle \theta }$

${\displaystyle {\begin{aligned}\operatorname {E} \left[\left.{\frac {\partial }{\partial \theta }}\log f(X;\theta )\,\,\right|\,\,\theta \right]={}&\int _{\mathbb {R} }{\frac {{\frac {\partial }{\partial \theta }}f(x;\theta )}{f(x;\theta )}}f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}\int _{\mathbb {R} }f(x;\theta )\,dx\\[6pt]={}&{\frac {\partial }{\partial \theta }}1\\[6pt]={}&0.\end{aligned}}}$

Информация Фишера определяется как дисперсия оценки: ^[7]

${\displaystyle {\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}\,\,\right|\,\,\theta \right]=\int _{\mathbb {R} }\left({\frac {\partial }{\partial \theta }}\log f(x;\theta )\right)^{2}f(x;\theta )\,dx,}$

Обратите внимание, что . Случайная переменная, несущая высокую информацию Фишера, подразумевает, что абсолютное значение оценки часто бывает высоким. Информация Фишера не является функцией конкретного наблюдения, поскольку случайная величина X была усреднена. ${\displaystyle 0\leq {\mathcal {I}}(\theta )}$

Если log  f ( x ; θ ) дважды дифференцируем по θ и при определенных условиях регулярности, то информацию Фишера можно также записать как ^[8]

${\displaystyle {\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )\,\,\right|\,\,\theta \right],}$

с

${\displaystyle {\frac {\partial ^{2}}{\partial \theta ^{2}}}\log f(X;\theta )={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {{\frac {\partial }{\partial \theta }}f(X;\theta )}{f(X;\theta )}}\right)^{2}={\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}-\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}}$

и

${\displaystyle \operatorname {E} \left[\left.{\frac {{\frac {\partial ^{2}}{\partial \theta ^{2}}}f(X;\theta )}{f(X;\theta )}}\,\,\right|\,\,\theta \right]={\frac {\partial ^{2}}{\partial \theta ^{2}}}\int _{\mathbb {R} }f(x;\theta )\,dx=0.}$

Таким образом, информацию Фишера можно рассматривать как кривизну кривой поддержки (график логарифмического правдоподобия). Таким образом, вблизи оценки максимального правдоподобия низкая информация Фишера указывает на то, что максимум выглядит «тупым», то есть максимум неглубокий, и существует множество близлежащих значений с аналогичной логарифмической вероятностью. И наоборот, высокая информация Фишера указывает на то, что максимум резкий.

Условия регулярности

Условия регулярности таковы: ^[9]

1. Частная производная f ( X ; θ ) по θ существует почти всюду . (Он может не существовать в нулевом множестве, если этот набор не зависит от θ .)
2. Интеграл от f ( X ; θ ) можно дифференцировать под знаком интеграла по θ .
3. Носитель f ( X ; θ ) не зависит от θ .

Если θ — вектор, то условия регулярности должны выполняться для каждой компоненты θ . Легко найти пример плотности, которая не удовлетворяет условиям регулярности: плотность переменной Uniform(0, θ ) не удовлетворяет условиям 1 и 3. В этом случае, даже несмотря на то, что информация Фишера может быть вычислена из определению, он не будет обладать теми свойствами, которые обычно предполагается иметь.

С точки зрения вероятности

Поскольку вероятность θ при данном X всегда пропорциональна вероятности f ( X ; θ ), их логарифмы обязательно отличаются на константу, независимую от θ , и производные этих логарифмов по θ обязательно равны . Таким образом, можно заменить логарифмическую вероятность l ( θ ; X ) вместо log f ( X ; θ ) в определениях информации Фишера.

Образцы любого размера

Значение X может представлять собой одну выборку, взятую из одного распределения, или может представлять собой набор выборок, взятых из набора распределений. Если имеется n выборок и соответствующие n распределений статистически независимы , то информация Фишера обязательно будет суммой значений информации Фишера для одной выборки, по одному для каждой отдельной выборки из ее распределения. В частности, если n распределений независимы и одинаково распределены , то информация Фишера обязательно будет в n раз больше информации Фишера для одной выборки из общего распределения. Другими словами, информация Фишера iid наблюдений выборки размера n из совокупности равна произведению n и информации Фишера одного наблюдения из той же совокупности.

Неформальный вывод границы Крамера – Рао

Граница Крамера -Рао ^{[10] [} 11 ^] утверждает, что обратная информация Фишера является нижней границей дисперсии любой несмещенной оценки θ . Х.Л. Ван Трис (1968) и Б. Рой Фриден (2004) предлагают следующий метод получения границы Крамера-Рао , результат, который описывает использование информации Фишера.

Неформально, мы начинаем с рассмотрения несмещенной оценки . Математически «несмещенный» означает, что ${\displaystyle {\hat {\theta }}(X)}$

${\displaystyle \operatorname {E} \left[\left.{\hat {\theta }}(X)-\theta \,\,\right|\,\,\theta \right]=\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=0{\text{ regardless of the value of }}\theta .}$

Это выражение равно нулю и не зависит от θ , поэтому его частная производная по θ также должна быть равна нулю. По правилу произведения эта частная производная также равна

${\displaystyle 0={\frac {\partial }{\partial \theta }}\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=\int \left({\hat {\theta }}(x)-\theta \right){\frac {\partial f}{\partial \theta }}\,dx-\int f\,dx.}$

Для каждого θ функция правдоподобия является функцией плотности вероятности и, следовательно , . Используя цепное правило для частной производной, а затем разделив и умножив на , можно убедиться, что ${\displaystyle \int f\,dx=1}$ ${\displaystyle \log f}$ ${\displaystyle f(x;\theta )}$

${\displaystyle {\frac {\partial f}{\partial \theta }}=f\,{\frac {\partial \log f}{\partial \theta }}.}$

Используя эти два факта из вышеизложенного, мы получаем

${\displaystyle \int \left({\hat {\theta }}-\theta \right)f\,{\frac {\partial \log f}{\partial \theta }}\,dx=1.}$

Факторизация подынтегральной функции дает

${\displaystyle \int \left(\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right)\left({\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right)\,dx=1.}$

Возводя выражение в интеграл в квадрат, неравенство Коши – Шварца дает

${\displaystyle 1={\biggl (}\int \left[\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right]\cdot \left[{\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right]\,dx{\biggr )}^{2}\leq \left[\int \left({\hat {\theta }}-\theta \right)^{2}f\,dx\right]\cdot \left[\int \left({\frac {\partial \log f}{\partial \theta }}\right)^{2}f\,dx\right].}$

Второй фактор в скобках определяется как информация Фишера, а первый фактор в скобках представляет собой ожидаемую среднеквадратическую ошибку оценщика . Перестановка неравенства говорит нам, что ${\displaystyle {\hat {\theta }}}$

${\displaystyle \operatorname {Var} \left({\hat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}\left(\theta \right)}}.}$

Другими словами, точность, с которой мы можем оценить θ, фундаментально ограничена информацией Фишера функции правдоподобия.

Альтернативно, тот же вывод можно получить непосредственно из неравенства Коши–Шварца для случайных величин , , примененного к случайным величинам и , и наблюдая, что для несмещенных оценок мы имеем ${\displaystyle |\operatorname {Cov} (A,B)|^{2}\leq \operatorname {Var} (A)\operatorname {Var} (B)}$ ${\displaystyle {\hat {\theta }}(X)}$ ${\displaystyle \partial _{\theta }\log f(X;\theta )}$

$${\displaystyle \operatorname {Cov} [{\hat {\theta }}(X),\partial _{\theta }\log f(X;\theta )]=\int {\hat {\theta }}(x)\,\partial _{\theta }f(x;\theta )\,dx=\partial _{\theta }\operatorname {E} [{\hat {\theta }}]=1.}$$

Пример: однопараметрический эксперимент Бернулли.

Испытание Бернулли — это случайная величина с двумя возможными исходами, 0 и 1, причем 1 имеет вероятность θ . Результат можно рассматривать как результат подбрасывания смещенной монеты, где вероятность выпадения орла (1) равна θ , а вероятность выпадения решки (0) равна 1 − θ .

Пусть X — испытание Бернулли одной выборки из распределения. Информация Фишера, содержащаяся в X, может быть рассчитана следующим образом:

${\displaystyle {\begin{aligned}{\mathcal {I}}(\theta )&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(\theta ^{X}(1-\theta )^{1-X}\right)\right|\theta \right]\\[5pt]&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left(X\log \theta +(1-X)\log(1-\theta )\right)\,\,\right|\,\,\theta \right]\\[5pt]&=\operatorname {E} \left[\left.{\frac {X}{\theta ^{2}}}+{\frac {1-X}{(1-\theta )^{2}}}\,\,\right|\,\,\theta \right]\\[5pt]&={\frac {\theta }{\theta ^{2}}}+{\frac {1-\theta }{(1-\theta )^{2}}}\\[5pt]&={\frac {1}{\theta (1-\theta )}}.\end{aligned}}}$

Поскольку информация Фишера аддитивна, информация Фишера, содержащаяся в n независимых испытаниях Бернулли , является, следовательно,

${\displaystyle {\mathcal {I}}(\theta )={\frac {n}{\theta (1-\theta )}}.}$

Если - один из возможных исходов n независимых испытаний Бернулли и является j- м исходом i -го испытания, то вероятность определяется выражением: ${\displaystyle x_{i}}$ ${\displaystyle 2^{n}}$ ${\displaystyle x_{ij}}$ ${\displaystyle x_{i}}$

${\displaystyle p(x_{i},\theta )=\prod _{j=0}^{n}\theta ^{x_{ij}}(1-\theta )^{x_{ij}}}$

Среднее значение i -го испытания равно. Ожидаемое значение среднего значения испытания равно: ${\displaystyle \mu _{i}=(1/n)\sum _{j=1}^{n}x_{ij}}$

${\displaystyle E(\mu )=\sum _{x_{i}}\mu _{i}\,p(x_{i},\theta )=\theta }$

где сумма рассчитана по всем возможным результатам испытания. Ожидаемое значение квадрата средних равно: ${\displaystyle 2^{n}}$

${\displaystyle E(\mu ^{2})=\sum _{x_{i}}\mu _{i}^{2}\,p(x_{i},\theta )=(1+2\theta )\theta /3}$

поэтому дисперсия среднего значения равна:

${\displaystyle E(\mu ^{2})-E(\mu )^{2}=(1/n)\theta (1-\theta )}$

Видно, что информация Фишера обратна дисперсии среднего числа успехов в n испытаниях Бернулли . В целом это правда. В этом случае граница Крамера–Рао представляет собой равенство.

Матричная форма

Когда имеется N параметров, так что θ представляет собой вектор размера N × 1 , тогда информация Фишера принимает форму матрицы N × N. Эта матрица называется информационной матрицей Фишера (FIM) и имеет типичный элемент ${\displaystyle \theta ={\begin{bmatrix}\theta _{1}&\theta _{2}&\dots &\theta _{N}\end{bmatrix}}^{\textsf {T}},}$

${\displaystyle {\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta _{i}}}\log f(X;\theta )\right)\left({\frac {\partial }{\partial \theta _{j}}}\log f(X;\theta )\right)\,\,\right|\,\,\theta \right].}$

FIM представляет собой положительно -полуопределенную матрицу размера N × N. Если он положительно определен, то он определяет риманову метрику в N - мерном пространстве параметров . Геометрия информации темы использует это для соединения информации Фишера с дифференциальной геометрией , и в этом контексте эта метрика известна как метрика информации Фишера .

При определенных условиях регулярности информационная матрица Фишера также может быть записана как

${\displaystyle {\bigl [}{\mathcal {I}}(\theta ){\bigr ]}_{i,j}=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta _{i}\,\partial \theta _{j}}}\log f(X;\theta )\,\,\right|\,\,\theta \right]\,.}$

Результат интересен по нескольким причинам:

• Его можно вывести как гессиан относительной энтропии .
• Ее можно использовать как риманову метрику для определения геометрии Фишера-Рао, когда она положительно определена. ^[12]
• Ее можно понимать как метрику, полученную из евклидовой метрики после соответствующей замены переменной.
• В комплексной форме это метрика Фубини–Студи .
• Это ключевая часть доказательства теоремы Уилкса , которая позволяет оценить доверительную область для оценки максимального правдоподобия (для тех условий, к которым она применима) без необходимости использования Принципа правдоподобия .
• В тех случаях, когда аналитические расчеты FIM, описанные выше, сложны, можно сформировать среднее из простых оценок Монте-Карло гессиана отрицательной логарифмической функции правдоподобия как оценки FIM. ^{[13] [14] [15]} Оценки могут быть основаны на значениях отрицательной логарифмической функции правдоподобия или градиенте отрицательной логарифмической функции правдоподобия; аналитический расчет гессиана отрицательной логарифмической функции правдоподобия не требуется.

Информационные ортогональные параметры

Мы говорим, что два вектора компонентов параметров θ ₁ и θ ₂ являются информационными ортогональными, если информационная матрица Фишера является блочно-диагональной, причем эти компоненты находятся в отдельных блоках. ^[16] С ортогональными параметрами легко иметь дело в том смысле, что их оценки максимального правдоподобия асимптотически некоррелированы. При рассмотрении того, как анализировать статистическую модель, разработчику модели рекомендуется потратить некоторое время на поиск ортогональной параметризации модели, особенно когда интересующий параметр является одномерным, но мешающий параметр может иметь любую размерность. ^[17]

Сингулярная статистическая модель

Если информационная матрица Фишера положительно определена для всех θ , то соответствующая статистическая модель называется регулярной ; в противном случае статистическая модель называется сингулярной . ^[18] Примеры сингулярных статистических моделей включают следующее: нормальные смеси, биномиальные смеси, полиномиальные смеси, байесовские сети, нейронные сети, радиальные базисные функции, скрытые модели Маркова, стохастические бесконтекстные грамматики, регрессии пониженного ранга, машины Больцмана.

В машинном обучении , если статистическая модель разработана так, что она извлекает скрытую структуру из случайного явления, то она естественным образом становится сингулярной. ^[19]

Многомерное нормальное распределение

FIM для N -мерного многомерного нормального распределения имеет специальную форму. Пусть K -мерный вектор параметров равен , а вектор случайных нормальных величин равен . Предположим, что средние значения этих случайных величин равны , и пусть будет ковариационная матрица . Тогда для , ( m , n ) запись FIM: ^[20] ${\displaystyle \,X\sim N\left(\mu (\theta ),\,\Sigma (\theta )\right)}$ ${\displaystyle \theta ={\begin{bmatrix}\theta _{1}&\dots &\theta _{K}\end{bmatrix}}^{\textsf {T}}}$ ${\displaystyle X={\begin{bmatrix}X_{1}&\dots &X_{N}\end{bmatrix}}^{\textsf {T}}}$ ${\displaystyle \,\mu (\theta )={\begin{bmatrix}\mu _{1}(\theta )&\dots &\mu _{N}(\theta )\end{bmatrix}}^{\textsf {T}}}$ ${\displaystyle \,\Sigma (\theta )}$ ${\displaystyle 1\leq m,\,n\leq K}$

${\displaystyle {\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}+{\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right),}$

где обозначает транспонирование вектора, обозначает след квадратной матрицы и: ${\displaystyle (\cdot )^{\textsf {T}}}$ ${\displaystyle \operatorname {tr} (\cdot )}$

${\displaystyle {\begin{aligned}{\frac {\partial \mu }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \mu _{1}}{\partial \theta _{m}}}&{\dfrac {\partial \mu _{2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \mu _{N}}{\partial \theta _{m}}}\end{bmatrix}}^{\textsf {T}};\\[8pt]{\dfrac {\partial \Sigma }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\[5pt]{\dfrac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{bmatrix}}.\end{aligned}}}$

Обратите внимание, что особым, но очень распространенным случаем является случай, когда , является константой. Затем ${\displaystyle \Sigma (\theta )=\Sigma }$

${\displaystyle {\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}.\ }$

В этом случае информационную матрицу Фишера можно отождествить с матрицей коэффициентов нормальных уравнений теории оценивания наименьших квадратов .

Другой особый случай возникает, когда среднее значение и ковариация зависят от двух разных векторных параметров, скажем, β и θ . Это особенно популярно при анализе пространственных данных, где часто используется линейная модель с коррелированными остатками. В этом случае ^[21]

${\displaystyle {\mathcal {I}}(\beta ,\theta )=\operatorname {diag} \left({\mathcal {I}}(\beta ),{\mathcal {I}}(\theta )\right)}$

где

${\displaystyle {\begin{aligned}{\mathcal {I}}{(\beta )_{m,n}}&={\frac {\partial \mu ^{\textsf {T}}}{\partial \beta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \beta _{n}}},\\[5pt]{\mathcal {I}}{(\theta )_{m,n}}&={\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}{\Sigma ^{-1}}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right)\end{aligned}}}$

Характеристики

Правило цепи

Подобно энтропии или взаимной информации , информация Фишера также обладает разложением по цепному правилу . В частности, если X и Y являются совместно распределенными случайными величинами, из этого следует, что: ^[22]

${\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y\mid X}(\theta ),}$

где и — информация Фишера Y относительно вычисленной относительно условной плотности Y при заданном конкретном значении  X  =  x . ${\displaystyle {\mathcal {I}}_{Y\mid X}(\theta )=\operatorname {E} _{X}\left[{\mathcal {I}}_{Y\mid X=x}(\theta )\right]}$ ${\displaystyle {\mathcal {I}}_{Y\mid X=x}(\theta )}$ ${\displaystyle \theta }$

В частном случае, если две случайные величины независимы , информация, полученная от двух случайных величин, представляет собой сумму информации от каждой случайной величины в отдельности:

${\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta ).}$

Следовательно, информация в случайной выборке из n независимых и одинаково распределенных наблюдений в n раз превышает информацию в выборке размером 1.

F-дивергенция

Учитывая выпуклую функцию , которая конечна для всех , и , (которая может быть бесконечной), она определяет f-дивергенцию . Тогда если строго выпукла при , то локально при информационная матрица Фишера является метрикой в ​​том смысле, что ^[23] ${\displaystyle f:[0,\infty )\to (-\infty ,\infty ]}$ ${\displaystyle f(x)}$ ${\displaystyle x>0}$ ${\displaystyle f(1)=0}$ ${\displaystyle f(0)=\lim _{t\to 0^{+}}f(t)}$ ${\displaystyle D_{f}}$ ${\displaystyle f}$ ${\displaystyle 1}$ ${\displaystyle \theta \in \Theta }$

$${\displaystyle (\delta \theta )^{T}I(\theta )(\delta \theta )={\frac {1}{f''(1)}}D_{f}(P_{\theta +\delta \theta }\parallel P_{\theta })}$$

${\displaystyle P_{\theta }}$ ${\displaystyle \theta }$ ${\displaystyle f(x;\theta )}$

В этой форме ясно, что информационная матрица Фишера является римановой метрикой и правильно меняется при замене переменных. (см. раздел Репараметризация.)

Достаточная статистика

Информация, предоставляемая достаточной статистикой , такая же, как и в выборке X. В этом можно убедиться, используя критерий факторизации Неймана для получения достаточной статистики. Если T ( X ) достаточно для θ , то

${\displaystyle f(X;\theta )=g(T(X),\theta )h(X)}$

для некоторых функций g и h . Независимость h ( X ) от θ подразумевает

${\displaystyle {\frac {\partial }{\partial \theta }}\log \left[f(X;\theta )\right]={\frac {\partial }{\partial \theta }}\log \left[g(T(X);\theta )\right],}$

и равенство информации тогда следует из определения информации Фишера. В более общем смысле, если T = t ( X ) является статистикой , то

${\displaystyle {\mathcal {I}}_{T}(\theta )\leq {\mathcal {I}}_{X}(\theta )}$

с равенством тогда и только тогда, когда T является достаточной статистикой . ^[24]

Репараметризация

Информация Фишера зависит от параметризации задачи. Если θ и η — две скалярные параметризации задачи оценивания, а θ — непрерывно дифференцируемая функция от η , то

${\displaystyle {\mathcal {I}}_{\eta }(\eta )={\mathcal {I}}_{\theta }(\theta (\eta ))\left({\frac {d\theta }{d\eta }}\right)^{2}}$

где и – информационные меры Фишера η и θ соответственно. ^[25] ${\displaystyle {\mathcal {I}}_{\eta }}$ ${\displaystyle {\mathcal {I}}_{\theta }}$

В векторном случае предположим, что и являются k -векторами, которые параметризуют задачу оценивания, и предположим, что это непрерывно дифференцируемая функция от , тогда ^[26] ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\boldsymbol {\eta }}}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\boldsymbol {\eta }}}$

${\displaystyle {\mathcal {I}}_{\boldsymbol {\eta }}({\boldsymbol {\eta }})={\boldsymbol {J}}^{\textsf {T}}{\mathcal {I}}_{\boldsymbol {\theta }}({\boldsymbol {\theta }}({\boldsymbol {\eta }})){\boldsymbol {J}}}$

где ( i , j )-й элемент матрицы якобиана k  ×  k определяется выражением ${\displaystyle {\boldsymbol {J}}}$

${\displaystyle J_{ij}={\frac {\partial \theta _{i}}{\partial \eta _{j}}},}$

и где транспонирование матрицы ${\displaystyle {\boldsymbol {J}}^{\textsf {T}}}$ ${\displaystyle {\boldsymbol {J}}.}$

В информационной геометрии это рассматривается как изменение координат на римановом многообразии , а внутренние свойства кривизны не изменяются при различных параметризациях. В общем, информационная матрица Фишера обеспечивает риманову метрику (точнее, метрику Фишера-Рао) для многообразия термодинамических состояний и может использоваться как мера информационно-геометрической сложности для классификации фазовых переходов , например скалярная кривизна термодинамического метрического тензора расходится (и только в) точке фазового перехода. ^[27]

В термодинамическом контексте информационная матрица Фишера напрямую связана со скоростью изменения соответствующих параметров порядка . ^[28] В частности, такие соотношения идентифицируют фазовые переходы второго рода через расхождения отдельных элементов информационной матрицы Фишера.

Изопериметрическое неравенство

Информационная матрица Фишера играет роль в таком неравенстве, как изопериметрическое неравенство . ^[29] Из всех вероятностных распределений с заданной энтропией то, чья информационная матрица Фишера имеет наименьший след, является распределением Гаусса. Это похоже на то, что из всех ограниченных множеств заданного объема сфера имеет наименьшую площадь поверхности.

Доказательство включает в себя взятие многомерной случайной величины с функцией плотности и добавление параметра местоположения для формирования семейства плотностей . Тогда по аналогии с формулой Минковского–Штайнера «площадь поверхности» определяется как ${\displaystyle X}$ ${\displaystyle f}$ ${\displaystyle \{f(x-\theta )\mid \theta \in \mathbb {R} ^{n}\}}$ ${\displaystyle X}$

${\displaystyle S(X)=\lim _{\varepsilon \to 0}{\frac {e^{H(X+Z_{\varepsilon })}-e^{H(X)}}{\varepsilon }}}$

где – гауссова переменная с ковариационной матрицей . Название «площадь поверхности» подходит, поскольку мощность энтропии представляет собой объем «множества эффективной поддержки» ^[30], так же как и «производная» объема набора эффективной поддержки, очень похоже на формулу Минковского-Штайнера. В оставшейся части доказательства используется неравенство степени энтропии , похожее на неравенство Брунна–Минковского . След информационной матрицы Фишера оказывается фактором . ${\displaystyle Z_{\varepsilon }}$ ${\displaystyle \varepsilon I}$ ${\displaystyle e^{H(X)}}$ ${\displaystyle S(X)}$ ${\displaystyle S(X)}$

Приложения

Оптимальный план экспериментов

Информация Фишера широко используется при оптимальном планировании эксперимента . Из-за взаимности оценочной дисперсии и информации Фишера минимизация дисперсии соответствует максимизации информации .

Когда линейная (или линеаризованная ) статистическая модель имеет несколько параметров , среднее значение оценщика параметра представляет собой вектор , а его дисперсия — матрицу . Обратная матрица отклонений называется «информационной матрицей». Поскольку дисперсия оценки вектора параметров представляет собой матрицу, проблема «минимизации дисперсии» сложна. Используя статистическую теорию , статистики сжимают информационную матрицу, используя сводную статистику с действительным значением ; Будучи вещественнозначными функциями, эти «информационные критерии» можно максимизировать.

Традиционно статистики оценивали оценки и планы, рассматривая некоторую сводную статистику ковариационной матрицы (несмещенной оценки), обычно с положительными действительными значениями (например, определитель или матричный след ). Работа с положительными действительными числами дает несколько преимуществ: если оценка одного параметра имеет положительную дисперсию, то и дисперсия, и информация Фишера являются положительными действительными числами; следовательно, они являются членами выпуклого конуса неотрицательных действительных чисел (чьи ненулевые члены имеют обратные значения в этом же конусе).

Для нескольких параметров ковариационные матрицы и информационные матрицы являются элементами выпуклого конуса неотрицательно-определенных симметричных матриц в частично упорядоченном векторном пространстве под порядком Левнера (Лёвнера). Этот конус замкнут при сложении и обращении матриц, а также при умножении положительных действительных чисел и матриц. Изложение теории матриц и порядка Лёвнера появляется у Пукельсхайма. ^[31]

Традиционными критериями оптимальности являются инварианты информационной матрицы в смысле теории инвариантов ; алгебраически традиционные критерии оптимальности являются функционалами собственных значений информационной матрицы (Фишера) (см. Оптимальный дизайн ).

Джеффрис приор в байесовской статистике

В байесовской статистике информация Фишера используется для расчета априора Джеффриса , который является стандартным неинформативным априором для параметров непрерывного распределения. ^[32]

Вычислительная нейробиология

Информация Фишера использовалась для определения границ точности нейронных кодов. В этом случае X обычно представляет собой совместные реакции многих нейронов, представляющие низкоразмерную переменную θ (например, параметр стимула). В частности, изучалась роль корреляций в шуме нейронных реакций. ^[33]

Эпидемиология

Информация Фишера использовалась для изучения того, насколько информативны различные источники данных для оценки репродуктивного числа SARS-CoV-2. ^[34]

Вывод физических законов

Информация Фишера играет центральную роль в спорном принципе, выдвинутом Фриденом в качестве основы физических законов, и это утверждение оспаривается. ^[35]

Машинное обучение

Информация Фишера используется в методах машинного обучения, таких как эластичная консолидация весов , ^[36] которая уменьшает катастрофическое забывание в искусственных нейронных сетях .

Информация Фишера может использоваться в качестве альтернативы гессиану функции потерь при обучении сети градиентного спуска второго порядка. ^[37]

Цветовая дискриминация

Используя информационную метрику Фишера , да Фонсека и др. коллеги ^[38] исследовали степень, в которой эллипсы МакАдама (эллипсы цветового распознавания) могут быть получены из функций ответа фоторецепторов сетчатки.

Связь с относительной энтропией

Информация Фишера связана с относительной энтропией . ^[39] Относительная энтропия, или расхождение Кульбака – Лейблера , между двумя распределениями , может быть записана как ${\displaystyle p}$ ${\displaystyle q}$

${\displaystyle KL(p:q)=\int p(x)\log {\frac {p(x)}{q(x)}}\,dx.}$

Теперь рассмотрим семейство вероятностных распределений, параметризованное . Тогда расхождение Кульбака – Лейблера между двумя распределениями в семействе можно записать как ${\displaystyle f(x;\theta )}$ ${\displaystyle \theta \in \Theta }$

${\displaystyle D(\theta ,\theta ')=KL(p({}\cdot {};\theta ):p({}\cdot {};\theta '))=\int f(x;\theta )\log {\frac {f(x;\theta )}{f(x;\theta ')}}\,dx.}$

Если фиксировано, то относительная энтропия между двумя распределениями одного и того же семейства минимизируется при . Для близких к можно разложить предыдущее выражение в ряд до второго порядка: ${\displaystyle \theta }$ ${\displaystyle \theta '=\theta }$ ${\displaystyle \theta '}$ ${\displaystyle \theta }$

${\displaystyle D(\theta ,\theta ')={\frac {1}{2}}(\theta '-\theta )^{\textsf {T}}\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }(\theta '-\theta )+o\left((\theta '-\theta )^{2}\right)}$

Но производную второго порядка можно записать как

${\displaystyle \left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}D(\theta ,\theta ')\right)_{\theta '=\theta }=-\int f(x;\theta )\left({\frac {\partial ^{2}}{\partial \theta '_{i}\,\partial \theta '_{j}}}\log(f(x;\theta '))\right)_{\theta '=\theta }\,dx=[{\mathcal {I}}(\theta )]_{i,j}.}$

Таким образом, информация Фишера представляет собой кривизну относительной энтропии условного распределения по отношению к его параметрам.

История

Информация Фишера обсуждалась несколькими ранними статистиками, в частности Ф. Я. Эджвортом . ^[40] Например, Сэвидж ^[41] говорит: «В ней [информация о Фишере] он [Фишер] в некоторой степени предвосхищался (Edgeworth 1908–9, особенно 502, 507–8, 662, 677–8, 82– 5 и ссылки, которые он [Эджворт] цитирует, включая Pearson and Filon 1898 [...])». Существует ряд ранних исторических источников ^[42] и ряд рецензий на эту раннюю работу. ^{[43] [44] [45]}

Смотрите также

• Эффективность (статистика)
• Наблюдаемая информация
• Информационная метрика Фишера
• Матрица формирования
• Информационная геометрия
• Джеффрис приор
• Граница Крамера-Рао
• Минимальная информация о Фишере
• Информация о квантовом Фишере

Другие меры, используемые в теории информации :

• Энтропия (теория информации)
• Расхождение Кульбака – Лейблера
• Самоинформация

Примечания

1. Леманн и Казелла, с. 115
2. Роберт, Кристиан (2007). «Неинформативные априорные распределения». Байесовский выбор (2-е изд.). Спрингер. стр. 127–141. ISBN 978-0-387-71598-8.
3. Ле Кам, Люсьен (1986). Асимптотические методы в статистической теории принятия решений . Нью-Йорк: Спрингер. стр. 618–621. ISBN 0-387-96307-3.
4. Касс, Роберт Э.; Тирни, Люк; Кадане, Джозеф Б. (1990). «Достоверность апостериорных разложений на основе метода Лапласа». В Гейссер, С.; Ходжес, Дж. С.; Пресс, С.Дж.; Зеллнер, А. (ред.). Байесовские методы и методы правдоподобия в статистике и эконометрике . Эльзевир. стр. 473–488. ISBN 0-444-88376-2.
5. Фриден и Гейтенби (2013)
6. Суба Рао. «Лекции по статистическому выводу» (PDF) .
7. Фишер (1922)
8. Леманн и Казелла, экв. (2.5.16), лемма 5.3, с.116.
9. Шервиш, Марк Дж. (1995). Теория статистики. Нью-Йорк, штат Нью-Йорк: Springer New York. п. 111. ИСБН 978-1-4612-4250-5. ОСЛК  852790658.
10. Крамер (1946)
11. Рао (1945)
12. Нильсен, Франк (2013). «Нижняя граница Крамера-Рао и информационная геометрия». Подключено к Infinity II . Тексты и чтения по математике. Том. 67. стр. 18–37. arXiv : 1301.3578 . дои : 10.1007/978-93-86279-56-9_2. ISBN 978-93-80250-51-9. S2CID  16759683.
13. Сполл, JC (2005). «Расчет Монте-Карло информационной матрицы Фишера в нестандартных настройках». Журнал вычислительной и графической статистики . 14 (4): 889–909. дои : 10.1198/106186005X78800. S2CID  16090098.
14. Сполл, Дж. К. (2008), «Улучшенные методы оценки информационной матрицы Фишера по методу Монте-Карло», Труды Американской конференции по контролю , Сиэтл, Вашингтон, 11–13 июня 2008 г., стр. 2395–2400. https://doi.org/10.1109/ACC.2008.4586850
15. Дас, С.; Сполл, Дж. К.; Ганем, Р. (2010). «Эффективное вычисление информационной матрицы Фишера по методу Монте-Карло с использованием априорной информации». Вычислительная статистика и анализ данных . 54 (2): 272–289. дои : 10.1016/j.csda.2009.09.018.
16. Барндорф-Нильсен, О.Э.; Кокс, Д.Р. (1994). Вывод и асимптотика . Чепмен и Холл. ISBN 9780412494406.
17. Кокс, Д.Р.; Рид, Н. (1987). «Ортогональность параметров и приближенный условный вывод (с обсуждением)». J. Royal Statistical Soc. Б. _ 49 : 1–39.
18. Ватанабэ, С. (2008), Аккарди, Л.; Фройденберг, В.; Ойя, М. (ред.), «Алгебраико-геометрический метод в сингулярной статистической оценке», Quantum Bio-Informatics , World Scientific : 325–336, Bibcode : 2008qbi..conf..325W, doi : 10.1142/9789812793171_0024, ISBN 978-981-279-316-4.
19. Ватанабэ, С (2013). «Широко применимый байесовский информационный критерий». Журнал исследований машинного обучения . 14 : 867–897.
20. Малаго, Луиджи; Пистоне, Джованни (2015). «Информационная геометрия гауссовского распределения с учетом стохастической оптимизации». Материалы конференции ACM 2015 года по основам генетических алгоритмов XIII . стр. 150–162. дои : 10.1145/2725494.2725510. ISBN 9781450334341. S2CID  693896.
21. Мардия, КВ; Маршалл, Р.Дж. (1984). «Оценка максимального правдоподобия моделей остаточной ковариации в пространственной регрессии». Биометрика . 71 (1): 135–46. дои : 10.1093/biomet/71.1.135.
22. Замир, Р. (1998). «Доказательство информационного неравенства Фишера с помощью аргумента обработки данных». Транзакции IEEE по теории информации . 44 (3): 1246–1250. CiteSeerX 10.1.1.49.6628 . дои : 10.1109/18.669301. 
23. Полянский, Юрий (2017). «Конспекты лекций по теории информации, глава 29, ECE563 (UIUC)» (PDF) . Конспект лекций по теории информации . Архивировано (PDF) из оригинала 24 мая 2022 г. Проверено 24 мая 2022 г.
24. Шервиш, Марк Дж. (1995). Теория статистики . Спрингер-Верлаг. п. 113.
25. Леманн и Казелла, экв. (2.5.11).
26. Леманн и Казелла, экв. (2.6.16)
27. Янке, В.; Джонстон, Д.А.; Кенна, Р. (2004). «Информационная геометрия и фазовые переходы». Физика А. 336 (1–2): 181. arXiv : cond-mat/0401092 . Бибкод : 2004PhyA..336..181J. doi :10.1016/j.physa.2004.01.023. S2CID  119085942.
28. Прокопенко, М.; Лизье, Джозеф Т.; Лизье, Дж.Т.; Обст, О.; Ван, XR (2011). «Связь информации Fisher с параметрами заказа». Физический обзор E . 84 (4): 041116. Бибкод : 2011PhRvE..84d1116P. doi : 10.1103/PhysRevE.84.041116. PMID  22181096. S2CID  18366894.
29. Коста, М.; Ковер, Т. (ноябрь 1984 г.). «О подобии энтропийного степенного неравенства и неравенства Брунна-Минковского». Транзакции IEEE по теории информации . 30 (6): 837–839. дои : 10.1109/TIT.1984.1056983. ISSN  1557-9654.
30. Обложка, Томас М. (2006). Элементы теории информации. Джой А. Томас (2-е изд.). Хобокен, Нью-Джерси: Wiley-Interscience. п. 256. ИСБН 0-471-24195-4. OCLC  59879802.
31. Пукельсхайм, Фридрих (1993). Оптимальный план экспериментов . Нью-Йорк: Уайли. ISBN 978-0-471-61971-0.
32. Бернардо, Хосе М.; Смит, Адриан FM (1994). Байесовская теория . Нью-Йорк: Джон Уайли и сыновья. ISBN 978-0-471-92416-6.
33. Эбботт, Ларри Ф.; Даян, Питер (1999). «Влияние коррелированной изменчивости на точность популяционного кода». Нейронные вычисления . 11 (1): 91–101. дои : 10.1162/089976699300016827. PMID  9950724. S2CID  2958438.
34. Параг, КВ; Доннелли, Калифорния; Заребский, А.Е. (2022). «Количественная оценка информации в зашумленных эпидемических кривых». Природа вычислительной науки . 2 (9): 584–594. дои : 10.1038/s43588-022-00313-1 . hdl : 10044/1/100205 . S2CID  248811793.
35. Стритер, РФ (2007). Утраченные дела в физике и за ее пределами . Спрингер. п. 69. ИСБН 978-3-540-36581-5.
36. Киркпатрик, Джеймс; Пашкану, Разван; Рабиновиц, Нил; Венесс, Джоэл; Дежарден, Гийом; Русу, Андрей А.; Милан, Киран; Куан, Джон; Рамальо, Тьяго (28 марта 2017 г.). «Преодоление катастрофического забывания в нейронных сетях». Труды Национальной академии наук . 114 (13): 3521–3526. arXiv : 1612.00796 . Бибкод : 2017PNAS..114.3521K. дои : 10.1073/pnas.1611835114 . ISSN  0027-8424. ПМК 5380101 . ПМИД  28292907. 
37. Мартенс, Джеймс (август 2020 г.). «Новые идеи и перспективы метода естественного градиента». Журнал исследований машинного обучения (21). arXiv : 1412.1193 .
38. да Фонсека, Мария; Саменго, Инес (1 декабря 2016 г.). «Вывод способности человека к цветовому различению из теоретико-информационного представления о расстоянии в цветовом пространстве». Нейронные вычисления . 28 (12): 2628–2655 . Проверено 10 декабря 2023 г.
39. Гурьеро и Монфор (1995), стр. 87
40. Дикарь (1976)
41. Дикарь (1976), стр. 156
42. Эджворт (сентябрь 1908 г., декабрь 1908 г.)
43. Пратт (1976)
44. Стиглер (1978, 1986, 1999)
45. Хальд (1998, 1999)

Рекомендации

• Крамер, Харальд (1946). Математические методы статистики . Принстонский математический ряд. Принстон: Издательство Принстонского университета. ISBN 0691080046.
• Эджворт, ФЮ (июнь 1908 г.). «О возможных погрешностях частотных констант». Журнал Королевского статистического общества . 71 (2): 381–397. дои : 10.2307/2339461. JSTOR  2339461.
• Эджворт, ФЮ (сентябрь 1908 г.). «О возможных погрешностях констант частоты (продолжение)». Журнал Королевского статистического общества . 71 (3): 499–512. дои : 10.2307/2339293. JSTOR  2339293.
• Эджворт, ФЮ (декабрь 1908 г.). «О возможных погрешностях констант частоты (продолжение)». Журнал Королевского статистического общества . 71 (4): 651–678. дои : 10.2307/2339378. JSTOR  2339378.
• Фишер, Р.А. (1 января 1922 г.). «О математических основах теоретической статистики». Философские труды Лондонского королевского общества, серия A. 222 (594–604): 309–368. Бибкод : 1922RSPTA.222..309F. дои : 10.1098/rsta.1922.0009 . hdl : 2440/15172 .
• Фриден, Б.Р. (2004) Наука от информации Фишера: объединение . Кембриджский университет. Нажимать. ISBN 0-521-00911-1 . 
• Фриден, Б. Рой; Гейтенби, Роберт А. (2013). «Принцип максимальной информации Фишера из аксиом Харди, примененный к статистическим системам». Физический обзор E . 88 (4): 042144. arXiv : 1405.0007 . Бибкод : 2013PhRvE..88d2144F. doi : 10.1103/PhysRevE.88.042144. ПМК  4010149 . ПМИД  24229152.
• Хальд, А. (май 1999 г.). «К истории максимального правдоподобия по отношению к обратной вероятности и методу наименьших квадратов». Статистическая наука . 14 (2): 214–222. дои : 10.1214/ss/1009212248 . JSTOR  2676741.
• Хальд, А. (1998). История математической статистики с 1750 по 1930 год . Нью-Йорк: Уайли. ISBN 978-0-471-17912-2.
• Леманн, Эль ; Казелла, Г. (1998). Теория точечной оценки (2-е изд.). Спрингер. ISBN 978-0-387-98502-2.
• Ле Кам, Люсьен (1986). Асимптотические методы в статистической теории принятия решений . Спрингер-Верлаг. ISBN 978-0-387-96307-5.
• Пратт, Джон В. (май 1976 г.). «Ф. Я. Эджворт и Р. А. Фишер об эффективности оценки максимального правдоподобия». Анналы статистики . 4 (3): 501–514. дои : 10.1214/aos/1176343457 . JSTOR  2958222.
• Рао, К. Радхакришна (1945). «Информация и достижимая точность при оценке статистических параметров». Прорывы в статистике . Серия Спрингера по статистике. Том. 37. С. 81–91. дои : 10.1007/978-1-4612-0919-5_16. ISBN 978-0-387-94037-3. S2CID  117034671. {{cite book}}: |journal=игнорируется ( помощь )
• Сэвидж, LJ (май 1976 г.). «О перечитывании Р. А. Фишера». Анналы статистики . 4 (3): 441–500. дои : 10.1214/aos/1176343456 . JSTOR  2958221.
• Шервиш, Марк Дж. (1995). Теория статистики . Нью-Йорк: Спрингер. ISBN 978-0-387-94546-0.
• Стиглер, С.М. (1986). История статистики: измерение неопределенности до 1900 года . Издательство Гарвардского университета. ISBN 978-0-674-40340-6.^{[ нужна страница ]}
• Стиглер, С.М. (1978). «Фрэнсис Исидро Эджворт, статистик» . Журнал Королевского статистического общества, серия A. 141 (3): 287–322. дои : 10.2307/2344804. JSTOR  2344804.
• Стиглер, С.М. (1999). Статистика на столе: история статистических концепций и методов . Издательство Гарвардского университета. ISBN 978-0-674-83601-3.^{[ нужна страница ]}
• Ван Трис, HL (1968). Теория обнаружения, оценки и модуляции, часть I. Нью-Йорк: Уайли. ISBN 978-0-471-09517-0.