Идентифицируемость

Статистическое свойство, которому должна удовлетворять модель, чтобы сделать точный вывод.

В статистике идентифицируемость — это свойство, которому должна удовлетворять модель для того, чтобы был возможен точный вывод . Модель идентифицируема, если теоретически возможно узнать истинные значения базовых параметров этой модели после получения бесконечного числа наблюдений из нее. Математически это эквивалентно утверждению, что различные значения параметров должны генерировать различные распределения вероятностей наблюдаемых переменных. Обычно модель идентифицируема только при определенных технических ограничениях, и в этом случае набор этих требований называется условиями идентификации .

Модель, которая не может быть идентифицирована, называется неидентифицируемой или неидентифицируемой : две или более параметризации эквивалентны с точки зрения наблюдения . В некоторых случаях, даже если модель неидентифицируема, все равно можно узнать истинные значения определенного подмножества параметров модели. В этом случае мы говорим, что модель частично идентифицируема . В других случаях может быть возможно узнать местоположение истинного параметра вплоть до определенной конечной области пространства параметров, и в этом случае модель устанавливается идентифицируемой .

Помимо строго теоретического исследования свойств модели, идентифицируемость может рассматриваться в более широком смысле, когда модель тестируется с помощью экспериментальных наборов данных, используя анализ идентифицируемости . ^[1]

Определение

Пусть будет статистической моделью с пространством параметров . Мы говорим, что она идентифицируема , если отображение является однозначным : ^[2] ${\displaystyle {\mathcal {P}}=\{P_{\theta }:\theta \in \Theta \}}$ ${\displaystyle \Theta }$ ${\displaystyle {\mathcal {P}}}$ ${\displaystyle \theta \mapsto P_{\theta }}$

${\displaystyle P_{\theta _{1}}=P_{\theta _{2}}\quad \Rightarrow \quad \theta _{1}=\theta _{2}\quad \ {\text{for all }}\theta _{1},\theta _{2}\in \Theta .}$

Это определение означает, что различные значения θ должны соответствовать различным распределениям вероятностей: если θ ₁ ≠ θ ₂ , то также P _{θ 1} ≠ P _{θ 2} . ^[3] Если распределения определены в терминах функций плотности вероятности (PDF), то две PDF следует считать различными, только если они различаются на множестве ненулевой меры (например, две функции ƒ ₁ ( x ) =  1 _{0 ≤  x  < 1} и ƒ ₂ ( x ) =  1 _{0 ≤  x  ≤ 1} различаются только в одной точке x  = 1 — множестве меры нуль — и, таким образом, не могут рассматриваться как различные PDF).

Идентифицируемость модели в смысле обратимости отображения эквивалентна возможности узнать истинный параметр модели, если модель может наблюдаться бесконечно долго. Действительно, если { X _t } ⊆  S — последовательность наблюдений из модели, то по усиленному закону больших чисел , ${\displaystyle \theta \mapsto P_{\theta }}$

${\displaystyle {\frac {1}{T}}\sum _{t=1}^{T}\mathbf {1} _{\{X_{t}\in A\}}\ {\xrightarrow {\text{a.s.}}}\ \Pr[X_{t}\in A],}$

для каждого измеримого множества A  ⊆  S (здесь 1 _{...} — индикаторная функция ). Таким образом, при бесконечном числе наблюдений мы сможем найти истинное распределение вероятностей P ₀ в модели, и поскольку условие идентифицируемости выше требует, чтобы отображение было обратимым, мы также сможем найти истинное значение параметра, который сгенерировал данное распределение  P ₀ . ${\displaystyle \theta \mapsto P_{\theta }}$

Примеры

Пример 1

Пусть будет нормальным семейством масштабов местоположения : ${\displaystyle {\mathcal {P}}}$

${\displaystyle {\mathcal {P}}={\Big \{}\ f_{\theta }(x)={\tfrac {1}{{\sqrt {2\pi }}\sigma }}e^{-{\frac {1}{2\sigma ^{2}}}(x-\mu )^{2}}\ {\Big |}\ \theta =(\mu ,\sigma ):\mu \in \mathbb {R} ,\,\sigma \!>0\ {\Big \}}.}$

Затем

${\displaystyle {\begin{aligned}&f_{\theta _{1}}(x)=f_{\theta _{2}}(x)\\[6pt]\Longleftrightarrow {}&{\frac {1}{{\sqrt {2\pi }}\sigma _{1}}}\exp \left(-{\frac {1}{2\sigma _{1}^{2}}}(x-\mu _{1})^{2}\right)={\frac {1}{{\sqrt {2\pi }}\sigma _{2}}}\exp \left(-{\frac {1}{2\sigma _{2}^{2}}}(x-\mu _{2})^{2}\right)\\[6pt]\Longleftrightarrow {}&{\frac {1}{\sigma _{1}^{2}}}(x-\mu _{1})^{2}+\ln \sigma _{1}={\frac {1}{\sigma _{2}^{2}}}(x-\mu _{2})^{2}+\ln \sigma _{2}\\[6pt]\Longleftrightarrow {}&x^{2}\left({\frac {1}{\sigma _{1}^{2}}}-{\frac {1}{\sigma _{2}^{2}}}\right)-2x\left({\frac {\mu _{1}}{\sigma _{1}^{2}}}-{\frac {\mu _{2}}{\sigma _{2}^{2}}}\right)+\left({\frac {\mu _{1}^{2}}{\sigma _{1}^{2}}}-{\frac {\mu _{2}^{2}}{\sigma _{2}^{2}}}+\ln \sigma _{1}-\ln \sigma _{2}\right)=0\end{aligned}}}$

Это выражение равно нулю для почти всех x только тогда, когда все его коэффициенты равны нулю, что возможно только при | σ ₁ | = | σ ₂ | и μ ₁ = μ ₂ . Поскольку в параметре масштаба σ ограничено значением больше нуля, мы заключаем, что модель идентифицируема: ƒ _{θ 1}  = ƒ _{θ 2} ⇔ θ ₁  =  θ ₂ .

Пример 2

Пусть будет стандартной линейной регрессионной моделью : ${\displaystyle {\mathcal {P}}}$

${\displaystyle y=\beta 'x+\varepsilon ,\quad \mathrm {E} [\,\varepsilon \mid x\,]=0}$

(где ′ обозначает транспонирование матрицы ). Тогда параметр β идентифицируем тогда и только тогда, когда матрица обратима. Таким образом, это условие идентификации в модели. ${\displaystyle \mathrm {E} [xx']}$

Пример 3

Предположим, что это классическая линейная модель с ошибками в переменных : ${\displaystyle {\mathcal {P}}}$

${\displaystyle {\begin{cases}y=\beta x^{*}+\varepsilon ,\\x=x^{*}+\eta ,\end{cases}}}$

где ( ε , η , x* ) являются совместно нормальными независимыми случайными величинами с нулевым ожидаемым значением и неизвестными дисперсиями, и только переменные ( x , y ) наблюдаются. Тогда эта модель не идентифицируема, ^[4] только произведение βσ² _∗ является (где σ² _∗ является дисперсией латентного регрессора x* ). Это также пример модели, идентифицируемой по множеству : хотя точное значение β не может быть изучено, мы можем гарантировать, что оно должно лежать где-то в интервале ( β _yx , 1÷ β _xy ), где β _yx является коэффициентом в регрессии OLS y на x , а β _xy является коэффициентом в регрессии OLS x на y . ^[5]

Если отказаться от предположения о нормальности и потребовать, чтобы x* не были распределены нормально, сохранив только условие независимости ε  ⊥  η  ⊥  x* , то модель станет идентифицируемой. ^[4]

Смотрите также

• Системная идентификация
• Структурная идентификация
• Наблюдаемость
• Модель одновременных уравнений

Ссылки

Цитаты

1. Рауэ, А.; Крейц, К.; Майвальд, Т.; Бахманн, Дж.; Шиллинг, М.; Клингмюллер, У.; Тиммер, Дж. (2009-08-01). «Анализ структурной и практической идентифицируемости частично наблюдаемых динамических моделей путем использования правдоподобия профиля». Биоинформатика . 25 (15): 1923–1929. doi : 10.1093/bioinformatics/btp358 . PMID  19505944.
2. Леманн и Каселла 1998, Гл. 1, Определение 5.2
3. ван дер Варт 1998, стр. 62
4. Reiersøl 1950
5. Казелла и Бергер 2002, стр. 583

Источники

• Казелла, Джордж ; Бергер, Роджер Л. (2002), Статистический вывод (2-е изд.), ISBN 0-534-24312-6, LCCN  2001025794
• Сяо, Чэн (1983), Идентификация , Справочник по эконометрике, том 1, гл. 4, издательство North-Holland Publishing Company
• Леманн, Э. Л .; Каселла, Г. (1998), Теория точечной оценки (2-е изд.), Springer, ISBN 0-387-98502-6
• Рейерсол, Олав (1950), «Идентифицируемость линейной связи между переменными, подверженными ошибкам», Econometrica , 18 (4): 375–389, doi :10.2307/1907835, JSTOR  1907835
• ван дер Ваарт, AW (1998), Асимптотическая статистика , издательство Кембриджского университета , ISBN 978-0-521-49603-2

Дальнейшее чтение

• Уолтер, Э.; Пронзато, Л. (1997), Идентификация параметрических моделей по экспериментальным данным , Springer

Эконометрика

• Льюбел, Артур (01.12.2019). «Зоопарк идентификации: значения идентификации в эконометрике». Журнал экономической литературы . 57 (4). Американская экономическая ассоциация: 835–903. doi : 10.1257/jel.20181361. ISSN  0022-0515. S2CID  125792293.
• Мацкин, Роза Л. (2013). «Непараметрическая идентификация в структурных экономических моделях». Annual Review of Economics . 5 (1): 457–486. doi :10.1146/annurev-economics-082912-110231.
• Ротенберг, Томас Дж. (1971). «Идентификация в параметрических моделях». Econometrica . 39 (3): 577–591. doi :10.2307/1913267. ISSN  0012-9682. JSTOR  1913267.