Критерий информации Акаике

Оценка качества статистической модели

Критерий информации Акаике ( AIC ) является оценщиком ошибки прогнозирования и , следовательно, относительного качества статистических моделей для заданного набора данных. ^{[1] [2] [3]} При наличии набора моделей для данных AIC оценивает качество каждой модели относительно каждой из других моделей. Таким образом, AIC предоставляет средства для выбора модели .

AIC основан на теории информации . Когда статистическая модель используется для представления процесса, который генерирует данные, представление почти никогда не будет точным; поэтому часть информации будет потеряна при использовании модели для представления процесса. AIC оценивает относительное количество информации, теряемой данной моделью: чем меньше информации теряет модель, тем выше ее качество.

При оценке количества информации, теряемой моделью, AIC имеет дело с компромиссом между качеством соответствия модели и ее простотой. Другими словами, AIC имеет дело как с риском переобучения , так и с риском недообучения.

Критерий информации Акаике назван в честь японского статистика Хиротугу Акаике , который его сформулировал. В настоящее время он составляет основу парадигмы для основ статистики , а также широко используется для статистического вывода .

Определение

Предположим, что у нас есть статистическая модель некоторых данных. Пусть k — число оцененных параметров в модели. Пусть — максимизированное значение функции правдоподобия для модели. Тогда значение AIC модели будет следующим. ^{[4] [5]} ${\displaystyle {\hat {L}}}$

${\displaystyle \mathrm {AIC} \,=\,2k-2\ln({\hat {L}})}$

При наличии набора моделей-кандидатов для данных предпочтительная модель — модель с минимальным значением AIC. Таким образом, AIC вознаграждает за качество подгонки (оцениваемое функцией правдоподобия), но также включает штраф, который является возрастающей функцией числа оцененных параметров. Штраф препятствует переобучению , что желательно, поскольку увеличение числа параметров в модели почти всегда улучшает качество подгонки.

AIC основан на теории информации . Предположим, что данные генерируются некоторым неизвестным процессом f . Мы рассматриваем две модели-кандидата для представления f : g ₁ и g _2. Если бы мы знали f , то мы могли бы найти информацию, потерянную при использовании g ₁ для представления f, вычислив расхождение Кульбака–Лейблера , D _KL ( f ‖ g ₁ ) ; аналогично, информацию, потерянную при использовании g ₂ для представления f, можно было бы найти, вычислив D _KL ( f ‖ g ₂ ) . Затем мы, как правило, выбираем модель-кандидата, которая минимизирует потерю информации.

Мы не можем сделать точный выбор, поскольку не знаем f . Однако Акаике (1974) показал, что мы можем оценить с помощью AIC, насколько больше (или меньше) информации теряется при g ₁ , чем при g ₂ . Однако эта оценка верна только асимптотически ; если число точек данных невелико, то часто необходима некоторая коррекция (см. AICc ниже).

Обратите внимание, что AIC ничего не говорит об абсолютном качестве модели, только о качестве относительно других моделей. Таким образом, если все модели-кандидаты плохо подходят, AIC не выдаст никаких предупреждений об этом. Следовательно, после выбора модели с помощью AIC обычно хорошей практикой является проверка абсолютного качества модели. Такая проверка обычно включает проверки остатков модели (чтобы определить, кажутся ли остатки случайными) и тесты прогнозов модели. Подробнее об этой теме см. в разделе статистическая проверка модели .

Как использовать AIC на практике

Чтобы применить AIC на практике, мы начинаем с набора моделей-кандидатов, а затем находим соответствующие значения AIC моделей. Почти всегда будет потеря информации из-за использования модели-кандидата для представления «истинной модели», т. е. процесса, который сгенерировал данные. Мы хотим выбрать из числа моделей-кандидатов ту модель, которая минимизирует потерю информации. Мы не можем выбрать с уверенностью, но мы можем минимизировать предполагаемую потерю информации.

Предположим, что имеется R моделей-кандидатов. Обозначим значения AIC этих моделей как AIC ₁ , AIC ₂ , AIC ₃ , ..., AIC _R . Пусть AIC _min будет минимальным из этих значений. Тогда величину exp((AIC _min − AIC _i )/2) можно интерпретировать как пропорциональную вероятности того, что i -я модель минимизирует (оцениваемую) потерю информации. ^[6]

В качестве примера предположим, что есть три модели-кандидата, значения AIC которых равны 100, 102 и 110. Тогда вторая модель в exp((100 − 102)/2) = 0,368 раза вероятнее первой модели, чтобы минимизировать потерю информации. Аналогично, третья модель в exp((100 − 110)/2) = 0,007 раза вероятнее первой модели, чтобы минимизировать потерю информации.

В этом примере мы бы исключили третью модель из дальнейшего рассмотрения. Тогда у нас есть три варианта: (1) собрать больше данных, в надежде, что это позволит четко различать первые две модели; (2) просто сделать вывод, что данных недостаточно для поддержки выбора одной модели из первых двух; (3) взять средневзвешенное значение первых двух моделей с весами, пропорциональными 1 и 0,368 соответственно, а затем сделать статистический вывод на основе взвешенной мультимодели . ^[7]

Величина exp((AIC _min − AIC _i )/2) известна как относительное правдоподобие модели i . Она тесно связана с отношением правдоподобия, используемым в тесте отношения правдоподобия . Действительно, если все модели в наборе кандидатов имеют одинаковое количество параметров, то использование AIC на первый взгляд может показаться очень похожим на использование теста отношения правдоподобия. Однако существуют важные различия. В частности, тест отношения правдоподобия действителен только для вложенных моделей , тогда как AIC (и AICc) не имеет таких ограничений. ^{[8] [9]}

Проверка гипотез

Каждый статистический тест гипотезы может быть сформулирован как сравнение статистических моделей. Следовательно, каждый статистический тест гипотезы может быть воспроизведен с помощью AIC. Два примера кратко описаны в подразделах ниже. Подробности этих примеров и многих других примеров приведены в работах Sakamoto, Ishiguro & Kitagawa (1986, часть II) и Konishi & Kitagawa (2008, гл. 4).

Копирование студенческихт-тест

В качестве примера проверки гипотезы рассмотрим t -тест для сравнения средних значений двух нормально распределенных совокупностей. Входные данные для t -теста включают случайную выборку из каждой из двух совокупностей.

Чтобы сформулировать тест как сравнение моделей, мы строим две разные модели. Первая модель моделирует две популяции как имеющие потенциально разные средние значения и стандартные отклонения. Таким образом, функция правдоподобия для первой модели является произведением правдоподобий для двух различных нормальных распределений; поэтому она имеет четыре параметра: μ ₁ , σ ₁ , μ ₂ , σ ₂ . Для ясности функция правдоподобия выглядит следующим образом (обозначая размеры выборки как n ₁ и n ₂ ).

${\displaystyle {\mathcal {L}}(\mu _{1},\sigma _{1},\mu _{2},\sigma _{2})\,=\,}$

${\displaystyle \;\;\;\;\;\;\;\;\prod _{i=1}^{n_{1}}{\frac {1}{{\sqrt {2\pi }}\sigma _{1}}}\exp \left(-{\frac {(x_{i}-\mu _{1})^{2}}{2\sigma _{1}^{2}}}\right)\;\,{\boldsymbol {\cdot }}\,\prod _{i=n_{1}+1}^{n_{1}+n_{2}}{\frac {1}{{\sqrt {2\pi }}\sigma _{2}}}\exp \left(-{\frac {(x_{i}-\mu _{2})^{2}}{2\sigma _{2}^{2}}}\right)}$

Вторая модель моделирует две популяции как имеющие одинаковые средние значения, но потенциально разные стандартные отклонения. Таким образом, функция правдоподобия для второй модели устанавливает μ ₁ = μ ₂ в приведенном выше уравнении; поэтому у нее есть три параметра.

Затем мы максимизируем функции правдоподобия для двух моделей (на практике мы максимизируем логарифмические функции правдоподобия); после этого легко вычислить значения AIC моделей. Затем мы вычисляем относительное правдоподобие. Например, если бы вторая модель была всего в 0,01 раза более вероятной, чем первая модель, то мы бы исключили вторую модель из дальнейшего рассмотрения: поэтому мы бы пришли к выводу, что две популяции имеют разные средние значения.

T - тест предполагает, что две популяции имеют одинаковые стандартные отклонения; тест имеет тенденцию быть ненадежным, если предположение ложно и размеры двух выборок сильно различаются ( t -тест Уэлча был бы лучше). Сравнение средних значений популяций с помощью AIC, как в примере выше, имеет преимущество, поскольку не делает таких предположений.

Сравнение категориальных наборов данных

Для другого примера проверки гипотезы предположим, что у нас есть две популяции, и каждый член каждой популяции находится в одной из двух категорий — категории № 1 или категории № 2. Каждая популяция распределена биномиально . Мы хотим узнать, одинаковы ли распределения двух популяций. Нам дана случайная выборка из каждой из двух популяций.

Пусть m будет размером выборки из первой популяции. Пусть m ₁ будет числом наблюдений (в выборке) в категории № 1; таким образом, число наблюдений в категории № 2 равно m − m ₁ . Аналогично, пусть n будет размером выборки из второй популяции. Пусть n ₁ будет числом наблюдений (в выборке) в категории № 1.

Пусть p — вероятность того, что случайно выбранный член первой популяции находится в категории № 1. Следовательно, вероятность того, что случайно выбранный член первой популяции находится в категории № 2, равна 1 − p . Обратите внимание, что распределение первой популяции имеет один параметр. Пусть q — вероятность того, что случайно выбранный член второй популяции находится в категории № 1. Обратите внимание, что распределение второй популяции также имеет один параметр.

Чтобы сравнить распределения двух популяций, мы строим две разные модели. Первая модель моделирует две популяции как имеющие потенциально разные распределения. Таким образом, функция правдоподобия для первой модели является произведением правдоподобий для двух различных биномиальных распределений; поэтому она имеет два параметра: p , q . Если говорить точнее, функция правдоподобия выглядит следующим образом.

${\displaystyle {\mathcal {L}}(p,q)\,=\,{\frac {m!}{m_{1}!(m-m_{1})!}}p^{m_{1}}(1-p)^{m-m_{1}}\;\,{\boldsymbol {\cdot }}\;\;{\frac {n!}{n_{1}!(n-n_{1})!}}q^{n_{1}}(1-q)^{n-n_{1}}}$

Вторая модель моделирует две популяции как имеющие одинаковое распределение. Таким образом, функция правдоподобия для второй модели устанавливает p = q в приведенном выше уравнении; поэтому вторая модель имеет один параметр.

Затем мы максимизируем функции правдоподобия для двух моделей (на практике мы максимизируем логарифмические функции правдоподобия); после этого легко вычислить значения AIC моделей. Затем мы вычисляем относительное правдоподобие. Например, если бы вторая модель была всего в 0,01 раза более вероятной, чем первая модель, то мы бы исключили вторую модель из дальнейшего рассмотрения: поэтому мы бы пришли к выводу, что две популяции имеют разные распределения.

Основы статистики

Статистический вывод обычно рассматривается как включающий проверку гипотез и оценку . Проверка гипотез может быть выполнена с помощью AIC, как обсуждалось выше. Что касается оценки, существует два типа: точечная оценка и интервальная оценка . Точечная оценка может быть выполнена в парадигме AIC: она обеспечивается оценкой максимального правдоподобия . Интервальная оценка также может быть выполнена в парадигме AIC: она обеспечивается интервалами правдоподобия . Следовательно, статистический вывод обычно может быть выполнен в парадигме AIC.

Наиболее часто используемые парадигмы для статистического вывода — это частотный вывод и байесовский вывод . Однако AIC можно использовать для статистического вывода, не полагаясь ни на частотную парадигму, ни на байесовскую парадигму: поскольку AIC можно интерпретировать без помощи уровней значимости или байесовских априорных данных . ^[10] Другими словами, AIC можно использовать для формирования основы статистики , которая отличается как от частотного, так и от байесовского подхода. ^{[11] [12]}

Модификация для небольшого размера выборки

Если размер выборки невелик, существует значительная вероятность того, что AIC выберет модели со слишком большим количеством параметров, т.е. AIC будет переобучен. ^{[13] [14] [15]} Для решения проблемы такого потенциального переобучения был разработан AICc: AICc — это AIC с поправкой на небольшие размеры выборки.

Формула для AICc зависит от статистической модели. Предполагая, что модель одномерна , линейна по своим параметрам и имеет нормально распределенные остатки (обусловленные регрессорами), формула для AICc выглядит следующим образом. ^{[16] [17] [18] [19]}

${\displaystyle \mathrm {AICc} \,=\,\mathrm {AIC} +{\frac {2k^{2}+2k}{n-k-1}}}$

—где n обозначает размер выборки, а k обозначает количество параметров. Таким образом, AICc по сути является AIC с дополнительным штрафным членом для количества параметров. Обратите внимание, что при n → ∞ дополнительный штрафной член сходится к 0, и, таким образом, AICc сходится к AIC. ^[20]

Если предположение о том, что модель является одномерной и линейной с нормальными остатками, не выполняется, то формула для AICc, как правило, будет отличаться от формулы выше. Для некоторых моделей формулу может быть трудно определить. Однако для каждой модели, которая имеет доступ к AICc, формула для AICc задается как AIC плюс члены, которые включают как k, так и k ² . Для сравнения, формула для AIC включает k, но не k ² . Другими словами, AIC является оценкой первого порядка (потери информации), тогда как AICc является оценкой второго порядка . ^[21]

Дальнейшее обсуждение формулы с примерами других предположений дано Бернхэмом и Андерсоном (2002, гл. 7) и Кониши и Китагавой (2008, гл. 7–8). В частности, при других предположениях часто возможна оценка формулы методом бутстрапа.

Подводя итог, можно сказать, что преимущество AICc в том, что он, как правило, более точен, чем AIC (особенно для небольших выборок), но недостаток AICc в том, что иногда его гораздо сложнее вычислить, чем AIC. Обратите внимание, что если все модели-кандидаты имеют одинаковое k и одну и ту же формулу для AICc, то AICc и AIC дадут идентичные (относительные) оценки; следовательно, не будет никаких недостатков в использовании AIC вместо AICc. Кроме того, если n во много раз больше k ² , то дополнительный штрафной член будет незначительным; следовательно, недостаток в использовании AIC вместо AICc будет незначительным.

История

Хиротугу Акаике

Критерий информации Акаике был сформулирован статистиком Хиротугу Акаике . Первоначально он назывался «информационным критерием». ^[22] Впервые он был представлен на английском языке Акаике на симпозиуме 1971 года; труды симпозиума были опубликованы в 1973 году. ^{[22] [23]} Однако публикация 1973 года была лишь неформальным представлением концепций. ^[24] Первой официальной публикацией была статья Акаике 1974 года. ^[5]

Первоначальный вывод AIC основывался на некоторых сильных предположениях. Такеучи (1976) показал, что предположения можно сделать гораздо слабее. Однако работа Такеучи была на японском языке и не была широко известна за пределами Японии в течение многих лет. (Переведено в ^[25] )

AIC был первоначально предложен для линейной регрессии (только) Сугиурой (1978). Это побудило к работе Хурвича и Цая (1989) и нескольким дальнейшим работам тех же авторов, которые расширили ситуации, в которых AICc мог применяться.

Первое общее изложение информационно-теоретического подхода было в томе Бернхэма и Андерсона (2002). Он включает английскую презентацию работы Такеучи. Том привел к гораздо более широкому использованию AIC, и теперь он имеет более 64 000 ссылок в Google Scholar .

Акаике назвал свой подход «принципом максимизации энтропии», поскольку этот подход основан на концепции энтропии в теории информации . Действительно, минимизация AIC в статистической модели фактически эквивалентна максимизации энтропии в термодинамической системе; другими словами, информационно-теоретический подход в статистике по сути применяет Второй закон термодинамики . Таким образом, AIC имеет корни в работе Людвига Больцмана по энтропии . Более подробную информацию по этим вопросам см. в Akaike (1985) и Burnham & Anderson (2002, гл. 2).

Советы по использованию

Параметры подсчета

Статистическая модель должна учитывать случайные ошибки . Модель прямой линии можно формально описать как y _i  = b ₀  + b ₁ x _i  + ε _i . Здесь ε _i являются остатками от подгонки прямой линии. Если предполагается, что ε _i является iid гауссовым (с нулевым средним), то модель имеет три параметра: b ₀ , b ₁ и дисперсию гауссовых распределений. Таким образом, при вычислении значения AIC этой модели мы должны использовать k = 3. В более общем смысле, для любой модели наименьших квадратов с iid гауссовыми остатками дисперсия распределений остатков должна учитываться как один из параметров. ^[26]

В качестве другого примера рассмотрим модель авторегрессии первого порядка , определяемую как x _i  = c  + φx _{i −1}  + ε _i , где ε _i является iid гауссовым (с нулевым средним). Для этой модели есть три параметра: c , φ и дисперсия ε _i . В более общем смысле, модель авторегрессии p -го порядка имеет p + 2 параметра. (Однако, если c не оценивается из данных, а вместо этого задан заранее, то есть только p + 1 параметр.)

Преобразование данных

Значения AIC моделей-кандидатов должны быть вычислены с использованием одного и того же набора данных. Иногда, однако, нам может понадобиться сравнить модель переменной отклика y с моделью логарифма переменной отклика log( y ) . В более общем случае нам может потребоваться сравнить модель данных с моделью преобразованных данных . Ниже приведена иллюстрация того, как работать с преобразованиями данных (адаптировано из Burnham & Anderson (2002, §2.11.3): «Исследователи должны быть уверены, что все гипотезы моделируются с использованием одной и той же переменной отклика»).

Предположим, что мы хотим сравнить две модели: одну с нормальным распределением y и одну с нормальным распределением log( y ) . Мы не должны напрямую сравнивать значения AIC двух моделей. Вместо этого мы должны преобразовать нормальную кумулятивную функцию распределения , чтобы сначала взять логарифм y . Для этого нам нужно выполнить соответствующую интеграцию путем подстановки : таким образом, нам нужно умножить на производную функции (натурального) логарифма , которая равна 1/ y . Следовательно, преобразованное распределение имеет следующую функцию плотности вероятности :

${\displaystyle y\mapsto \,{\frac {1}{y}}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\,\exp \left(-{\frac {\left(\ln y-\mu \right)^{2}}{2\sigma ^{2}}}\right)}$

—которая является функцией плотности вероятности для логнормального распределения . Затем мы сравниваем значение AIC нормальной модели со значением AIC логнормальной модели.

Для неправильно заданной модели информационный критерий Такеучи (TIC) может быть более подходящим. Однако TIC часто страдает от нестабильности, вызванной ошибками оценки. ^[27]

Сравнение с другими методами выбора модели

Критическое различие между AIC и BIC (и их вариантами) заключается в асимптотическом свойстве при хорошо определенных и неправильно определенных классах моделей. ^[28] Их фундаментальные различия были хорошо изучены в задачах выбора регрессионной переменной и выбора порядка авторегрессии ^[29] . В целом, если целью является прогнозирование, предпочтительны AIC и перекрестные проверки с исключением одного. Если целью является выбор, вывод или интерпретация, предпочтительны BIC или перекрестные проверки с исключением многих. Полный обзор AIC и других популярных методов выбора модели дан Ding et al. (2018) ^[30]

Сравнение с БИК

Формула для байесовского информационного критерия (BIC) похожа на формулу для AIC, но с другим штрафом за количество параметров. В случае AIC штраф составляет 2 k , тогда как в случае BIC штраф составляет ln( n ) k .

Сравнение AIC/AICc и BIC дано Бернхэмом и Андерсоном (2002, §6.3-6.4) с последующими замечаниями Бернхэма и Андерсона (2004). Авторы показывают, что AIC/AICc можно вывести в той же байесовской структуре, что и BIC, просто используя разные априорные вероятности . Однако в байесовском выводе BIC каждая модель-кандидат имеет априорную вероятность 1/ R (где R — количество моделей-кандидатов). Кроме того, авторы представляют несколько исследований симуляции, которые предполагают, что AICc имеет тенденцию иметь практические/производительные преимущества перед BIC.

Несколько исследователей отметили, что AIC и BIC подходят для разных задач. В частности, утверждается, что BIC подходит для выбора «истинной модели» (т. е. процесса, который сгенерировал данные) из набора моделей-кандидатов, тогда как AIC не подходит. Если говорить конкретно, если «истинная модель» есть в наборе кандидатов, то BIC выберет «истинную модель» с вероятностью 1, так как n → ∞ ; напротив, когда выбор осуществляется с помощью AIC, вероятность может быть меньше 1. ^{[31] [32] [33]} Сторонники AIC утверждают, что эта проблема незначительна, поскольку «истинная модель» практически никогда не входит в набор кандидатов. Действительно, в статистике распространен афоризм, что « все модели неверны »; следовательно, «истинная модель» (т. е. реальность) не может входить в набор кандидатов.

Другое сравнение AIC и BIC дано Вризом (2012). Вриз представляет исследование симуляции, которое позволяет «истинной модели» быть в наборе кандидатов (в отличие от практически всех реальных данных). Исследование симуляции показывает, в частности, что AIC иногда выбирает гораздо лучшую модель, чем BIC, даже когда «истинная модель» находится в наборе кандидатов. Причина в том, что при конечном n BIC может иметь существенный риск выбора очень плохой модели из набора кандидатов. Эта причина может возникнуть даже тогда, когда n намного больше k ² . С AIC риск выбора очень плохой модели минимизируется.

Если «истинная модель» отсутствует в наборе кандидатов, то самое большее, на что мы можем надеяться, — это выбрать модель, которая наилучшим образом приближает «истинную модель». AIC подходит для поиска наилучшей приближающей модели при определенных предположениях. ^{[31] [32] [33]} (Эти предположения включают, в частности, то, что приближение выполняется с учетом потери информации.)

Сравнение AIC и BIC в контексте регрессии дано Янгом (2005). В регрессии AIC асимптотически оптимален для выбора модели с наименьшей среднеквадратической ошибкой , при условии, что «истинная модель» не входит в набор кандидатов. BIC не является асимптотически оптимальным при этом предположении. Ян также показывает, что скорость, с которой AIC сходится к оптимуму, является, в определенном смысле, наилучшей возможной.

Сравнение с наименьшими квадратами

Иногда каждая модель-кандидат предполагает, что остатки распределены в соответствии с независимыми идентичными нормальными распределениями (с нулевым средним). Это приводит к подгонке модели по методу наименьших квадратов .

При использовании метода наименьших квадратов оценка максимального правдоподобия для дисперсии распределений остатков модели равна

${\displaystyle {\hat {\sigma }}^{2}=\mathrm {RSS} /n}$,

где остаточная сумма квадратов равна

${\displaystyle \textstyle \mathrm {RSS} =\sum _{i=1}^{n}(y_{i}-f(x_{i};{\hat {\theta }}))^{2}}$

Тогда максимальное значение функции логарифмического правдоподобия модели равно (см. Нормальное распределение#Лог-правдоподобие ):

${\displaystyle \ln({\hat {L}})=-{\frac {n}{2}}\ln(2\pi )-{\frac {n}{2}}\ln({\hat {\sigma }}^{2})-{\frac {1}{2{\hat {\sigma }}^{2}}}\mathrm {RSS} \,=\,-{\frac {n}{2}}\ln({\hat {\sigma }}^{2})+C}$

где C — константа, не зависящая от модели и зависящая только от конкретных точек данных, т.е. она не меняется, если данные не меняются.

Это дает: ^[34]

${\displaystyle \mathrm {AIC} =2k-2\ln({\hat {L}})=2k+n\ln({\hat {\sigma }}^{2})-2C}$

Поскольку значимыми являются только различия в AIC, константу C можно игнорировать, что позволяет нам для удобства использовать следующее для сравнения моделей:

${\displaystyle \Delta \mathrm {AIC} =2k+n\ln({\hat {\sigma }}^{2})}$

Обратите внимание, что если все модели имеют одинаковое значение k , то выбор модели с минимальным AIC эквивалентен выбору модели с минимальным RSS , что является обычной целью выбора модели на основе метода наименьших квадратов.

Сравнение с перекрестной проверкой

Перекрестная проверка с исключением одного асимптотически эквивалентна AIC для обычных моделей линейной регрессии. ^[35] Асимптотическая эквивалентность AIC также справедлива для моделей со смешанными эффектами . ^[36]

Сравнение с MallowsС п

C p Маллоуза эквивалентен AIC в случае (гауссовой) линейной регрессии . ^[37]

Смотрите также

• Критерий информации об отклонении
• Критерий целенаправленной информации
• Информационный критерий Ханнана-Куинна
• Оценка максимального правдоподобия
• Принцип максимальной энтропии
• Теорема Уилкса

Примечания

1. Stoica, P.; Selen, Y. (2004), «Выбор порядка модели: обзор правил информационного критерия», IEEE Signal Processing Magazine (июль): 36–47, doi : 10.1109/MSP.2004.1311138, S2CID  17338979
2. МакЭлрит, Ричард (2016). Статистическое переосмысление: байесовский курс с примерами на R и Stan. CRC Press. стр. 189. ISBN 978-1-4822-5344-3. AIC обеспечивает удивительно простую оценку среднего отклонения за пределами выборки.
3. Тэдди, Мэтт (2019). Business Data Science: Объединение машинного обучения и экономики для оптимизации, автоматизации и ускорения бизнес-решений. Нью-Йорк: McGraw-Hill. стр. 90. ISBN 978-1-260-45277-8. AIC — это оценка отклонения OOS.
4. Бернхэм и Андерсон 2002, §2.2
5. Акаике 1974
6. Бернхэм и Андерсон 2002, §2.9.1, §6.4.5
7. Бернхэм и Андерсон 2002
8. Бернхэм и Андерсон 2002, §2.12.4
9. Мёрто 2014
10. Бернхэм и Андерсон 2002, стр. 99
11. Бандиопадхай и Форстер 2011
12. Сакамото, Исигуро и Китагава 1986 г.
13. МакКуорри и Цай 1998
14. Класкенс и Хьорт 2008, §8.3
15. Жиро 2015, §2.9.1
16. Сугиура (1978)
17. Хурвич и Цай (1989)
18. Кавано 1997
19. Бернхэм и Андерсон 2002, §2.4
20. Бернхэм и Андерсон 2004
21. Бернхэм и Андерсон 2002, §7.4
22. Findley & Parzen 1995
23. Акаике 1973
24. ДеЛиув 1992
25. Такеучи, Кей (2020), Такеучи, Кей (ред.), «О проблеме выбора модели на основе данных», Вклады в теорию математической статистики , Токио: Springer Japan, стр. 329–356, doi :10.1007/978-4-431-55239-0_12, ISBN 978-4-431-55239-0, получено 2024-02-02
26. Бернхэм и Андерсон 2002, стр. 63
27. Мацуда, Такеру; Уэхара, Масатоши; Хюваринен, Аапо (2021). «Информационные критерии для ненормализованных моделей». Журнал исследований машинного обучения . 22 (158): 1–33. ISSN  1533-7928.
28. Дин, Цзе; Тарох, Вахид; Ян, Юйхун (ноябрь 2018 г.). «Методы выбора модели: обзор». Журнал обработки сигналов IEEE . 35 (6): 16–34. arXiv : 1810.09583 . Bibcode : 2018ISPM...35f..16D. doi : 10.1109/MSP.2018.2867638. ISSN  1053-5888. S2CID  53035396.
29. Ding, J.; Tarokh, V.; Yang, Y. (июнь 2018 г.). «Соединение AIC и BIC: новый критерий авторегрессии». IEEE Transactions on Information Theory . 64 (6): 4024–4043. arXiv : 1508.02473 . doi :10.1109/TIT.2017.2717599. ISSN  1557-9654. S2CID  5189440.
30. Дин, Цзе; Тарох, Вахид; Ян, Юйхун (14.11.2018). «Методы выбора модели: обзор». Журнал обработки сигналов IEEE . 35 (6): 16–34. arXiv : 1810.09583 . Bibcode : 2018ISPM...35f..16D. doi : 10.1109/MSP.2018.2867638. S2CID  53035396. Получено 18.02.2023 .
31. Бернхэм и Андерсон 2002, §6.3-6.4
32. Vrieze 2012
33. Ахо, Дерриберри и Петерсон, 2014 г.
34. Бернхэм и Андерсон 2002, стр. 63
35. Стоун 1977
36. Фанг 2011
37. Буасбунон и др. 2014

Ссылки

• Ахо, К.; Дерриберри, Д.; Петерсон, Т. (2014), «Выбор модели для экологов: мировоззрения AIC и BIC», Экология , 95 (3): 631–636, doi :10.1890/13-1452.1, PMID  24804445.
• Акаике, Х. (1973), «Теория информации и расширение принципа максимального правдоподобия», Петров, Б.Н.; Чаки, Ф. (ред.), 2-й Международный симпозиум по теории информации, Цахкадсор, Армения, СССР, 2-8 сентября 1971 г. , Будапешт: Akadémiai Kiadó , стр. 267–281.. Переиздано в Kotz, S. ; Johnson, NL , ред. (1992), Breakthroughs in Statistics , т. I, Springer-Verlag , стр. 610–624.
• Акаике, Х. (1974), «Новый взгляд на идентификацию статистической модели», IEEE Transactions on Automatic Control , 19 (6): 716–723, Bibcode : 1974ITAC...19..716A, doi : 10.1109/TAC.1974.1100705, MR  0423716.
• Акаике, Х. (1985), «Прогнозирование и энтропия», в Аткинсон, А.С.; Файнберг, С.Е. (ред.), Праздник статистики , Springer, стр. 1–24.
• Бандиопадхай, PS; Форстер, MR, ред. (2011), Философия статистики , North-Holland Publishing.
• Буасбунон, А.; Кану, С.; Фурдринье, Д.; Страудерман, В.; Уэллс, М. Т. (2014), «Информационный критерий Акаике, C _p и оценки потерь для эллиптически симметричных распределений», Международный статистический обзор , 82 (3): 422–439, doi : 10.1111/insr.12052 , S2CID  119926327.
• Бернхэм, К. П.; Андерсон, Д. Р. (2002), Выбор модели и многомодельный вывод: практический информационно-теоретический подход (2-е изд.), Springer-Verlag.
• Бернхэм, К. П.; Андерсон, Д. Р. (2004), «Мультимодельный вывод: понимание AIC и BIC при выборе модели» (PDF) , Социологические методы и исследования , 33 : 261–304, doi : 10.1177/0049124104268644, S2CID  121861644.
• Кавано, Дж. Э. (1997), «Унификация выводов критериев информации Акаике и исправленных Акаике», Statistics & Probability Letters , 31 (2): 201–208, doi :10.1016/s0167-7152(96)00128-9.
• Клаескенс, Г.; Хьорт , Н.Л. (2008), Выбор модели и усреднение модели , Cambridge University Press. [ Примечание: AIC, определенный Клаескенсом и Хьортом, является отрицанием стандартного определения, первоначально данного Акаике и продолженного другими авторами.]
• deLeeuw, J. (1992), «Введение в теорию информации Акаике (1973) и расширение принципа максимального правдоподобия» (PDF) , в Kotz, S. ; Johnson, NL (ред.), Breakthroughs in Statistics I , Springer, стр. 599–609, архивировано из оригинала (PDF) 2016-01-08 , извлечено 2014-11-27.
• Фан, Исинь (2011), «Асимптотическая эквивалентность между перекрестными проверками и информационными критериями Акаике в моделях со смешанными эффектами» (PDF) , Журнал науки о данных , 9 : 15–21, архивировано из оригинала (PDF) 2016-03-04 , извлечено 2011-04-16.
• Финдли, Д. Ф.; Парзен, Э. (1995), «Беседа с Хиротугу Акаике», Статистическая наука , 10 : 104–117, doi : 10.1214/ss/1177010133.
• Жиро, К. (2015), Введение в многомерную статистику , CRC Press.
• Гурвич, CM; Цай, C.-L. (1989), «Регрессия и выбор модели временного ряда в малых выборках», Biometrika , 76 (2): 297–307, doi :10.1093/biomet/76.2.297.
• Кониси, С.; Китагава, Г. (2008), Информационные критерии и статистическое моделирование , Springer.
• МакКуорри, АДР; Цай, К.-Л. (1998), Регрессия и выбор модели временного ряда , World Scientific.
• Мёрто, Пенсильвания (2014), «В защиту значений P», Экология , 95 (3): 611–617, Bibcode : 2014Ecol...95..611M, doi : 10.1890/13-0590.1, PMID  24804441.
• Сакамото, Ю.; Ишигуро, М.; Китагава, Г. (1986), Статистика критерия информации Акаике , Д. Рейдель.
• Стоун, М. (1977), «Асимптотическая эквивалентность выбора модели с помощью перекрестной проверки и критерия Акаике», Журнал Королевского статистического общества, Серия B , 39 (1): 44–47, doi :10.1111/j.2517-6161.1977.tb01603.x, JSTOR  2984877.
• Сугиура, Н. (1978), «Дальнейший анализ данных с помощью информационного критерия Акаике и конечных поправок», Communications in Statistics - Theory and Methods , 7 : 13–26, doi : 10.1080/03610927808827599.
• Такеучи, К. (1976), " " [Распределение информационной статистики и критерий подгонки модели], Сури Кагаку [ Математические науки ] (на японском), 153 : 12–18, ISSN  0386-2240.
• Вризе, СИ (2012), «Выбор модели и психологическая теория: обсуждение различий между информационным критерием Акаике (AIC) и байесовским информационным критерием (BIC)», Психологические методы , 17 (2): 228–243, doi :10.1037/a0027127, PMC  3366160 , PMID  22309957.
• Янг, И. (2005), «Можно ли разделить сильные стороны AIC и BIC?», Biometrika , 92 : 937–950, doi :10.1093/biomet/92.4.937.

Дальнейшее чтение

• Акаике, Х. (21 декабря 1981 г.), «Классика цитирования этой недели» (PDF) , Текущее содержание Инженерное дело, технологии и прикладные науки , 12 (51): 42[Хиротогу Акаике комментирует, как он пришел в AIC]
• Андерсон, DR (2008), Модельный вывод в науках о жизни , Springer
• Арнольд, TW (2010), «Неинформативные параметры и выбор модели с использованием информационного критерия Акаике», Журнал управления дикой природой , 74 (6): 1175–1178, doi : 10.1111/j.1937-2817.2010.tb01236.x
• Бернхэм, КП; Андерсон, Д.Р.; Хайваерт, КП (2011), «Выбор модели AIC и многомодельный вывод в поведенческой экологии» (PDF) , Поведенческая экология и социобиология , 65 : 23–35, doi : 10.1007/s00265-010-1029-6, S2CID  3354490, заархивировано из оригинала (PDF) 2017-08-09 , извлечено 2018-05-04
• Кавано, Дж. Э.; Нит, А. А. (2019), «Информационный критерий Акаике», WIREs Computational Statistics , 11 (3): e1460, doi : 10.1002/wics.1460, S2CID  88491599
• Ing, C.-K.; Wei, C.-Z. (2005), "Выбор порядка для предсказаний с одинаковой реализацией в процессах авторегрессии", Annals of Statistics , 33 (5): 2423–2474, arXiv : math/0602326 , doi : 10.1214/009053605000000525
• Ко, В.; Хьорт, Н.Л. (2019), «Информационный критерий копулы для выбора модели с двухэтапной оценкой максимального правдоподобия», Эконометрика и статистика , 12 : 167–180, doi : 10.1016/j.ecosta.2019.01.001, hdl : 10852/74878 , S2CID  126873625
• Ларски, С. (2012), Проблема выбора модели и научный реализм (PDF) (диссертация), Лондонская школа экономики
• Pan, W. (2001), «Информационный критерий Акаике в обобщенных оценочных уравнениях», Biometrics , 57 (1): 120–125, doi :10.1111/j.0006-341X.2001.00120.x, PMID  11252586, S2CID  7862441
• Парзен, Э .; Танабэ, К.; Китагава, Г., ред. (1998), Избранные статьи Хиротугу Акаике , Springer Series in Statistics, Springer, doi : 10.1007/978-1-4612-1694-0, ISBN 978-1-4612-7248-9
• Сэфкен, Б.; Кнейб, Т.; ван Ваверен, К.-С.; Гревен, С. (2014), «Унифицированный подход к оценке условной информации Акаике в обобщенных линейных смешанных моделях», Электронный журнал статистики , 8 : 201–225, doi : 10.1214/14-EJS881