Функция правдоподобия (часто называемая просто правдоподобием ) — это совместная вероятность (или плотность вероятности) наблюдаемых данных , рассматриваемая как функция параметров статистической модели . [1] [2] [3]
При оценке максимального правдоподобия arg max (по параметру ) функции правдоподобия служит точечной оценкой для , в то время как информация Фишера (часто аппроксимируемая матрицей Гессе правдоподобия) указывает точность оценки .
Напротив, в байесовской статистике оценки параметров получаются на основе обратной вероятности , так называемой апостериорной вероятности , которая рассчитывается с помощью правила Байеса . [4]
Функция правдоподобия, параметризованная параметром (возможно, многомерным) , обычно определяется по-разному для дискретных и непрерывных распределений вероятностей (более общее определение обсуждается ниже). Учитывая плотность вероятности или функцию массы
где – реализация случайной величины , функция правдоподобия равна
Другими словами, если рассматривать ее как функцию с фиксированным значением, это функция плотности вероятности, а если рассматривать как функцию с фиксированным, то это функция правдоподобия. В частотной парадигме обозначения часто избегают и вместо этого используют или используют для обозначения того, что оно рассматривается как фиксированная неизвестная величина, а не как случайная величина , от которой зависит.
Функция правдоподобия не определяет вероятность того, что это правда, учитывая наблюдаемую выборку . Такая интерпретация является распространенной ошибкой, имеющей потенциально катастрофические последствия (см. «Заблуждение прокурора »).
Пусть – дискретная случайная величина с функцией вероятности , зависящей от параметра . Тогда функция
рассматриваемая как функция от , является функцией правдоподобия с учетом результата случайной величины . Иногда вероятность «значения значения параметра » записывается как P ( X = x | θ ) или P ( X = x ; θ ) . Правдоподобие — это вероятность того, что конкретный результат будет наблюдаться, когда истинное значение параметра эквивалентно массе вероятности на ; это не плотность вероятности по параметру . Вероятность не следует путать с , которая является апостериорной вероятностью данных данных .
При отсутствии события (нет данных) вероятность равна 1; [ нужна цитация ] любое нетривиальное событие будет иметь меньшую вероятность.
Рассмотрим простую статистическую модель подбрасывания монеты: единственный параметр , который выражает «справедливость» монеты. Параметр — это вероятность того, что монета при броске упадет решкой вверх («H»). может принимать любое значение в диапазоне от 0,0 до 1,0. Для совершенно честной монеты .
Представьте себе, что вы дважды подбрасываете честную монету и наблюдаете, как в двух бросках выпадает две решки («ЧХ»). Если предположить, что каждый последующий подброс монеты равен iid , то вероятность наблюдения HH равна
Аналогично, вероятность того , что «HH» наблюдался, равна 0,25:
Это не то же самое, что сказать, что , вывод, который можно сделать только с помощью теоремы Байеса, зная о предельных вероятностях и .
Теперь предположим, что монета не является честной монетой, а вместо этого . Тогда вероятность того, что при двух бросках выпадет две решки, равна
Следовательно
В более общем смысле, для каждого значения мы можем вычислить соответствующую вероятность. Результат таких вычислений показан на рисунке 1. Интеграл от [0, 1] равен 1/3; вероятности не обязательно должны интегрироваться или суммироваться до единицы в пространстве параметров.
Пусть – случайная величина, следующая абсолютно непрерывному распределению вероятностей с функцией плотности (функцией ), которая зависит от параметра . Тогда функция
рассматриваемый как функция от , является функцией правдоподобия (от , учитывая результат ). Опять же, это не плотность вероятности или функция массы над , несмотря на то, что она является функцией данного наблюдения .
Использование плотности вероятности при задании функции правдоподобия выше обосновано следующим образом. Учитывая наблюдение , вероятность для интервала , где является константой, определяется выражением . Обратите внимание, что
где – функция плотности вероятности, отсюда следует, что
Первая фундаментальная теорема исчисления гласит, что
Затем
Поэтому,
В теоретико-мерной теории вероятностей функция плотности определяется как производная Радона – Никодима распределения вероятностей относительно общей доминирующей меры. [5] Функция правдоподобия — это плотность, интерпретируемая как функция параметра, а не случайной величины. [6] Таким образом, мы можем построить функцию правдоподобия для любого распределения, будь то дискретное, непрерывное, смешанное или иное. (Правдоподобия сравнимы, например, для оценки параметров, только если они являются производными Радона – Никодима по одной и той же доминирующей мере.)
В приведенном выше обсуждении вероятности дискретных случайных величин используется мера подсчета , при которой плотность вероятности любого результата равна вероятности этого результата.
Вышеизложенное можно просто расширить, чтобы можно было рассматривать распределения, которые содержат как дискретные, так и непрерывные компоненты. Предположим, что распределение состоит из ряда дискретных вероятностных масс и плотности , где сумма всех добавленных к интегралу всегда равна единице. Предполагая, что можно отличить наблюдение, соответствующее одной из дискретных вероятностных масс, от наблюдения, которое соответствует компоненту плотности, с функцией правдоподобия для наблюдения из непрерывного компонента можно обращаться способом, показанным выше. Для наблюдения дискретного компонента функция правдоподобия наблюдения дискретного компонента просто
Тот факт, что функция правдоподобия может быть определена способом, включающим несоизмеримые вклады (плотность и масса вероятности), обусловлен тем, как функция правдоподобия определяется с точностью до константы пропорциональности, где эта «константа» может меняться в зависимости от наблюдения , но не в зависимости от параметра .
В контексте оценки параметров обычно предполагается, что функция правдоподобия подчиняется определенным условиям, известным как условия регулярности. Эти условия предполагаются в различных доказательствах с использованием функций правдоподобия и требуют проверки в каждом конкретном приложении. Для оценки максимального правдоподобия существование глобального максимума функции правдоподобия имеет первостепенное значение. По теореме об экстремальных значениях достаточно, чтобы функция правдоподобия была непрерывной в компактном пространстве параметров, чтобы существовала оценка максимального правдоподобия. [7] Хотя предположение о непрерывности обычно соблюдается, предположение о компактности пространства параметров часто не выполняется, поскольку границы истинных значений параметров могут быть неизвестны. В этом случае ключевую роль играет вогнутость функции правдоподобия.
Более конкретно, если функция правдоподобия дважды непрерывно дифференцируема в k -мерном пространстве параметров, которое считается открытым связным подмножеством, то существует уникальный максимум, если матрица вторых частей
В доказательствах непротиворечивости и асимптотической нормальности оценки максимального правдоподобия делаются дополнительные предположения о плотностях вероятности, которые составляют основу конкретной функции правдоподобия. Эти условия были впервые установлены Чандой. [10] В частности, почти для всех и для всех
Вышеуказанные условия являются достаточными, но не необходимыми. То есть модель, которая не удовлетворяет этим условиям регулярности, может иметь или не иметь оценку максимального правдоподобия упомянутых выше свойств. Кроме того, в случае ненезависимых или неидентично распределенных наблюдений может потребоваться принять дополнительные свойства.
В байесовской статистике почти идентичные условия регулярности накладываются на функцию правдоподобия , чтобы доказать асимптотическую нормальность апостериорной вероятности [12] [13] и, следовательно, оправдать аппроксимацию Лапласа апостериорной вероятности в больших выборках. [14]
Отношение правдоподобия — это отношение любых двух заданных правдоподобий, которое часто записывают как:
Отношение правдоподобия занимает центральное место в правдоподобной статистике : закон правдоподобия гласит, что степень, в которой данные (считающиеся доказательствами) поддерживают одно значение параметра по сравнению с другим, измеряется отношением правдоподобия.
В частотном выводе отношение правдоподобия является основой для тестовой статистики , так называемого теста отношения правдоподобия . Согласно лемме Неймана-Пирсона , это самый мощный тест для сравнения двух простых гипотез на заданном уровне значимости . Многочисленные другие тесты можно рассматривать как тесты отношения правдоподобия или их аппроксимации. [15] Асимптотическое распределение логарифмического отношения правдоподобия, рассматриваемое как тестовая статистика, определяется теоремой Уилкса .
Отношение правдоподобия также имеет центральное значение в байесовском выводе , где оно известно как фактор Байеса и используется в правиле Байеса . Выраженное в терминах шансов правило Байеса гласит, что апостериорные шансы двух альтернатив и при данном событии являются априорными шансами, умноженными на отношение правдоподобия. В виде уравнения:
Отношение правдоподобия не используется напрямую в статистике на основе AIC. Вместо этого используется относительная вероятность моделей (см. ниже).
Поскольку фактическое значение функции правдоподобия зависит от выборки, часто удобно работать со стандартизированной мерой. Предположим, что оценка максимального правдоподобия для параметра θ равна . Относительная правдоподобность других значений θ может быть найдена путем сравнения правдоподобий этих других значений с вероятностью . Относительная вероятность θ определяется как [16] [17] [ 18] [19] [20]
Область правдоподобия — это набор всех значений θ , относительная вероятность которых больше или равна заданному порогу. В процентах область вероятности p % для θ определяется как [16] [18] [21]
Если θ является единственным действительным параметром, область вероятности p % обычно будет включать интервал реальных значений. Если область содержит интервал, то она называется интервалом правдоподобия . [16] [18] [22]
Интервалы правдоподобия и, в более общем плане, области правдоподобия используются для интервальной оценки в правдоподобной статистике: они аналогичны доверительным интервалам в частотной статистике и достоверным интервалам в байесовской статистике. Интервалы правдоподобия интерпретируются непосредственно с точки зрения относительной вероятности, а не с точки зрения вероятности покрытия (частотность) или апостериорной вероятности (байесианство).
Учитывая модель, интервалы правдоподобия можно сравнить с доверительными интервалами. Если θ является единственным действительным параметром, то при определенных условиях интервал правдоподобия 14,65% (вероятность около 1:7) для θ будет таким же, как доверительный интервал 95% (вероятность охвата 19/20). [16] [21] В несколько иной формулировке, подходящей для использования логарифмического правдоподобия (см. теорему Уилкса ), тестовая статистика в два раза превышает разницу в логарифмическом правдоподобии, а распределение вероятностей тестовой статистики примерно равно хи- квадратичное распределение со степенями свободы (df), равными разнице df между двумя моделями (следовательно, интервал правдоподобия e -2 такой же, как доверительный интервал 0,954; принимая разницу в df равной 1). [21] [22]
Во многих случаях вероятность является функцией более чем одного параметра, но интерес сосредотачивается на оценке только одного или, самое большее, нескольких из них, а остальные рассматриваются как мешающие параметры . Для устранения таких мешающих параметров было разработано несколько альтернативных подходов, чтобы вероятность можно было записать как функцию только интересующего параметра (или параметров): основными подходами являются профильная, условная и предельная правдоподобия. [23] [24] Эти подходы также полезны, когда многомерную поверхность правдоподобия необходимо свести к одному или двум интересующим параметрам, чтобы можно было построить график .
Можно уменьшить размерность, концентрируя функцию правдоподобия для подмножества параметров, выражая мешающие параметры как функции интересующих параметров и заменяя их в функции правдоподобия. [25] [26] В общем, для функции правдоподобия, зависящей от вектора параметров , который можно разделить на и где соответствие может быть определено явно, концентрация уменьшает вычислительную нагрузку исходной задачи максимизации. [27]
Например, в линейной регрессии с нормально распределенными ошибками вектор коэффициентов может быть разделен на (и, следовательно, на матрицу плана ). Максимизация по отношению к дает оптимальную функцию значения . Используя этот результат, оценку максимального правдоподобия для можно получить как
Поскольку графически процедура концентрации эквивалентна разрезанию поверхности правдоподобия по гребню значений параметра помехи, максимизирующему функцию правдоподобия, созданию изометрического профиля функции правдоподобия для заданного , результат этой процедуры также известен как профиль вероятность . [28] [29] Помимо графического изображения, профиль правдоподобия также можно использовать для расчета доверительных интервалов , которые часто имеют лучшие свойства для малой выборки, чем те, которые основаны на асимптотических стандартных ошибках , рассчитанных на основе полного правдоподобия. [30] [31]
Иногда можно найти достаточную статистику для мешающих параметров, и использование этой статистики приводит к получению вероятности, которая не зависит от мешающих параметров. [32]
Один из примеров встречается в таблицах 2×2, где условие всех четырех предельных итогов приводит к условному правдоподобию, основанному на нецентральном гипергеометрическом распределении . Эта форма обусловленности также является основой точного теста Фишера .
Иногда мы можем удалить мешающие параметры, рассматривая вероятность, основанную только на части информации в данных, например, используя набор рангов, а не числовые значения. Другой пример встречается в линейных смешанных моделях , где рассмотрение вероятности остатков только после подгонки фиксированных эффектов приводит к оценке максимального правдоподобия остатков для компонентов дисперсии.
Частичная вероятность — это адаптация полной вероятности, при которой в ней встречается только часть параметров (интересующих параметров). [33] Это ключевой компонент модели пропорциональных рисков : при использовании ограничения на функцию риска вероятность не содержит формы опасности с течением времени.
Вероятность при наличии двух или более независимых событий является произведением вероятностей каждого из отдельных событий:
Это особенно важно, когда события происходят из независимых и одинаково распределенных случайных величин , таких как независимые наблюдения или выборка с заменой . В такой ситуации функция правдоподобия превращается в произведение отдельных функций правдоподобия.
Пустое произведение имеет значение 1, что соответствует вероятности, равной 1 при отсутствии событий: перед появлением каких-либо данных вероятность всегда равна 1. Это похоже на равномерный априор в байесовской статистике, но в правдоподобной статистике это не является неправильным. раньше , потому что вероятности не интегрированы.
Логарифмическая функция правдоподобия — это логарифм функции правдоподобия, часто обозначаемый строчной буквой l или , в отличие от прописной буквы L или для правдоподобия. Поскольку логарифмы являются строго возрастающими функциями, максимизация правдоподобия эквивалентна максимизации логарифмического правдоподобия. Но для практических целей удобнее работать с логарифмической функцией правдоподобия при оценке максимального правдоподобия , в частности, поскольку наиболее распространенные распределения вероятностей — особенно экспоненциальное семейство — являются только логарифмически вогнутыми , [34] [35] и вогнутостью цели. Функция играет ключевую роль в максимизации .
Учитывая независимость каждого события, общая логарифмическая вероятность пересечения равна сумме логарифмических вероятностей отдельных событий. Это аналогично тому факту, что общая логарифмическая вероятность представляет собой сумму логарифмических вероятностей отдельных событий. Помимо математического удобства, процесс добавления логарифмического правдоподобия имеет интуитивную интерпретацию, которую часто выражают как «поддержку» данными. Когда параметры оцениваются с использованием логарифмического правдоподобия для оценки максимального правдоподобия , каждая точка данных используется путем прибавления к общему логарифмическому правдоподобию. Поскольку данные можно рассматривать как свидетельство, подтверждающее оцененные параметры, этот процесс можно интерпретировать как «дополнительную поддержку со стороны независимых доказательств », а логарифмическое правдоподобие представляет собой «вес доказательств». Интерпретируя отрицательную логарифмическую вероятность как информационное содержание или неожиданность , поддержка (логарифмическая вероятность) модели при данном событии является отрицанием неожиданности события при данной модели: модель поддерживается событием в той степени, в которой что событие неудивительно, учитывая модель.
Логарифм отношения правдоподобия равен разнице логарифмов правдоподобия:
Точно так же, как вероятность при отсутствии событий равна 1, логарифмическая правдоподобность при отсутствии событий равна 0, что соответствует значению пустой суммы: без каких-либо данных не поддерживается никакая модель.
График логарифмического правдоподобия называется опорной кривой (в одномерном случае ). [36] В многомерном случае концепция обобщается до опорной поверхности в пространстве параметров . Он имеет отношение к поддержке дистрибутива , но отличается от него .
Этот термин был придуман AWF Edwards [36] в контексте проверки статистических гипотез , т.е. «поддерживают ли данные» одну проверяемую гипотезу (или значение параметра) в большей степени, чем любую другую.
Построенная функция логарифмического правдоподобия используется при вычислении оценки ( градиент логарифмического правдоподобия) и информации Фишера (кривизна логарифмического правдоподобия). Этот график имеет прямую интерпретацию в контексте оценки максимального правдоподобия и тестов отношения правдоподобия .
Если логарифмическая функция правдоподобия является гладкой , ее градиент по отношению к параметру, известному как оценка и написанное , существует и позволяет применять дифференциальное исчисление . Основной способ максимизировать дифференцируемую функцию — найти стационарные точки (точки, в которых производная равна нулю); поскольку производная суммы — это просто сумма производных, а для производной произведения требуется правило произведения , легче вычислить стационарные точки логарифмической вероятности независимых событий, чем вероятности независимых событий.
Уравнения, определяемые стационарной точкой оценочной функции, служат оценочными уравнениями для средства оценки максимального правдоподобия.
Вторая производная, оцененная при , известная как информация Фишера , определяет кривизну поверхности правдоподобия [40] и, таким образом, указывает на точность оценки. [41]
Логарифмическое правдоподобие также особенно полезно для экспоненциальных семейств распределений, которые включают многие распространенные параметрические распределения вероятностей . Функция распределения вероятностей (и, следовательно, функция правдоподобия) для экспоненциальных семейств содержит произведения факторов, включающих возведение в степень . Логарифм такой функции представляет собой сумму произведений, которую опять же легче дифференцировать, чем исходную функцию.
Экспоненциальное семейство — это семейство, функция плотности вероятности которого имеет вид (для некоторых функций запись внутреннего продукта ):
Каждый из этих терминов имеет интерпретацию, [a] но простой переход от вероятности к правдоподобию и логарифмирование дает сумму:
Каждый из и соответствует изменению координат , поэтому в этих координатах логарифмическое правдоподобие экспоненциального семейства определяется простой формулой:
Другими словами, логарифмическое правдоподобие экспоненциального семейства является внутренним произведением натурального параметра и достаточной статистики за вычетом коэффициента нормализации ( функция логарифмического разделения ) . Так, например, оценку максимального правдоподобия можно вычислить, взяв производные достаточной статистики T и функции логарифмического распределения A .
Гамма -распределение представляет собой экспоненциальное семейство с двумя параметрами и . Функция правдоподобия
Нахождение оценки максимального правдоподобия для одного наблюдаемого значения выглядит довольно сложной задачей. С его логарифмом работать гораздо проще:
Чтобы максимизировать логарифмическое правдоподобие, мы сначала берем частную производную по :
Если имеется ряд независимых наблюдений , то совместное логарифмическое правдоподобие будет суммой отдельных логарифмических правдоподобий, а производная этой суммы будет суммой производных каждого отдельного логарифмического правдоподобия:
Чтобы завершить процедуру максимизации совместного логарифмического правдоподобия, уравнение устанавливается равным нулю и решается для :
Здесь обозначает оценку максимального правдоподобия и является выборочным средним значением наблюдений.
Термин «вероятность» используется в английском языке, по крайней мере, с позднего среднеанглийского языка . [42] Его формальное использование для обозначения конкретной функции в математической статистике было предложено Рональдом Фишером [43] в двух исследовательских статьях, опубликованных в 1921 году [44] и 1922 году. [45] В статье 1921 года было представлено то, что сегодня называется « интервал правдоподобия"; в статье 1922 года был введен термин « метод максимального правдоподобия ». Цитирую Фишер:
В 1922 году я предложил термин «правдоподобие» ввиду того, что по отношению к [параметру] он не является вероятностью и не подчиняется законам вероятности, хотя в то же время он имеет к проблеме рационального выбора среди возможных значений [параметра] отношение, подобное тому, которое вероятность имеет к проблеме предсказания событий в азартных играх. . . . Однако, хотя в отношении психологического суждения вероятность имеет некоторое сходство с вероятностью, эти два понятия совершенно различны. . . .» [46]
Понятие правдоподобия не следует путать с вероятностью, упомянутой сэром Рональдом Фишером.
Я подчеркиваю это, потому что, несмотря на то внимание, которое я всегда уделял разнице между вероятностью и правдоподобием, все еще существует тенденция рассматривать вероятность как разновидность вероятности. Таким образом, первый результат состоит в том, что существуют две разные меры рационального убеждения, подходящие для разных случаев. Зная генеральную совокупность, мы можем выразить наше неполное знание или ожидание относительно выборки в терминах вероятности; зная выборку, мы можем выразить наши неполные знания о совокупности с точки зрения вероятности. [47]
Изобретение Фишером статистического правдоподобия было реакцией на более раннюю форму рассуждения, называемую обратной вероятностью . [48] Использование им термина «вероятность» закрепило значение этого термина в математической статистике.
АВФ Эдвардс (1972) установил аксиоматическую основу для использования отношения логарифмического правдоподобия как меры относительной поддержки одной гипотезы по сравнению с другой. В этом случае опорная функция представляет собой натуральный логарифм функции правдоподобия. Оба термина используются в филогенетике , но не были приняты при общем рассмотрении темы статистических данных. [49]
Среди статистиков нет единого мнения относительно того, какой должна быть основа статистики . Для фонда были предложены четыре основные парадигмы: частотность , байесианство , правдоподобие и AIC-основание . [50] Для каждого из предложенных оснований интерпретация вероятности различна. Четыре интерпретации описаны в подразделах ниже.
Хотя в байесовском выводе можно говорить о вероятности любого утверждения или случайной величины при наличии другой случайной величины: например, о вероятности значения параметра или статистической модели (см. Предельное правдоподобие ), при заданных данных или других доказательствах, [51] ] [52] [53] [54] функция правдоподобия остается той же сущностью, с дополнительными интерпретациями (i) условной плотности данных с учетом параметра (поскольку параметр тогда является случайной величиной) и (ii) мера или количество информации, содержащееся в данных о значении параметра или даже модели. [51] [52] [53] [54] [55] Из-за введения вероятностной структуры в пространстве параметров или в наборе моделей возможно, что значение параметра или статистическая модель будут иметь большое значение правдоподобия. для данных данных, но имеют низкую вероятность , или наоборот. [53] [55] Это часто имеет место в медицинском контексте. [56] Следуя правилу Байеса , вероятность, рассматриваемая как условная плотность, может быть умножена на априорную плотность вероятности параметра, а затем нормализована, чтобы получить апостериорную плотность вероятности . [51] [52] [53] [54] [55] В более общем смысле, вероятность неизвестной величины при наличии другой неизвестной величины пропорциональна вероятности данного . [51] [52] [53] [54] [55]
В частотной статистике функция правдоподобия сама по себе является статистикой , которая суммирует одну выборку из совокупности, расчетное значение которой зависит от выбора нескольких параметров θ 1 ... θ p , где p — количество параметров в некоторых уже выбранных статистическая модель . Значение правдоподобия служит показателем качества выбора параметров, а набор параметров с максимальным правдоподобием является лучшим выбором с учетом имеющихся данных.
Конкретный расчет правдоподобия — это вероятность того, что наблюдаемая выборка будет присвоена, при условии, что выбранная модель и значения нескольких параметров θ дают точную аппроксимацию частотного распределения популяции, из которой была взята наблюдаемая выборка. С эвристической точки зрения имеет смысл, что хороший выбор параметров — это те, которые делают выборку действительно наблюдаемой с максимально возможной апостериорной вероятностью того, что произошло. Теорема Уилкса количественно определяет эвристическое правило, показывая, что разница в логарифме вероятности, генерируемой значениями параметров оценки, и логарифмом правдоподобия, генерируемого «истинными» (но неизвестными) значениями параметров совокупности, асимптотически распределена χ 2 .
Оценка максимального правдоподобия каждой независимой выборки представляет собой отдельную оценку «истинного» набора параметров, описывающего выбранную совокупность. Последовательные оценки из многих независимых выборок будут группироваться вместе с «истинным» набором значений параметров генеральной совокупности, скрытым где-то среди них. Разность логарифмов правдоподобия максимального правдоподобия и правдоподобия соседних наборов параметров можно использовать для построения доверительной области на графике, координатами которого являются параметры θ 1 ... θ p . Область окружает оценку максимального правдоподобия, и все точки (наборы параметров) в этой области отличаются по логарифмическому правдоподобию не более чем на некоторое фиксированное значение. Распределение χ 2, заданное теоремой Уилкса, преобразует различия логарифмического правдоподобия региона в «уверенность» в том, что «истинный» набор параметров популяции находится внутри. Искусство выбора фиксированной логарифмической разности правдоподобия состоит в том, чтобы сделать достоверность приемлемо высокой, сохраняя при этом приемлемо малую область (узкий диапазон оценок).
По мере того, как наблюдается больше данных, вместо того, чтобы использовать их для независимых оценок, их можно объединить с предыдущими выборками, чтобы создать единую объединенную выборку, и эту большую выборку можно использовать для новой оценки максимального правдоподобия. По мере увеличения размера объединенной выборки размер области правдоподобия с той же достоверностью уменьшается. В конце концов, либо размер доверительной области почти равен одной точке, либо была выбрана вся совокупность; в обоих случаях предполагаемый набор параметров по существу такой же, как набор параметров совокупности.
В парадигме AIC вероятность интерпретируется в контексте теории информации . [57] [58] [59]