Нелинейная модель смешанных эффектов

Класс статистических моделей

Нелинейные модели со смешанными эффектами представляют собой класс статистических моделей , обобщающих линейные модели со смешанными эффектами . Как и линейные модели со смешанными эффектами, они особенно полезны в условиях, когда есть несколько измерений в одних и тех же статистических единицах или когда есть зависимости между измерениями в связанных статистических единицах. Нелинейные модели со смешанными эффектами применяются во многих областях, включая медицину , здравоохранение , фармакологию и экологию . ^{[1] [2]}

Определение

В то время как любая статистическая модель, содержащая как фиксированные, так и случайные эффекты, является примером нелинейной модели со смешанными эффектами, наиболее часто используемые модели являются членами класса нелинейных моделей со смешанными эффектами для повторных измерений ^[1]

${\displaystyle {y}_{ij}=f(\phi _{ij},{v}_{ij})+\epsilon _{ij},\quad i=1,\ldots ,M,\,j=1,\ldots ,n_{i}}$

где

• ${\displaystyle M}$количество групп/субъектов,
• ${\displaystyle n_{i}}$- количество наблюдений для й группы/субъекта, ${\displaystyle i}$
• ${\displaystyle f}$является действительной дифференцируемой функцией вектора параметров, специфичных для группы , и вектора ковариаций , ${\displaystyle \phi _{ij}}$ ${\displaystyle v_{ij}}$
• ${\displaystyle \phi _{ij}}$моделируется как линейная модель со смешанными эффектами, где — вектор фиксированных эффектов, а — вектор случайных эффектов, связанных с группой , и ${\displaystyle \phi _{ij}={\boldsymbol {A}}_{ij}\beta +{\boldsymbol {B}}_{ij}{\boldsymbol {b}}_{i},}$ ${\displaystyle \beta }$ ${\displaystyle {\boldsymbol {b}}_{i}}$ ${\displaystyle i}$
• ${\displaystyle \epsilon _{ij}}$случайная величина, описывающая аддитивный шум.

Оценка

Когда модель нелинейна только в фиксированных эффектах, а случайные эффекты являются гауссовыми, оценка максимального правдоподобия может быть сделана с использованием нелинейных методов наименьших квадратов , хотя асимптотические свойства оценщиков и тестовых статистик могут отличаться от обычной общей линейной модели . В более общих условиях существует несколько методов для выполнения оценки максимального правдоподобия или максимальной апостериорной оценки в определенных классах нелинейных моделей со смешанными эффектами — как правило, в предположении нормально распределенных случайных величин. Популярным подходом является алгоритм Линдстрема-Бейтса ^[3] , который основан на итеративной оптимизации нелинейной задачи, локальной линеаризации модели вокруг этого оптимума и последующем использовании обычных методов из линейных моделей со смешанными эффектами для выполнения оценки максимального правдоподобия. Стохастическое приближение алгоритма максимизации ожидания дает альтернативный подход для выполнения оценки максимального правдоподобия. ^[4]

Приложения

Пример: моделирование прогрессирования заболевания

Нелинейные модели со смешанными эффектами использовались для моделирования прогрессирования заболевания. ^[5] При прогрессирующем заболевании временные закономерности прогрессирования переменных результата могут следовать нелинейной временной форме, которая схожа между пациентами. Однако стадия заболевания отдельного человека может быть неизвестна или известна лишь частично из того, что можно измерить. Поэтому в модель может быть включена скрытая временная переменная, описывающая индивидуальную стадию заболевания (т. е. где пациент находится вдоль нелинейной средней кривой).

Пример: Моделирование снижения когнитивных способностей при болезни Альцгеймера

Пример моделирования прогрессирования заболевания по продольным показателям ADAS-Cog с использованием пакета progmod R. ^[5]

Болезнь Альцгеймера характеризуется прогрессирующим когнитивным ухудшением. Однако пациенты могут значительно различаться по когнитивным способностям и резервам , поэтому когнитивное тестирование в одной временной точке часто может использоваться только для грубой группировки лиц на разных стадиях заболевания . Теперь предположим, что у нас есть набор продольных когнитивных данных от лиц, каждый из которых классифицирован как имеющий либо нормальное познание (CN), либо легкое когнитивное нарушение (MCI), либо деменцию (DEM) на базовом визите (время, соответствующее измерению ). Эти продольные траектории можно смоделировать с помощью нелинейной модели смешанных эффектов, которая допускает различия в состоянии болезни на основе базовой категоризации: ${\displaystyle (y_{i1},\ldots ,y_{in_{i}})}$ ${\displaystyle i=1,\ldots ,M}$ ${\displaystyle t_{i1}=0}$ ${\displaystyle y_{i1}}$

${\displaystyle {y}_{ij}=f_{\tilde {\beta }}(t_{ij}+A_{i}^{MCI}\beta ^{MCI}+A_{i}^{DEM}\beta ^{DEM}+b_{i})+\epsilon _{ij},\quad i=1,\ldots ,M,\,j=1,\ldots ,n_{i}}$

где

• ${\displaystyle f_{\tilde {\beta }}}$это функция, которая моделирует средний временной профиль снижения когнитивных способностей, форма которого определяется параметрами , ${\displaystyle {\tilde {\beta }}}$
• ${\displaystyle t_{ij}}$представляет собой время наблюдения (например, время с момента начала исследования),
• ${\displaystyle A_{i}^{MCI}}$и являются фиктивными переменными, которые равны 1, если у человека есть MCI или деменция на исходном уровне, и 0 в противном случае, ${\displaystyle A_{i}^{DEM}}$ ${\displaystyle i}$
• ${\displaystyle \beta ^{MCI}}$и являются параметрами, которые моделируют разницу в прогрессировании заболевания в группах с легкими когнитивными нарушениями и деменцией по сравнению с когнитивно нормальными, ${\displaystyle \beta ^{DEM}}$
• ${\displaystyle b_{i}}$разница в стадии заболевания человека относительно его/ее базовой категории, и ${\displaystyle i}$
• ${\displaystyle \epsilon _{ij}}$случайная величина, описывающая аддитивный шум.

Пример такой модели с экспоненциальной средней функцией, подобранной для продольных измерений шкалы оценки болезни Альцгеймера - когнитивной подшкалы (ADAS-Cog), показан в рамке. Как показано, включение фиксированных эффектов базовой категоризации (MCI или деменция относительно нормального познания) и случайного эффекта индивидуальной непрерывной стадии заболевания выравнивает траектории когнитивного ухудшения, чтобы выявить общую модель когнитивного снижения. ${\displaystyle b_{i}}$

Пример: Анализ роста

Оценка кривой среднего роста для мальчиков из исследования роста в Беркли с деформацией и без нее. Модель деформаций подобрана как нелинейная модель со смешанными эффектами с использованием пакета pavpop R. ^[6]

Явления роста часто следуют нелинейным моделям (например, логистический рост , экспоненциальный рост и гиперболический рост ). Такие факторы, как дефицит питательных веществ, могут как напрямую влиять на измеряемый результат (например, организмы с недостатком питательных веществ в конечном итоге становятся меньше), так и, возможно, на время (например, организмы с недостатком питательных веществ растут медленнее). Если модель не учитывает различия во времени, предполагаемые кривые на уровне популяции могут сгладить более мелкие детали из-за отсутствия синхронизации между организмами. Нелинейные модели со смешанными эффектами позволяют одновременно моделировать индивидуальные различия в результатах роста и времени.

Пример: Моделирование роста человека

Модели для оценки средних кривых роста и веса человека как функции возраста и естественного изменения вокруг среднего значения используются для создания диаграмм роста . Однако рост детей может стать десинхронизированным из-за как генетических, так и экологических факторов. Например, возраст начала полового созревания и связанный с ним скачок роста могут варьироваться в течение нескольких лет между подростками. Поэтому поперечные исследования могут недооценивать величину скачка роста в пубертатном периоде, поскольку возраст не синхронизирован с биологическим развитием. Различия в биологическом развитии можно моделировать с использованием случайных эффектов , которые описывают отображение наблюдаемого возраста в скрытый биологический возраст с использованием так называемой функции деформации . Простая нелинейная модель со смешанными эффектами с этой структурой имеет вид ${\displaystyle {\boldsymbol {w}}_{i}}$ ${\displaystyle v(\cdot ,{\boldsymbol {w}}_{i})}$

${\displaystyle {y}_{ij}=f_{\beta }(v(t_{ij},{\boldsymbol {w}}_{i}))+\epsilon _{ij},\quad i=1,\ldots ,M,\,j=1,\ldots ,n_{i}}$

где

• ${\displaystyle f_{\beta }}$это функция, которая представляет собой развитие роста типичного ребенка в зависимости от возраста. Ее форма определяется параметрами , ${\displaystyle \beta }$
• ${\displaystyle t_{ij}}$возраст ребенка, соответствующий измерению роста , ${\displaystyle i}$ ${\displaystyle y_{ij}}$
• ${\displaystyle v(\cdot ,{\boldsymbol {w}}_{i})}$это функция деформации, которая отображает возраст в биологическое развитие для синхронизации. Ее форма определяется случайными эффектами , ${\displaystyle {\boldsymbol {w}}_{i}}$
• ${\displaystyle \epsilon _{ij}}$случайная величина, описывающая аддитивную вариацию (например, постоянные различия в росте между детьми и шум измерений).

Существует несколько методов и программных пакетов для подгонки таких моделей. Так называемая модель SITAR ^[7] может подгонять такие модели, используя функции деформации, которые являются аффинными преобразованиями времени (т. е. аддитивные сдвиги в биологическом возрасте и различия в скорости созревания), в то время как так называемая модель pavpop ^[6] может подгонять модели с плавно меняющимися функциями деформации. Пример последней показан в рамке.

Пример: Моделирование фармакокинетики/фармакодинамики популяции

Основные фармакокинетические процессы, влияющие на судьбу принимаемых веществ. Нелинейное моделирование смешанных эффектов может использоваться для оценки эффектов этих процессов на уровне популяции, а также для моделирования индивидуальных различий между субъектами.

Модели ФК/ФД для описания взаимосвязей «воздействие-реакция» , такие как модель Emax, можно сформулировать как нелинейные модели смешанных эффектов. ^[8] Подход смешанных моделей позволяет моделировать как популяционные, так и индивидуальные различия в эффектах, которые оказывают нелинейное влияние на наблюдаемые результаты, например, скорость, с которой соединение метаболизируется или распределяется в организме.

Пример: эпидемиологическое моделирование COVID-19

Экстраполированные траектории распространения инфекции в 40 странах, серьезно пострадавших от COVID-19, и общая (населенная) средняя численность по состоянию на 14 мая

Платформа нелинейных моделей смешанного эффекта может быть использована для описания траекторий заражения субъектов и понимания некоторых общих черт, общих для всех субъектов. В эпидемиологических задачах субъектами могут быть страны, штаты или округа и т. д. Это может быть особенно полезно для оценки будущей тенденции эпидемии на ранней стадии пандемии, когда известно очень мало информации о заболевании. ^[9]

Пример: Прогнозирование кривой добычи нефти из скважин сланцевой нефти на новом месте с помощью скрытого кригинга

Прогноз кривой снижения дебита нефти, полученный методом скрытого кригинга. 324 учебных скважины и две испытательные скважины в сланцевом резервуаре Игл-Форд в Южном Техасе (слева вверху); Схематический пример горизонтальной скважины с гидроразрывом пласта (слева внизу); Прогнозируемые кривые на испытательных скважинах с помощью метода скрытого кригинга (справа)

Окончательный успех проектов по разработке нефтяных месторождений во многом зависит от затрат на строительство скважин. Что касается нетрадиционных нефтяных и газовых пластов, то из-за очень низкой проницаемости и механизма потока, сильно отличающегося от механизма обычных пластов, оценки затрат на строительство скважин часто содержат высокий уровень неопределенности, и нефтяным компаниям необходимо вкладывать значительные средства в этап бурения и завершения скважин. Известно, что общий недавний коммерческий показатель успешности горизонтальных скважин в Соединенных Штатах составляет 65%, что означает, что только 2 из 3 пробуренных скважин будут коммерчески успешными. По этой причине одной из важнейших задач инженеров-нефтяников является количественная оценка неопределенности, связанной с добычей нефти или газа из сланцевых пластов, и, кроме того, прогнозирование приблизительного поведения добычи новой скважины в новом месте с учетом конкретных данных по завершению до фактического бурения, чтобы сэкономить значительную часть затрат на строительство скважин.

Платформу нелинейных моделей смешанных эффектов можно расширить для учета пространственной ассоциации путем включения геостатистических процессов, таких как гауссовский процесс , на втором этапе модели следующим образом: ^[10]

${\displaystyle {y}_{it}=\mu (t;\theta _{1i},\theta _{2i},\theta _{3i})+\epsilon _{it},\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad i=1,\ldots ,N,\,t=1,\ldots ,T_{i},}$

${\displaystyle \theta _{li}=\theta _{l}(s_{i})=\alpha _{l}+\sum _{j=1}^{p}\beta _{lj}x_{j}+\epsilon _{l}(s_{i})+\eta _{l}(s_{i}),\quad \epsilon _{l}(\cdot )\sim GWN(\sigma _{l}^{2}),\quad \quad l=1,2,3,}$ ${\displaystyle \eta _{l}(\cdot )\sim GP(0,K_{\gamma _{l}}(\cdot ,\cdot )),\quad K_{\gamma _{l}}(s_{i},s_{j})=\gamma _{l}^{2}\exp(-e^{\rho _{l}}\|s_{i}-s_{j}\|^{2}),\quad \quad \quad l=1,2,3,}$ ${\displaystyle \beta _{lj}|\lambda _{lj},\tau _{l},\sigma _{l}\sim N(0,\sigma _{l}^{2}\tau _{l}^{2}\lambda _{lj}^{2}),\quad \sigma ,\lambda _{lj},\tau _{l},\sigma _{l}\sim C^{+}(0,1),\quad \quad \quad \quad \quad \quad \quad l=1,2,3,\,j=1,\cdots ,p,}$ ${\displaystyle \alpha _{l}\sim \pi (\alpha )\propto 1,\quad \sigma _{l}^{2}\sim \pi (\sigma ^{2})\propto 1/\sigma ^{2},\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad l=1,2,3,}$

где

• ${\displaystyle \mu (t;\theta _{1},\theta _{2},\theta _{3})}$это функция, которая моделирует средний временной профиль логарифмического масштаба дебита нефти, форма которого определяется параметрами . Функция получается путем взятия логарифма к кривой снижения дебита, используемой в анализе кривой снижения , ${\displaystyle (\theta _{1},\theta _{2},\theta _{3})}$
• ${\displaystyle x_{i}=(x_{i1},\cdots ,x_{ip})^{\top }}$представляет собой ковариаты, полученные в результате процесса завершения гидроразрыва пласта и горизонтально -направленного бурения для -й скважины, ${\displaystyle i}$
• ${\displaystyle s_{i}=(s_{i1},s_{i2})^{\top }}$представляет собой пространственное местоположение (долготу, широту) -й скважины, ${\displaystyle i}$
• ${\displaystyle \epsilon _{l}(\cdot )}$представляет собой гауссовский белый шум с дисперсией ошибок (также называемый эффектом самородка), ${\displaystyle \sigma _{l}^{2}}$
• ${\displaystyle \eta _{l}(\cdot )}$представляет собой гауссовский процесс с гауссовой ковариационной функцией , ${\displaystyle K_{\gamma _{l}}(\cdot ,\cdot )}$
• ${\displaystyle \beta }$представляет собой предшествующую усадку подковы.

Регрессии гауссовского процесса, используемые на латентном уровне (второй этап), в конечном итоге производят предикторы кригинга для параметров кривой , которые диктуют форму средней кривой на уровне даты (первый уровень). Поскольку методы кригинга были использованы на латентном уровне, этот метод называется латентным кригингом. На правых панелях показаны результаты прогнозирования метода латентного кригинга, примененного к двум тестовым скважинам в сланцевом резервуаре Eagle Ford Shale Reservoir в Южном Техасе. ${\displaystyle (\theta _{1i},\theta _{2i},\theta _{3i}),(i=1,\cdots ,N),}$ ${\displaystyle \mu (t;\theta _{1},\theta _{2},\theta _{3})}$

Байесовская нелинейная модель смешанных эффектов

Байесовский цикл исследований с использованием байесовской нелинейной модели смешанных эффектов: (a) стандартный цикл исследований и (b) байесовский рабочий процесс. ^[11]

Структура байесовского иерархического моделирования часто используется в различных приложениях. В частности, байесовские нелинейные модели смешанных эффектов в последнее время привлекли значительное внимание. Базовая версия байесовских нелинейных моделей смешанных эффектов представлена ​​в виде следующей трехэтапной:

Этап 1: Модель индивидуального уровня

${\displaystyle {y}_{ij}=f(t_{ij};\theta _{1i},\theta _{2i},\ldots ,\theta _{li},\ldots ,\theta _{Ki})+\epsilon _{ij},\quad \epsilon _{ij}\sim N(0,\sigma ^{2}),\quad i=1,\ldots ,N,\,j=1,\ldots ,M_{i}.}$

Этап 2: Модель населения

${\displaystyle \theta _{li}=\alpha _{l}+\sum _{b=1}^{P}\beta _{lb}x_{ib}+\eta _{li},\quad \eta _{li}\sim N(0,\omega _{l}^{2}),\quad i=1,\ldots ,N,\,l=1,\ldots ,K.}$

Этап 3: Предшествующий

${\displaystyle \sigma ^{2}\sim \pi (\sigma ^{2}),\quad \alpha _{l}\sim \pi (\alpha _{l}),\quad (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP})\sim \pi (\beta _{l1},\ldots ,\beta _{lb},\ldots ,\beta _{lP}),\quad \omega _{l}^{2}\sim \pi (\omega _{l}^{2}),\quad l=1,\ldots ,K.}$

Здесь обозначает непрерывную реакцию -го субъекта в момент времени , а - -й ковариат -го субъекта. Параметры, участвующие в модели, записаны греческими буквами. - известная функция, параметризованная -мерным вектором . Обычно - `нелинейная' функция, описывающая временную траекторию индивидуумов. В модели и описывают внутрииндивидуальную и межиндивидуальную изменчивость соответственно. Если этап 3: априорный не рассматривается, то модель сводится к частотной нелинейной модели со смешанными эффектами. ${\displaystyle y_{ij}}$ ${\displaystyle i}$ ${\displaystyle t_{ij}}$ ${\displaystyle x_{ib}}$ ${\displaystyle b}$ ${\displaystyle i}$ ${\displaystyle f(t;\theta _{1},\ldots ,\theta _{K})}$ ${\displaystyle K}$ ${\displaystyle (\theta _{1},\ldots ,\theta _{K})}$ ${\displaystyle f}$ ${\displaystyle \epsilon _{ij}}$ ${\displaystyle \eta _{li}}$

Центральной задачей при применении байесовских нелинейных моделей смешанного эффекта является оценка апостериорной плотности:

${\displaystyle \pi (\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K}|\{y_{ij}\}_{i=1,j=1}^{N,M_{i}})}$

${\displaystyle \propto \pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}},\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})}$

${\displaystyle =\underbrace {\pi (\{y_{ij}\}_{i=1,j=1}^{N,M_{i}}|\{\theta _{li}\}_{i=1,l=1}^{N,K},\sigma ^{2})} _{Stage1:Individual-LevelModel}\times \underbrace {\pi (\{\theta _{li}\}_{i=1,l=1}^{N,K}|\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{Stage2:PopulationModel}\times \underbrace {p(\sigma ^{2},\{\alpha _{l}\}_{l=1}^{K},\{\beta _{lb}\}_{l=1,b=1}^{K,P},\{\omega _{l}\}_{l=1}^{K})} _{Stage3:Prior}}$

Панель справа отображает байесовский исследовательский цикл с использованием байесовской нелинейной модели смешанных эффектов. ^[12] Исследовательский цикл с использованием байесовской нелинейной модели смешанных эффектов состоит из двух этапов: (a) стандартный исследовательский цикл и (b) байесовский рабочий процесс. Стандартный исследовательский цикл включает обзор литературы, определение проблемы и указание исследовательского вопроса и гипотезы. Байесовский рабочий процесс состоит из трех подэтапов: (b)–(i) формализация априорных распределений на основе фоновых знаний и априорного выявления; (b)–(ii) определение функции правдоподобия на основе нелинейной функции ; и (b)–(iii) выполнение апостериорного вывода. Полученный апостериорный вывод может быть использован для начала нового исследовательского цикла. ${\displaystyle f}$

Смотрите также

• Смешанная модель
• Модель с фиксированными эффектами
• Обобщенная линейная смешанная модель
• Линейная регрессия
• Дисперсионный анализ смешанного дизайна
• Многоуровневая модель
• Модель случайных эффектов
• Повторные измерения конструкции

Ссылки

1. Pinheiro, J; Bates, DM (2006). Модели смешанных эффектов в S и S-PLUS . Статистика и вычисления. Нью-Йорк: Springer Science & Business Media. doi :10.1007/b98882. ISBN 0-387-98957-9.
2. Болкер, Б. М. (2008). Экологические модели и данные в издательстве R. Princeton University Press. {{cite book}}: |website=проигнорировано ( помощь )
3. Линдстром, М. Дж.; Бейтс, Д. М. (1990). «Нелинейные модели смешанных эффектов для данных повторных измерений». Биометрия . 46 (3): 673–687. doi :10.2307/2532087. JSTOR  2532087. PMID  2242409.
4. Kuhn, E; Lavielle, M (2005). «Оценка максимального правдоподобия в нелинейных моделях со смешанными эффектами». Computational Statistics & Data Analysis . 49 (4): 1020–1038. doi :10.1016/j.csda.2004.07.002.
5. Raket, LL (2020). "Статистическое моделирование прогрессирования болезни Альцгеймера". Frontiers in Big Data . 3 : 24. doi : 10.3389/fdata.2020.00024 . PMC 7931952. PMID 33693397.  S2CID 221105601  . 
6. Raket LL, Sommer S, Markussen B (2014). "Нелинейная модель смешанных эффектов для одновременного сглаживания и регистрации функциональных данных". Pattern Recognition Letters . 38 : 1–7. doi :10.1016/j.patrec.2013.10.018.
7. Cole TJ, Donaldson MD, Ben-Shlomo Y (2010). «SITAR — полезный инструмент для анализа кривой роста». International Journal of Epidemiology . 39 (6): 1558–66. doi : 10.1093 /ije/dyq115 . PMC 2992626. PMID  20647267. S2CID  17816715. 
8. Йонссон, EN; Карлссон, MO; Уэйд, JR (2000). «Обнаружение нелинейности: преимущества нелинейного моделирования смешанных эффектов». AAPS PharmSci . 2 (3): E32. doi :10.1208/ps020332. PMC 2761142 . PMID  11741248. 
9. Ли, Се Юн; Лей, Боуэн; Маллик, Бани (2020). «Оценка кривых распространения COVID-19 с учетом глобальных данных и заимствованной информации». PLOS ONE . 15 (7): e0236860. arXiv : 2005.00662 . doi : 10.1371/journal.pone.0236860 . PMC 7390340. PMID  32726361 . 
10. Ли, Се Юн; Маллик, Бани (2021). «Байесовское иерархическое моделирование: применение к результатам добычи в сланцевом месторождении Игл-Форд в Южном Техасе». Sankhya B. 84 : 1–43. doi :10.1007/s13571-020-00245-8.
11. Ли, Се Юн (2022). «Байесовские нелинейные модели для данных повторных измерений: обзор, реализация и приложения». Математика . 10 (6): 898. arXiv : 2201.12430 . doi : 10.3390/math10060898 .
12. Ли, Се Юн (2022). «Байесовские нелинейные модели для данных повторных измерений: обзор, реализация и приложения». Математика . 10 (6): 898. arXiv : 2201.12430 . doi : 10.3390/math10060898 .