Уравнение Беллмана

Необходимое условие оптимальности, связанное с динамическим программированием

Блок-схема Беллмана.

Уравнение Беллмана , названное в честь Ричарда Э. Беллмана , является необходимым условием оптимальности, связанным с математическим методом оптимизации, известным как динамическое программирование . ^[1] Оно записывает «ценность» задачи принятия решения в определенный момент времени в терминах выигрыша от некоторых начальных выборов и «ценности» оставшейся задачи принятия решения, которая является результатом этих начальных выборов. ^[2] Это разбивает динамическую задачу оптимизации на последовательность более простых подзадач, как предписывает «принцип оптимальности» Беллмана. ^[3] Уравнение применяется к алгебраическим структурам с полным порядком; для алгебраических структур с частичным порядком можно использовать общее уравнение Беллмана. ^[4]

Уравнение Беллмана было впервые применено к инженерной теории управления и другим разделам прикладной математики, а впоследствии стало важным инструментом в экономической теории ; хотя основные концепции динамического программирования были прообразами в «Теории игр и экономического поведения » Джона фон Неймана и Оскара Моргенштерна и последовательном анализе Абрахама Вальда . [ ^{требуется ссылка ]} Термин «уравнение Беллмана» обычно относится к уравнению динамического программирования (DPE), связанному с задачами оптимизации в дискретном времени . ^[5] В задачах оптимизации в непрерывном времени аналогичным уравнением является уравнение в частных производных , которое называется уравнением Гамильтона–Якоби–Беллмана . ^{[6] [7]}

В дискретном времени любая многоэтапная задача оптимизации может быть решена путем анализа соответствующего уравнения Беллмана. Соответствующее уравнение Беллмана может быть найдено путем введения новых переменных состояния (расширение состояния). ^[8] Однако полученная многоэтапная задача оптимизации с расширенным состоянием имеет более многомерное пространство состояний, чем исходная многоэтапная задача оптимизации — проблема, которая может потенциально сделать расширенную задачу неразрешимой из-за « проклятия размерности ». В качестве альтернативы было показано, что если функция стоимости многоэтапной задачи оптимизации удовлетворяет «обратно разделимой» структуре, то соответствующее уравнение Беллмана может быть найдено без расширения состояния. ^[9]

Аналитические концепции в динамическом программировании

Чтобы понять уравнение Беллмана, необходимо понять несколько базовых концепций. Во-первых, любая задача оптимизации имеет некоторую цель: минимизация времени в пути, минимизация затрат, максимизация прибыли, максимизация полезности и т. д. Математическая функция, описывающая эту цель, называется целевой функцией . ^{[ необходима цитата ]}

Динамическое программирование разбивает многопериодную задачу планирования на более простые шаги в разные моменты времени. Поэтому оно требует отслеживания того, как ситуация принятия решения развивается с течением времени. Информация о текущей ситуации, необходимая для принятия правильного решения, называется «состоянием». ^{[10] [11]} Например, чтобы решить, сколько потреблять и тратить в каждый момент времени, людям нужно знать (помимо прочего) свое начальное богатство. Поэтому богатство будет одной из переменных их состояния , но, вероятно, будут и другие. ${\displaystyle (W)}$

Переменные, выбранные в любой момент времени, часто называются контрольными переменными . Например, учитывая их текущее богатство, люди могут решить, сколько потреблять сейчас. Выбор контрольных переменных сейчас может быть эквивалентен выбору следующего состояния; в более общем смысле, следующее состояние зависит от других факторов в дополнение к текущему контролю. Например, в простейшем случае сегодняшнее богатство (состояние) и потребление (контроль) могут точно определить завтрашнее богатство (новое состояние), хотя обычно на завтрашнее богатство будут влиять и другие факторы. ^{[ необходима цитата ]}

Подход динамического программирования описывает оптимальный план путем нахождения правила, которое сообщает, какими должны быть элементы управления, учитывая любое возможное значение состояния. Например, если потребление ( c ) зависит только от богатства ( W ), мы будем искать правило , которое дает потребление как функцию богатства. Такое правило, определяющее элементы управления как функцию состояний, называется функцией политики . ^{[12] [10]} ${\displaystyle c(W)}$

Наконец, по определению, оптимальное правило принятия решений — это то, которое достигает наилучшего возможного значения цели. Например, если кто-то выбирает потребление, учитывая богатство, чтобы максимизировать счастье (предполагая, что счастье H может быть представлено математической функцией, такой как функция полезности , и является чем-то, определяемым богатством), то каждый уровень богатства будет связан с некоторым максимально возможным уровнем счастья, . Наилучшее возможное значение цели, записанное как функция состояния, называется функцией ценности . ^{[ необходима цитата ]} ${\displaystyle H(W)}$

Беллман показал, что динамическая задача оптимизации в дискретном времени может быть сформулирована в рекурсивной , пошаговой форме, известной как обратная индукция, путем записи соотношения между функцией значения в одном периоде и функцией значения в следующем периоде. Соотношение между этими двумя функциями значения называется «уравнением Беллмана». При таком подходе оптимальная политика в последнем периоде времени указывается заранее как функция значения переменной состояния в это время, и результирующее оптимальное значение целевой функции, таким образом, выражается в терминах этого значения переменной состояния. Затем оптимизация предпоследнего периода включает максимизацию суммы целевой функции, специфичной для этого периода, и оптимального значения будущей целевой функции, давая оптимальную политику этого периода в зависимости от значения переменной состояния на момент принятия решения в предпоследнем периоде. ^{[ требуется пояснение ]} Эта логика продолжается рекурсивно назад во времени, пока не будет выведено правило принятия решения для первого периода как функция начального значения переменной состояния путем оптимизации суммы целевой функции, специфичной для первого периода, и значения функции значения второго периода, которая дает значение для всех будущих периодов. Таким образом, решение для каждого периода принимается путем явного признания того, что все будущие решения будут приняты оптимальным образом. ^{[ требуется цитата ]}

Вывод

Проблема динамического решения

Пусть будет состоянием в момент времени . Для решения, которое начинается в момент времени 0, мы принимаем в качестве заданного начальное состояние . В любой момент времени набор возможных действий зависит от текущего состояния; мы выражаем это как , где конкретное действие представляет конкретные значения для одной или нескольких управляющих переменных, а — набор действий, доступных для выполнения в состоянии . Также предполагается, что состояние изменяется с на новое состояние , когда выполняется действие , и что текущий выигрыш от выполнения действия в состоянии равен . Наконец, мы предполагаем нетерпение, представленное коэффициентом дисконтирования . ${\displaystyle x_{t}}$ ${\displaystyle t}$ ${\displaystyle x_{0}}$ ${\displaystyle a_{t}\in \Gamma (x_{t})}$ ${\displaystyle a_{t}}$ ${\displaystyle \Gamma (x_{t})}$ ${\displaystyle x_{t}}$ ${\displaystyle x}$ ${\displaystyle T(x,a)}$ ${\displaystyle a}$ ${\displaystyle a}$ ${\displaystyle x}$ ${\displaystyle F(x,a)}$ ${\displaystyle 0<\beta <1}$

При этих предположениях задача принятия решений с бесконечным горизонтом принимает следующий вид:

${\displaystyle V(x_{0})\;=\;\max _{\left\{a_{t}\right\}_{t=0}^{\infty }}\sum _{t=0}^{\infty }\beta ^{t}F(x_{t},a_{t}),}$

с учетом ограничений

${\displaystyle a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t=0,1,2,\dots }$

Обратите внимание, что мы определили обозначение для обозначения оптимального значения, которое может быть получено путем максимизации этой целевой функции с учетом предполагаемых ограничений. Эта функция является функцией значения . Это функция начальной переменной состояния , поскольку наилучшее достижимое значение зависит от начальной ситуации. ${\displaystyle V(x_{0})}$ ${\displaystyle x_{0}}$

Принцип оптимальности Беллмана

Метод динамического программирования разбивает эту проблему принятия решения на более мелкие подзадачи. Принцип оптимальности Беллмана описывает, как это сделать:

Принцип оптимальности: Оптимальная политика обладает тем свойством, что какими бы ни были начальное состояние и начальное решение, остальные решения должны составлять оптимальную политику относительно состояния, возникшего в результате первого решения. (См. Беллман, 1957, гл. III.3.) ^{[10] [11] [13]}

В информатике проблема, которая может быть разбита на части таким образом, называется оптимальной подструктурой . В контексте динамической теории игр этот принцип аналогичен концепции идеального равновесия подигры , хотя то, что составляет оптимальную политику в этом случае, обусловлено выбором оппонентами лица, принимающего решения, аналогичной оптимальной политики с их точек зрения.

Как предполагает принцип оптимальности , мы рассмотрим первое решение отдельно, отложив все будущие решения (мы начнем заново с момента времени 1 с новым состоянием ). Собрав будущие решения в скобках справа, вышеприведенная задача принятия решений с бесконечным горизонтом эквивалентна: ^{[ необходимо разъяснение ]} ${\displaystyle x_{1}}$

${\displaystyle \max _{a_{0}}\left\{F(x_{0},a_{0})+\beta \left[\max _{\left\{a_{t}\right\}_{t=1}^{\infty }}\sum _{t=1}^{\infty }\beta ^{t-1}F(x_{t},a_{t}):a_{t}\in \Gamma (x_{t}),\;x_{t+1}=T(x_{t},a_{t}),\;\forall t\geq 1\right]\right\}}$

с учетом ограничений

${\displaystyle a_{0}\in \Gamma (x_{0}),\;x_{1}=T(x_{0},a_{0}).}$

Здесь мы выбираем , зная, что наш выбор приведет к тому, что состояние времени 1 станет . Это новое состояние затем повлияет на проблему принятия решения с момента времени 1. Вся будущая проблема принятия решения отображается внутри квадратных скобок справа. ^{[ требуется пояснение ] [ требуется дальнейшее пояснение ]} ${\displaystyle a_{0}}$ ${\displaystyle x_{1}=T(x_{0},a_{0})}$

Уравнение Беллмана

До сих пор кажется, что мы только усложнили проблему, отделив сегодняшнее решение от будущих решений. Но мы можем упростить, заметив, что то, что находится внутри квадратных скобок справа, является значением проблемы решения за время 1, начиная с состояния . ${\displaystyle x_{1}=T(x_{0},a_{0})}$

Поэтому задачу можно переписать в виде рекурсивного определения функции ценности:

${\displaystyle V(x_{0})=\max _{a_{0}}\{F(x_{0},a_{0})+\beta V(x_{1})\}}$, с учетом ограничений: ${\displaystyle a_{0}\in \Gamma (x_{0}),\;x_{1}=T(x_{0},a_{0}).}$

Это уравнение Беллмана. Его можно упростить еще больше, если убрать индексы времени и подставить значение следующего состояния:

${\displaystyle V(x)=\max _{a\in \Gamma (x)}\{F(x,a)+\beta V(T(x,a))\}.}$

Уравнение Беллмана классифицируется как функциональное уравнение , поскольку его решение означает нахождение неизвестной функции , которая является функцией значения . Напомним, что функция значения описывает наилучшее возможное значение цели как функцию состояния . Вычисляя функцию значения, мы также найдем функцию , которая описывает оптимальное действие как функцию состояния; это называется функцией политики . ${\displaystyle V}$ ${\displaystyle x}$ ${\displaystyle a(x)}$

В стохастической задаче

В детерминированной обстановке для решения вышеуказанной задачи оптимального управления могут использоваться и другие методы, помимо динамического программирования . Однако уравнение Беллмана часто является наиболее удобным методом решения стохастических задач оптимального управления.

В качестве конкретного примера из экономики рассмотрим бесконечно живущего потребителя с начальным богатством в период . У них есть мгновенная функция полезности , где обозначает потребление и дисконтирует полезность следующего периода по ставке . Предположим, что то, что не потребляется в период, переносится на следующий период с процентной ставкой . Тогда проблема максимизации полезности потребителя заключается в выборе плана потребления , который решает ${\displaystyle {\color {Red}a_{0}}}$ ${\displaystyle 0}$ ${\displaystyle u(c)}$ ${\displaystyle c}$ ${\displaystyle 0<\beta <1}$ ${\displaystyle t}$ ${\displaystyle r}$ ${\displaystyle \{{\color {OliveGreen}c_{t}}\}}$

${\displaystyle \max \sum _{t=0}^{\infty }\beta ^{t}u({\color {OliveGreen}c_{t}})}$

при условии

${\displaystyle {\color {Red}a_{t+1}}=(1+r)({\color {Red}a_{t}}-{\color {OliveGreen}c_{t}}),\;{\color {OliveGreen}c_{t}}\geq 0,}$

и

${\displaystyle \lim _{t\rightarrow \infty }{\color {Red}a_{t}}\geq 0.}$

Первое ограничение — это накопление капитала/закон движения, заданный проблемой, тогда как второе ограничение — это условие трансверсальности , при котором потребитель не несет долга в конце своей жизни. Уравнение Беллмана имеет вид

${\displaystyle V(a)=\max _{0\leq c\leq a}\{u(c)+\beta V((1+r)(a-c))\},}$

В качестве альтернативы можно решить задачу последовательности напрямую, используя, например, уравнения Гамильтона .

Теперь, если процентная ставка меняется от периода к периоду, потребитель сталкивается со стохастической задачей оптимизации. Пусть процентная ставка r следует марковскому процессу с функцией перехода вероятности , где обозначает вероятностную меру , управляющую распределением процентной ставки в следующем периоде, если текущая процентная ставка равна . В этой модели потребитель принимает решение о потреблении в текущем периоде после того, как объявляется процентная ставка текущего периода. ${\displaystyle Q(r,d\mu _{r})}$ ${\displaystyle d\mu _{r}}$ ${\displaystyle r}$

Вместо того чтобы просто выбирать одну последовательность , потребитель теперь должен выбрать последовательность для каждой возможной реализации a таким образом, чтобы его ожидаемая полезность в течение жизни была максимальной: ${\displaystyle \{{\color {OliveGreen}c_{t}}\}}$ ${\displaystyle \{{\color {OliveGreen}c_{t}}\}}$ ${\displaystyle \{r_{t}\}}$

${\displaystyle \max _{\left\{c_{t}\right\}_{t=0}^{\infty }}\mathbb {E} {\bigg (}\sum _{t=0}^{\infty }\beta ^{t}u({\color {OliveGreen}c_{t}}){\bigg )}.}$

Ожидание берется относительно соответствующей меры вероятности, заданной Q на последовательностях r ' s. Поскольку r управляется марковским процессом, динамическое программирование значительно упрощает задачу. Тогда уравнение Беллмана выглядит просто: ${\displaystyle \mathbb {E} }$

${\displaystyle V(a,r)=\max _{0\leq c\leq a}\{u(c)+\beta \int V((1+r)(a-c),r')Q(r,d\mu _{r})\}.}$

При некотором разумном предположении результирующая оптимальная функция политики g ( a , r ) измерима .

Для общей задачи стохастической последовательной оптимизации с марковскими шоками, где агент сталкивается со своим решением постфактум , уравнение Беллмана принимает очень похожую форму

${\displaystyle V(x,z)=\max _{c\in \Gamma (x,z)}\{F(x,c,z)+\beta \int V(T(x,c),z')d\mu _{z}(z')\}.}$

Методы решения

• Метод неопределенных коэффициентов , также известный как «угадывание и проверка», может быть использован для решения некоторых автономных уравнений Беллмана с бесконечным горизонтом . ^[14]
• Уравнение Беллмана может быть решено методом обратной индукции , либо аналитически в нескольких особых случаях, либо численно на компьютере. Численная обратная индукция применима к широкому спектру задач, но может быть неосуществимой, когда имеется много переменных состояния, из-за проклятия размерности . Приближенное динамическое программирование было введено DP Bertsekas и JN Tsitsiklis с использованием искусственных нейронных сетей ( многослойных персептронов ) для аппроксимации функции Беллмана. ^[15] Это эффективная стратегия смягчения для уменьшения влияния размерности путем замены запоминания полного отображения функции для всей области пространства на запоминание единственных параметров нейронной сети. В частности, для систем с непрерывным временем был введен подход приближенного динамического программирования, который объединяет обе итерации политики с нейронными сетями. ^[16] В дискретном времени был введен подход к решению уравнения HJB, объединяющий итерации значений и нейронные сети. ^[17]
• Вычислив условия первого порядка, связанные с уравнением Беллмана, а затем используя теорему об огибающей для исключения производных функции ценности, можно получить систему разностных уравнений или дифференциальных уравнений, называемую « уравнениями Эйлера ». ^[18] Стандартные методы решения разностных или дифференциальных уравнений затем могут быть использованы для вычисления динамики переменных состояния и управляющих переменных задачи оптимизации.

Применение в экономике

Первое известное применение уравнения Беллмана в экономике принадлежит Мартину Бекману и Ричарду Муту . ^[19] Мартин Бекманн также много писал о теории потребления, используя уравнение Беллмана в 1959 году. Его работа оказала влияние , среди прочего, на Эдмунда С. Фелпса .

Знаменитое экономическое применение уравнения Беллмана — основополагающая статья Роберта К. Мертона 1973 года о межвременной модели ценообразования капитальных активов . ^[20] (См. также Проблема портфеля Мертона ). Решение теоретической модели Мертона, в которой инвесторы выбирают между доходом сегодня и будущим доходом или приростом капитала, является формой уравнения Беллмана. Поскольку экономические приложения динамического программирования обычно приводят к уравнению Беллмана, которое является разностным уравнением , экономисты называют динамическое программирование «рекурсивным методом», и в настоящее время в экономике признается подраздел рекурсивной экономики .

Нэнси Стоки , Роберт Э. Лукас и Эдвард Прескотт подробно описывают стохастическое и нестохастическое динамическое программирование и разрабатывают теоремы о существовании решений проблем, удовлетворяющих определенным условиям. Они также описывают множество примеров моделирования теоретических проблем в экономике с использованием рекурсивных методов. ^[21] Эта книга привела к использованию динамического программирования для решения широкого спектра теоретических проблем в экономике, включая оптимальный экономический рост , добычу ресурсов , проблемы принципала-агента , государственные финансы , бизнес- инвестиции , ценообразование активов , предложение факторов производства и промышленную организацию . Ларс Льюнгквист и Томас Сарджент применяют динамическое программирование для изучения различных теоретических вопросов в денежно-кредитной политике , фискальной политике , налогообложении , экономическом росте , теории поиска и экономике труда . ^[22] Авинаш Диксит и Роберт Пиндайк показали ценность метода для размышлений о бюджетировании капиталовложений . ^[23] Андерсон адаптировал эту технику к оценке бизнеса, включая частные предприятия. ^[24]

Использование динамического программирования для решения конкретных задач осложняется информационными трудностями, такими как выбор ненаблюдаемой ставки дисконтирования. Существуют также вычислительные проблемы, главная из которых — проклятие размерности, возникающее из-за огромного количества возможных действий и потенциальных переменных состояния, которые необходимо учитывать, прежде чем можно будет выбрать оптимальную стратегию. Для подробного обсуждения вычислительных проблем см. Miranda and Fackler, ^[25] и Meyn 2007. ^[26]

Пример

В марковских процессах принятия решений уравнение Беллмана представляет собой рекурсию для ожидаемых вознаграждений. Например, ожидаемое вознаграждение за нахождение в определенном состоянии s и следование некоторой фиксированной политике имеет уравнение Беллмана: ${\displaystyle \pi }$

${\displaystyle V^{\pi }(s)=R(s,\pi (s))+\gamma \sum _{s'}P(s'|s,\pi (s))V^{\pi }(s').\ }$

Это уравнение описывает ожидаемое вознаграждение за выполнение действия, предписанного некоторой политикой . ${\displaystyle \pi }$

Уравнение оптимальной политики называется уравнением оптимальности Беллмана :

${\displaystyle V^{\pi *}(s)=\max _{a}\left\{{R(s,a)+\gamma \sum _{s'}P(s'|s,a)V^{\pi *}(s')}\right\}.\ }$

где — оптимальная политика, а относится к функции ценности оптимальной политики. Уравнение выше описывает вознаграждение за выполнение действия, дающего наивысшую ожидаемую отдачу. ${\displaystyle {\pi *}}$ ${\displaystyle V^{\pi *}}$

Смотрите также

• псевдоспектральный метод Беллмана
• Динамическое программирование  – Метод оптимизации задач
• Уравнение Гамильтона–Якоби–Беллмана  – Условие оптимальности в теории оптимального управления
• Марковский процесс принятия решений  – Математическая модель последовательного принятия решений в условиях неопределенности
• Теория оптимального управления  – математический способ достижения желаемого результата от динамической системы.
• Оптимальная подструктура  – ​​свойство вычислительной задачи
• Рекурсивное конкурентное равновесие  – концепция экономического равновесия, связанная с динамической программойPages displaying wikidata descriptions as a fallback
• Стохастическое динамическое программирование  – метод 1957 года для моделирования задач принятия решений в условиях неопределенности.

Ссылки

1. Диксит, Авинаш К. (1990). Оптимизация в экономической теории (2-е изд.). Oxford University Press. стр. 164. ISBN 0-19-877211-4.
2. "Принцип оптимальности Беллмана". www.ques10.com . Получено 2023-08-17 .
3. Кирк, Дональд Э. (1970). Оптимальная теория управления: Введение. Prentice-Hall. стр. 55. ISBN 0-13-638098-0.
4. Щесняк, Иренеуш; Возна-Щесняк, Божена (2023), «Общая Дейкстра: корректность и управляемость», Симпозиум NOMS 2023-2023 IEEE/IFIP по сетевым операциям и управлению , стр. 1–7, arXiv : 2204.13547 , doi : 10.1109/NOMS56928.2023.1015 4322, ISBN 978-1-6654-7716-1, S2CID  248427020
5. Кирк 1970, стр. 70
6. Камьен, Мортон И .; Шварц, Нэнси Л. (1991). Динамическая оптимизация: вариационное исчисление и оптимальное управление в экономике и менеджменте (второе изд.). Амстердам: Elsevier. стр. 261. ISBN 0-444-01609-0.
7. Кирк 1970, стр. 88
8. Джонс, Морган; Пит, Мэтью М. (2020). «Расширения динамической программной среды: планирование батареи, плата за спрос и интеграция возобновляемых источников энергии». Труды IEEE по автоматическому управлению . 66 (4): 1602–1617. arXiv : 1812.00792 . doi : 10.1109/TAC.2020.3002235. S2CID  119622206.
9. Джонс, Морган; Пит, Мэтью М. (2021). «Обобщение уравнения Беллмана с применением к планированию пути, обходу препятствий и оценке инвариантного множества». Automatica . 127 : 109510. arXiv : 2006.08175 . doi :10.1016/j.automatica.2021.109510. S2CID  222350370.
10. Bellman, RE (2003) [1957]. Динамическое программирование . Дувр. ISBN 0-486-42809-5.
11. Dreyfus, S. (2002). «Ричард Беллман о рождении динамического программирования». Operations Research . 50 (1): 48–51. doi :10.1287/opre.50.1.48.17791.
12. Беллман, 1957, гл. III.2.
13. Беллман, Р. (август 1952 г.). «О теории динамического программирования». Proc Natl Acad Sci USA . 38 (8): 716–9. Bibcode : 1952PNAS...38..716B. doi : 10.1073/pnas.38.8.716 . PMC 1063639. PMID  16589166 . 
14. Юнгквист, Ларс; Сарджент, Томас Дж. (2004). Рекурсивная макроэкономическая теория (2-е изд.). МТИ Пресс. стр. 88–90. ISBN 0-262-12274-X.
15. Берцекас, Димитрий П.; Цициклис, Джон Н. (1996). Нейродинамическое программирование . Athena Scientific. ISBN 978-1-886529-10-6.
16. Абу-Халаф, Мурад; Льюис, Фрэнк Л. (2005). «Почти оптимальные законы управления для нелинейных систем с насыщающими приводами с использованием подхода HJB нейронной сети». Automatica . 41 (5): 779–791. doi :10.1016/j.automatica.2004.11.034. S2CID  14757582.
17. Аль-Тамими, Асма; Льюис, Фрэнк Л.; Абу-Халаф, Мурад (2008). «Дискретное нелинейное решение HJB с использованием приближенного динамического программирования: доказательство сходимости». Труды IEEE по системам, человеку и кибернетике — часть B: Кибернетика . 38 (4): 943–949. doi :10.1109/TSMCB.2008.926614. PMID  18632382. S2CID  14202785.
18. Мяо, Цзяньцзюнь (2014). Экономическая динамика в дискретном времени. MIT Press. стр. 134. ISBN 978-0-262-32560-8.
19. Бекман, Мартин; Мут, Ричард (1954). «О решении «фундаментального уравнения» теории инвентаря» (PDF) . Дискуссионный документ Комиссии Коулза 2116 .
20. Мертон, Роберт С. (1973). «Межвременная модель ценообразования капитальных активов». Econometrica . 41 (5): 867–887. doi :10.2307/1913811. JSTOR  1913811.
21. Стоки, Нэнси; Лукас, Роберт Э.; Прескотт, Эдвард (1989). Рекурсивные методы в экономической динамике . Издательство Гарвардского университета. ISBN 0-674-75096-9.
22. Льюнгквист, Ларс; Сарджент, Томас (2012). Рекурсивная макроэкономическая теория (3-е изд.). MIT Press. ISBN 978-0-262-01874-6.
23. Диксит, Авинаш; Пиндайк, Роберт (1994). Инвестиции в условиях неопределенности . Princeton University Press. ISBN 0-691-03410-9.
24. Андерсон, Патрик Л. (2004). "Гл. 10". Бизнес-экономика и финансы . CRC Press. ISBN 1-58488-348-0.
    — (2009). «Стоимость частного бизнеса в Соединенных Штатах». Business Economics . 44 (2): 87–108. doi :10.1057/be.2009.4. S2CID  154743445.
    — (2013). Экономика оценки бизнеса . Stanford University Press. ISBN 9780804758307.Архив Stanford Press 2013-08-08 в Wayback Machine
25. Миранда, Марио Дж.; Факлер, Пол Л. (2004). Прикладная вычислительная экономика и финансы . MIT Press. ISBN 978-0-262-29175-0.
26. Мейн, Шон (2008). Методы управления сложными сетями. Cambridge University Press. ISBN 978-0-521-88441-9. Приложение содержит сокращенную версию Meyn & Tweedie, заархивированную 12 октября 2007 г. на Wayback Machine .