Цепь Маркова с непрерывным временем

Понятие вероятности

Непрерывная во времени цепь Маркова ( CTMC ) — это непрерывный стохастический процесс , в котором для каждого состояния процесс будет менять состояние в соответствии с экспоненциальной случайной величиной , а затем переходить в другое состояние, как указано вероятностями стохастической матрицы . Эквивалентная формулировка описывает процесс как изменяющееся состояние в соответствии с наименьшим значением набора экспоненциальных случайных величин, по одной для каждого возможного состояния, в которое он может перейти, с параметрами, определяемыми текущим состоянием.

Пример CTMC с тремя состояниями выглядит следующим образом: процесс совершает переход после промежутка времени, указанного временем удержания — экспоненциальной случайной величиной , где i — ее текущее состояние. Каждая случайная величина независима и такова, что , и . Когда необходимо совершить переход, процесс движется в соответствии с цепочкой скачков , дискретной по времени цепью Маркова со стохастической матрицей: ${\displaystyle \{0,1,2\}}$ ${\displaystyle E_{i}}$ ${\displaystyle E_{0}\sim {\text{Exp}}(6)}$ ${\displaystyle E_{1}\sim {\text{Exp}}(12)}$ ${\displaystyle E_{2}\sim {\text{Exp}}(18)}$

${\displaystyle {\begin{bmatrix}0&{\frac {1}{2}}&{\frac {1}{2}}\\{\frac {1}{3}}&0&{\frac {2}{3}}\\{\frac {5}{6}}&{\frac {1}{6}}&0\end{bmatrix}}.}$

Эквивалентно, по свойству конкурирующих экспонент , этот CTMC изменяет состояние из состояния i в соответствии с минимумом двух случайных величин, которые являются независимыми и такими, что для где параметры заданы Q-матрицей ${\displaystyle E_{i,j}\sim {\text{Exp}}(q_{i,j})}$ ${\displaystyle i\neq j}$ ${\displaystyle Q=(q_{i,j})}$

${\displaystyle {\begin{bmatrix}-6&3&3\\4&-12&8\\15&3&-18\end{bmatrix}}.}$

Каждый недиагональный элемент можно вычислить как вероятность того, что цепочка переходов перейдет из состояния i в состояние j , деленную на ожидаемое время удержания состояния i . Диагональные элементы выбираются так, чтобы сумма каждой строки равнялась 0. ${\displaystyle q_{i,j}}$

CTMC удовлетворяет марковскому свойству , то есть его поведение зависит только от его текущего состояния, а не от его прошлого поведения из-за отсутствия памяти у экспоненциального распределения и дискретных по времени цепей Маркова.

Определение

Пусть будет вероятностным пространством, пусть будет счетным непустым множеством, и пусть ( для «времени»). Оснастим дискретной метрикой , так что мы можем понять правое непрерывность функций . Марковская цепь непрерывного времени определяется как: ^[1] ${\displaystyle (\Omega ,{\cal {A}},\Pr )}$ ${\displaystyle S}$ ${\displaystyle T=\mathbb {R} _{\geq 0}}$ ${\displaystyle T}$ ${\displaystyle S}$ ${\displaystyle \mathbb {R} _{\geq 0}\to S}$

• Вектор вероятности ( который ниже мы будем интерпретировать как начальное распределение цепи Маркова), и ${\displaystyle \lambda }$ ${\displaystyle S}$
• Матрица скоростей на , то есть функция такая, что ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle Q:S^{2}\to \mathbb {R} }$

1. для всех отдельных , ${\displaystyle i,j\in S,0\leq q_{i,j}}$
2. для всех (Даже если бесконечно, эта сумма априори хорошо определена (возможно, равна ), поскольку каждый член, появляющийся в сумме, неотрицателен. Апостериори мы знаем, что сумма также должна быть конечной (не равной ), поскольку мы предполагаем, что она равна и мы предположили, что имеет действительное значение. Некоторые авторы вместо этого используют определение, которое слово в слово совпадает, за исключением измененного условия , и говорят, что является стабильным или полностью стабильным, чтобы означать , т. е. каждая запись имеет действительное значение.) ^{[2] [3] [4]} ${\displaystyle i\in S,}$ ${\displaystyle \sum _{j\in I:j\neq i}q_{i,j}=-q_{i,i}.}$ ${\displaystyle I}$ ${\displaystyle +\infty }$ ${\displaystyle +\infty }$ ${\displaystyle -q_{i,i}}$ ${\displaystyle Q}$ ${\displaystyle Q:S^{2}\to \mathbb {R} \cup \{-\infty \}}$ ${\displaystyle Q}$ ${\displaystyle \operatorname {range} Q\subseteq \mathbb {R} }$

Обратите внимание, что суммы строк равны 0: или, короче говоря, . Эта ситуация контрастирует с ситуацией для дискретных по времени цепей Маркова , где все суммы строк матрицы перехода равны единице. ${\displaystyle Q}$ ${\displaystyle \forall i\in S~\sum _{j\in I}q_{i,j}=0,}$ ${\displaystyle Q\cdot 1=0}$

Теперь пусть такой, что -измерим . Существует три эквивалентных способа определить бытие Марковым с начальным распределением и матрицей скоростей : через вероятности перехода или через цепочку скачков и времена удержания. ^[5] ${\displaystyle X:T\to S^{\Omega }}$ ${\displaystyle \forall t\in T~X(t)}$ ${\displaystyle ({\cal {A}},{\cal {P}}(S))}$ ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$

В качестве прелюдии к определению вероятности перехода мы сначала мотивируем определение регулярной матрицы скорости . Мы будем использовать матрицу скорости перехода для указания динамики цепи Маркова посредством генерации набора матриц перехода на ( ), с помощью следующей теоремы. ${\displaystyle Q}$ ${\displaystyle P(t)}$ ${\displaystyle S}$ ${\displaystyle t\in \mathbb {R} _{\geq 0}}$

Теорема: Существование решения обратных уравнений Колмогорова . ^[6]  —  Существуеттакое, что для всехзаписьдифференцируема иудовлетворяет обратным уравнениям Колмогорова : ${\displaystyle P\in ([0,1]^{S\times S})^{T}}$ ${\displaystyle i,j\in S}$ ${\displaystyle (P(t)_{i,j})_{t\in T}}$ ${\displaystyle P}$

Мы говорим, что является регулярным , имея в виду, что у нас есть уникальность для указанной выше системы, т. е. что существует ровно одно решение. ^{[7] [8]} Мы говорим , что является нерегулярным , имея в виду, что не является регулярным. Если является конечным, то существует ровно одно решение, а именно и, следовательно, является регулярным. В противном случае является бесконечным, и существуют нерегулярные матрицы переходных скоростей на . ^[a] Если является регулярным, то для единственного решения , для каждого , будет стохастической матрицей . ^[6] Мы будем предполагать, что является регулярным с начала следующего подраздела и до конца этого раздела, хотя принято ^{[10] [11] [12]} не включать это предположение. (Примечание для эксперта: таким образом, мы не определяем непрерывные по времени цепи Маркова в целом, а только невзрывные непрерывные по времени цепи Маркова.) ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle P=(e^{tQ})_{t\in T},}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle S}$ ${\displaystyle Q}$ ${\displaystyle P}$ ${\displaystyle t\in T}$ ${\displaystyle P(t)}$ ${\displaystyle Q}$

Определение вероятности перехода

Пусть будет (единственным) решением системы ( 0 ). (Единственность гарантируется нашим предположением, что является регулярной.) Мы говорим, что является марковским с начальным распределением и матрицей скоростей , что означает: для любого неотрицательного целого числа , для всех таких, что для всех ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$ ${\displaystyle n\geq 0}$ ${\displaystyle t_{0},\dots ,t_{n+1}\in T}$ ${\displaystyle t_{0}<\dots <t_{n+1},}$ ${\displaystyle i_{0},\dots ,i_{n+1}\in I,}$

Используя индукцию и тот факт, что мы можем показать эквивалентность приведенного выше утверждения, содержащего ( 1 ), и следующего утверждения: для всех и для любого неотрицательного целого числа , для всех таких, что для всех таких, что (отсюда следует, что ), ${\displaystyle \forall A,B\in {\cal {A}}~~\Pr(B)\neq 0\rightarrow \Pr(A\cap B)=\Pr(A\mid B)\Pr(B),}$ ${\displaystyle i\in I,~\Pr(X_{0}=i)=\lambda _{i}}$ ${\displaystyle n\geq 0}$ ${\displaystyle t_{0},\dots ,t_{n+1}\in T}$ ${\displaystyle t_{0}<\dots <t_{n+1},}$ ${\displaystyle i_{0},\dots ,i_{n+1}\in I}$ ${\displaystyle 0<\Pr(X_{0}=i_{0},\dots ,X_{t_{n}}=i_{n})}$ ${\displaystyle 0<\Pr(X_{t_{n}}=i_{n})}$

Из непрерывности функций ( ) следует, что траектория почти наверняка непрерывна справа (относительно дискретной метрики на ): существует -нулевое множество такое, что . ^[13] ${\displaystyle (P(t)_{i,j})_{t\in T}}$ ${\displaystyle i,j\in S}$ ${\displaystyle (X_{t}(\omega ))_{t\in T}}$ ${\displaystyle S}$ ${\displaystyle \Pr }$ ${\displaystyle N}$ ${\displaystyle \{\omega \in \Omega :(X_{t}(\omega ))_{t\in T}{\text{ is right continuous}}\}\subseteq N}$

Определение прыжковой цепи/времени удержания

Последовательности, связанные с непрерывной справа функцией

Пусть будет непрерывным справа (при оснащении дискретной метрикой ). Определим ${\displaystyle f:T\to S}$ ${\displaystyle S}$

${\displaystyle h=h(f)=(\inf\{u\in (0,+\infty ):f(t+u)\neq f(t)\})_{t\in T})\cup \{+\infty ,0\},}$

позволять

${\displaystyle H=H(f)=(h^{\circ n}0)_{n\in \mathbb {Z} _{\geq 0}}}$

быть последовательностью времени удержания, связанной с , выберите и позвольте ${\displaystyle f}$ ${\displaystyle s\in S,}$

${\displaystyle y=y(f)=\left({\begin{cases}f(\sum _{k\in n}H_{k})&{\text{ if }}\sum _{k\in n}H_{k}<+\infty ,\\s&{\text{ else}}\end{cases}}\right)_{n\in \omega }}$

быть « последовательностью состояний », связанной с . ${\displaystyle f}$

Определение матрицы скачков Π

Матрица скачков , альтернативно записанная, если мы хотим подчеркнуть зависимость от , представляет собой матрицу , где — нулевое множество функции ^[14] ${\displaystyle \Pi }$ ${\displaystyle \Pi (Q)}$ ${\displaystyle Q}$ $${\displaystyle \Pi =([i=j])_{i\in Z,j\in S}\cup \bigcup _{i\in S\setminus Z}(\{((i,j),(-Q_{i,i})^{-1}Q_{i,j}):j\in S\setminus \{i\}\}\cup \{((i,i),0)\}),}$$ ${\displaystyle Z=Z(Q)=\{k\in S:q_{k,k}=0\}}$ ${\displaystyle (q_{k,k})_{k\in S}.}$

Свойство цепочки переходов/времени удержания

Мы говорим, что является цепью Маркова с начальным распределением и матрицей скоростей , что означает: траектории почти наверняка непрерывны справа, пусть будет модификацией для того, чтобы иметь (везде) непрерывные справа траектории, почти наверняка (примечание для экспертов: это условие говорит о невзрывном характере), последовательность состояний является дискретной по времени цепью Маркова с начальным распределением (свойство цепи скачков) и матрицей переходов и (свойство времени удержания). ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$ ${\displaystyle X}$ ${\displaystyle f}$ ${\displaystyle X}$ ${\displaystyle \sum _{n\in \mathbb {Z} _{\geq 0}}H(f(\omega ))_{n}=+\infty }$ ${\displaystyle X}$ ${\displaystyle y(f(\omega ))}$ ${\displaystyle \lambda }$ ${\displaystyle \Pi (Q),}$ ${\displaystyle \forall n\in \mathbb {Z} _{\geq 0}~\forall B\in {\cal {B}}(\mathbb {R} _{\geq 0})~\Pr(H_{n}(f)\in B)=\operatorname {Exp} (-q_{Y_{n},Y_{n}})(B)}$

Определение бесконечно малых величин

Непрерывная во времени цепь Маркова характеризуется скоростями переходов — производными по времени вероятностей переходов между состояниями i и j.

Мы говорим , что Марков с начальным распределением и матрицей скоростей означает: для всех и для всех , для всех и для малых строго положительных значений , следующее справедливо для всех таких, что : ${\displaystyle X}$ ${\displaystyle \lambda }$ ${\displaystyle Q}$ ${\displaystyle i\in S,}$ ${\displaystyle \Pr(X(0)=i)=\lambda _{i}}$ ${\displaystyle i,j}$ ${\displaystyle t}$ ${\displaystyle h}$ ${\displaystyle t\in T}$ ${\displaystyle 0<\Pr(X(t)=i)}$

${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=[i=j]+q_{i,j}h+o(h)}$,

где термин есть если и в противном случае , а термин с маленькой буквой «о» зависит определенным образом от . ^{[15] [16]} ${\displaystyle [i=j]}$ ${\displaystyle 1}$ ${\displaystyle i=j}$ ${\displaystyle 0}$ ${\displaystyle o(h)}$ ${\displaystyle i,j,h}$

Приведенное выше уравнение показывает, что можно рассматривать как меру того, насколько быстро происходит переход от к для , и насколько быстро происходит переход от к для . ${\displaystyle q_{i,j}}$ ${\displaystyle i}$ ${\displaystyle j}$ ${\displaystyle i\neq j}$ ${\displaystyle i}$ ${\displaystyle i=j}$

Характеристики

Общение классов

Взаимодействующие классы, транзитивность, повторяемость, а также положительная и нулевая повторяемость определяются так же, как и для дискретных по времени цепей Маркова .

Переходное поведение

Запишем P( t ) для матрицы с элементами p _ij = P( X _t  =  j  |  X ₀  =  i ). Тогда матрица P( t ) удовлетворяет прямому уравнению, дифференциальному уравнению первого порядка

${\displaystyle P'(t)=P(t)Q}$,

где штрих обозначает дифференциацию по t . Решение этого уравнения задается матричной экспонентой

${\displaystyle P(t)=e^{tQ}}$.

В простом случае, таком как CTMC на пространстве состояний {1,2}. Общая матрица Q для такого процесса — это следующая матрица 2 × 2 с α , β  > 0

${\displaystyle Q={\begin{pmatrix}-\alpha &\alpha \\\beta &-\beta \end{pmatrix}}.}$

Вышеуказанное соотношение для прямой матрицы в этом случае можно решить явно, получив

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$.

Вычисление прямых решений усложняется в больших матрицах. Тот факт, что Q является генератором для полугруппы матриц

${\displaystyle P(t+s)=e^{(t+s)Q}=e^{tQ}e^{sQ}=P(t)P(s)}$

используется.

Стационарное распределение

Стационарное распределение для неприводимого рекуррентного CTMC — это распределение вероятностей, к которому сходится процесс для больших значений t . Заметим, что для двухуровневого процесса, рассмотренного ранее, с P( t ) заданным как

${\displaystyle P(t)={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}+{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}-{\frac {\alpha }{\alpha +\beta }}e^{-(\alpha +\beta )t}\\{\frac {\beta }{\alpha +\beta }}-{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}&{\frac {\alpha }{\alpha +\beta }}+{\frac {\beta }{\alpha +\beta }}e^{-(\alpha +\beta )t}\end{pmatrix}}}$,

при t  → ∞ распределение стремится к

${\displaystyle P_{\pi }={\begin{pmatrix}{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\\{\frac {\beta }{\alpha +\beta }}&{\frac {\alpha }{\alpha +\beta }}\end{pmatrix}}}$.

Обратите внимание, что каждая строка имеет одинаковое распределение, поскольку это не зависит от начального состояния. Вектор строки π может быть найден путем решения

${\displaystyle \pi Q=0}$

с ограничением

${\displaystyle \sum _{i\in S}\pi _{i}=1}$.

Пример 1

Представление направленного графа непрерывной во времени цепи Маркова, описывающей состояние финансовых рынков (примечание: числа вымышлены).

Изображение справа описывает непрерывную во времени цепь Маркова с пространством состояний {Бычий рынок, Медвежий рынок, Застойный рынок} и матрицей переходных скоростей.

${\displaystyle Q={\begin{pmatrix}-0.025&0.02&0.005\\0.3&-0.5&0.2\\0.02&0.4&-0.42\end{pmatrix}}.}$

Стационарное распределение этой цепи можно найти, решив , с учетом того ограничения, что элементы должны в сумме давать 1, чтобы получить ${\displaystyle \pi Q=0}$

${\displaystyle \pi ={\begin{pmatrix}0.885&0.071&0.044\end{pmatrix}}.}$

Пример 2

Граф переходов с вероятностями переходов, пример для состояний 1, 5, 6 и 8. Между состояниями 2 и 8 имеется двунаправленный секретный проход.

Изображение справа описывает дискретную цепь Маркова, моделирующую Pac-Man с пространством состояний {1,2,3,4,5,6,7,8,9}. Игрок управляет Pac-Man через лабиринт, поедая pac-dots. Тем временем за ним охотятся призраки. Для удобства лабиринт будет представлять собой небольшую сетку 3x3, а призраки будут перемещаться случайным образом в горизонтальном и вертикальном направлениях. Секретный проход между состояниями 2 и 8 может использоваться в обоих направлениях. Записи с вероятностью ноль удаляются в следующей матрице скорости перехода:

${\displaystyle Q={\begin{pmatrix}-1&{\frac {1}{2}}&&{\frac {1}{2}}\\{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}&&&{\frac {1}{4}}\\&{\frac {1}{2}}&-1&&&{\frac {1}{2}}\\{\frac {1}{3}}&&&-1&{\frac {1}{3}}&&{\frac {1}{3}}\\&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}&&{\frac {1}{4}}\\&&{\frac {1}{3}}&&{\frac {1}{3}}&-1&&&{\frac {1}{3}}\\&&&{\frac {1}{2}}&&&-1&{\frac {1}{2}}\\&{\frac {1}{4}}&&&{\frac {1}{4}}&&{\frac {1}{4}}&-1&{\frac {1}{4}}\\&&&&&{\frac {1}{2}}&&{\frac {1}{2}}&-1\end{pmatrix}}}$

Эта цепь Маркова неприводима, потому что призраки могут перелетать из любого состояния в любое состояние за конечное время. Из-за секретного прохода цепь Маркова также апериодична, потому что призраки могут переходить из любого состояния в любое состояние как за четное, так и за нечетное число переходов состояний. Следовательно, существует уникальное стационарное распределение, которое можно найти, решив , с учетом ограничения, что элементы должны в сумме давать 1. Решение этого линейного уравнения с учетом ограничения: Центральное состояние и пограничные состояния 2 и 8 смежного секретного прохода посещаются чаще всего, а угловые состояния посещаются реже всего. ${\displaystyle \pi Q=0}$ ${\displaystyle \pi =(7.7,15.4,7.7,11.5,15.4,11.5,7.7,15.4,7.7)\%.}$

Обращение времени

Для CTMC X _t обратный во времени процесс определяется как . По лемме Келли этот процесс имеет то же стационарное распределение, что и прямой процесс. ${\displaystyle {\hat {X}}_{t}=X_{T-t}}$

Цепь называется обратимой, если обратный процесс такой же, как и прямой процесс. Критерий Колмогорова гласит, что необходимым и достаточным условием для обратимости процесса является то, что произведение скоростей перехода по замкнутому контуру должно быть одинаковым в обоих направлениях.

Встроенная цепь Маркова

Один из методов нахождения стационарного распределения вероятностей , π , эргодической непрерывной по времени цепи Маркова Q , заключается в том, чтобы сначала найти ее вложенную цепь Маркова (EMC) . Строго говоря, EMC является регулярной дискретной по времени цепью Маркова. Каждый элемент матрицы вероятности перехода за один шаг EMC, S , обозначается как s _ij и представляет собой условную вероятность перехода из состояния i в состояние j . Эти условные вероятности могут быть найдены с помощью

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j,\\0&{\text{otherwise}}.\end{cases}}}$

Исходя из этого, S можно записать как

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

где I — единичная матрица , а diag( Q ) — диагональная матрица, образованная путем выбора главной диагонали из матрицы Q и установки всех остальных элементов в ноль.

Чтобы найти стационарный вектор распределения вероятностей, мы должны найти такой, что ${\displaystyle \varphi }$

${\displaystyle \varphi S=\varphi ,}$

причем является вектором-строкой, таким образом, что все элементы в нем больше 0 и = 1. Отсюда π можно найти как ${\displaystyle \varphi }$ ${\displaystyle \varphi }$ ${\displaystyle \|\varphi \|_{1}}$

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

( S может быть периодическим, даже если Q не является периодическим. После того, как π найдено, его необходимо нормализовать до единичного вектора .)

Другой дискретный процесс, который может быть получен из непрерывной цепи Маркова, — это δ-скелет — (дискретная) цепь Маркова, образованная путем наблюдения X ( t ) с интервалами в δ единиц времени. Случайные величины X (0),  X (δ),  X (2δ), ... дают последовательность состояний, посещаемых δ-скелетом.

Смотрите также

• Уравнения Колмогорова (Марковские скачки)

Примечания

1. Росс, SM (2010). Введение в вероятностные модели (10-е изд.). Elsevier. ISBN 978-0-12-375686-2.
2. Андерсон 1991, см. определение на стр. 64.
3. Чэнь и Мао 2021, Определение 2.2.
4. Чен 2004, Определение 0.1(4).
5. Норрис 1997, Теорема 2.8.4 и Теорема 2.8.2(b).
6. Андерсон 1991, Теорема 2.2.2(1), стр. 70.
7. Андерсон 1991, Определение на стр. 81.
8. Чэнь 2004, стр. 2.
9. Андерсон 1991, стр. 20.
10. Suhov & Kelbert 2008, Определение 2.6.3.
11. Чэнь и Мао 2021, Определение 2.1.
12. Чэнь 2004, Определение 0.1.
13. Чэнь и Мао 2021, стр. 56, чуть ниже Определения 2.2.
14. Норрис 1997, стр. 87.
15. Сухов и Кельберт, 2008, Теорема 2.6.6.
16. Норрис 1997, Теорема 2.8.2(c).

Ссылки

• Андерсон, Уильям Дж. (1991). Цепи Маркова с непрерывным временем: подход, ориентированный на приложения . Springer.
• Лео Брейман (1992) [1968] Вероятность . Оригинальное издание опубликовано Addison-Wesley; перепечатано Society for Industrial and Applied Mathematics ISBN 0-89871-296-3 . (См. Главу 7) 
• Чэнь, Му-Фа (2004). От цепей Маркова к неравновесным системам частиц (Второе изд.). World Scientific.
• Чэнь, Му-Фа; Мао, Юн-Хуа (2021). Введение в стохастические процессы . World Scientific.
• JL Doob (1953) Стохастические процессы . Нью-Йорк: John Wiley and Sons ISBN 0-471-52369-0 . 
• А. А. Марков (1971). "Распространение предельных теорем теории вероятностей на сумму переменных, соединенных в цепь". перепечатано в Приложении B к: Р. Ховард. Динамические вероятностные системы, том 1: Цепи Маркова . John Wiley and Sons.
• Марков, АА (2006). «Пример статистического исследования текста «Евгений Онегин» относительно связи образцов в цепях». Наука в контексте . 19 (4). Перевод Линка, Дэвида: 591–600. doi :10.1017/s0269889706001074. S2CID  144854176.
• SP Meyn и RL Tweedie (1993) Markov Chains and Stochastic Stability . London: Springer-Verlag ISBN 0-387-19832-6 . online: MCSS. Второе издание выйдет в Cambridge University Press, 2009. 
• Кемени, Джон Г.; Хазлтон Миркил; Дж. Лори Снелл; Джеральд Л. Томпсон (1959). Конечные математические структуры (1-е изд.). Энглвуд Клиффс, Нью-Джерси: Prentice-Hall, Inc. Номер в каталоге карточек Библиотеки Конгресса 59-12841.Классический текст. см. Главу 6 Конечные цепи Маркова, стр. 384 и далее.
• Джон Г. Кемени и Дж. Лори Снелл (1960) Конечные цепи Маркова , ISBN компании Д. ван Ностранда 0-442-04328-7 
• Э. Нуммелин. Общие неприводимые цепи Маркова и неотрицательные операторы . Cambridge University Press, 1984, 2004. ISBN 0-521-60494-X 
• Норрис, Дж. Р. (1997). Цепи Маркова . doi :10.1017/CBO9780511810633.005. ISBN 9780511810633.
• Сенета, Э. Неотрицательные матрицы и цепи Маркова . 2-е перераб. изд., 1981, XVI, 288 стр., Мягкая обложка Springer Series in Statistics. (Первоначально опубликовано Allen & Unwin Ltd., Лондон, 1973) ISBN 978-0-387-29765-1 
• Сухов, Юрий; Кельберт, Марк (2008). Цепи Маркова: учебник по случайным процессам и их приложениям . Cambridge University Press.

1. Например, рассмотрим пример и являющийся (уникальной) матрицей скорости перехода на такой, что . (Тогда все оставшиеся элементы будут равны нулю. Ср. процесс рождения .) Тогда является нерегулярным. Тогда для общего бесконечного , индексация неотрицательными целыми числами дает, что соответствующим образом измененная версия вышеуказанной матрицы будет нерегулярной. ^[9] ${\displaystyle S=\mathbb {Z} _{\geq 0}}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle \forall i\in \mathbb {Z} _{\geq 0}~~Q_{i,i+1}=i^{2},~Q_{i,i}=-i^{2}}$ ${\displaystyle Q}$ ${\displaystyle Q}$ ${\displaystyle S}$ ${\displaystyle S}$ ${\displaystyle \mathbb {Z} _{\geq 0}}$ ${\displaystyle Q}$