В теории вероятностей марковская модель — это стохастическая модель , используемая для моделирования псевдослучайно изменяющихся систем. Предполагается, что будущие состояния зависят только от текущего состояния, а не от событий, которые произошли до него (то есть предполагается свойство Маркова ). Как правило, это предположение позволяет рассуждать и вычислять с помощью модели, которая в противном случае была бы неразрешимой . По этой причине в областях предиктивного моделирования и вероятностного прогнозирования желательно, чтобы данная модель демонстрировала свойство Маркова.
Существует четыре общие модели Маркова, используемые в различных ситуациях в зависимости от того, является ли каждое последовательное состояние наблюдаемым или нет, и следует ли корректировать систему на основе сделанных наблюдений:
Простейшей марковской моделью является цепь Маркова . Она моделирует состояние системы со случайной величиной , которая изменяется со временем. В этом контексте свойство Маркова указывает, что распределение для этой переменной зависит только от распределения предыдущего состояния. Примером использования цепи Маркова является цепь Маркова Монте-Карло , которая использует свойство Маркова для доказательства того, что определенный метод выполнения случайного блуждания будет производить выборку из совместного распределения .
Скрытая марковская модель — это марковская цепь, для которой состояние наблюдается лишь частично или наблюдается с помехами. Другими словами, наблюдения связаны с состоянием системы, но их обычно недостаточно для точного определения состояния. Существует несколько известных алгоритмов для скрытых марковских моделей. Например, при заданной последовательности наблюдений алгоритм Витерби вычислит наиболее вероятную соответствующую последовательность состояний, прямой алгоритм вычислит вероятность последовательности наблюдений, а алгоритм Баума–Велча оценит начальные вероятности, функцию перехода и функцию наблюдения скрытой марковской модели.
Одним из распространенных применений является распознавание речи , где наблюдаемые данные — это звуковая волна речи , а скрытое состояние — произнесенный текст. В этом примере алгоритм Витерби находит наиболее вероятную последовательность произнесенных слов, учитывая речевой звук.
Процесс принятия решений Маркова — это цепь Маркова, в которой переходы состояний зависят от текущего состояния и вектора действия, применяемого к системе. Обычно процесс принятия решений Маркова используется для вычисления политики действий, которая максимизирует некоторую полезность относительно ожидаемых вознаграждений.
Частично наблюдаемый марковский процесс принятия решений (POMDP) — это марковский процесс принятия решений, в котором состояние системы наблюдается лишь частично. Известно, что POMDP являются NP-полными , но недавние методы аппроксимации сделали их полезными для различных приложений, таких как управление простыми агентами или роботами. [1]
Случайное поле Маркова , или сеть Маркова, можно считать обобщением цепи Маркова в нескольких измерениях. В цепи Маркова состояние зависит только от предыдущего состояния во времени, тогда как в случайном поле Маркова каждое состояние зависит от своих соседей в любом из нескольких направлений. Случайное поле Маркова можно визуализировать как поле или граф случайных величин, где распределение каждой случайной величины зависит от соседних переменных, с которыми она связана. Более конкретно, совместное распределение для любой случайной величины в графе можно вычислить как произведение «кликовых потенциалов» всех клик в графе, которые содержат эту случайную величину. Моделирование задачи как марковского случайного поля полезно, поскольку оно подразумевает, что совместные распределения в каждой вершине графа могут быть вычислены таким образом.
Иерархические модели Маркова могут применяться для категоризации человеческого поведения на различных уровнях абстракции. Например, ряд простых наблюдений, таких как местоположение человека в комнате, может быть интерпретирован для определения более сложной информации, например, какую задачу или деятельность выполняет человек. Два вида иерархических моделей Маркова — это иерархическая скрытая модель Маркова [2] и абстрактная скрытая модель Маркова. [3] Обе использовались для распознавания поведения [4] , а определенные свойства условной независимости между различными уровнями абстракции в модели позволяют быстрее обучаться и делать выводы. [3] [5]
Толерантная марковская модель (TMM) — вероятностно-алгоритмическая марковская цепная модель. [6] Она назначает вероятности в соответствии с контекстом обусловливания, который рассматривает последний символ из последовательности, который должен произойти, как наиболее вероятный вместо истинного встречающегося символа. TMM может моделировать три различных природы: замены, добавления или удаления. Успешные приложения были эффективно реализованы в сжатии последовательностей ДНК. [6] [7]
Марковские цепи использовались в качестве методов прогнозирования для нескольких тем, например, ценовых тенденций, [8] ветроэнергетики [9] и солнечного излучения . [10] Марковские модели прогнозирования используют различные настройки, от дискретизации временных рядов [9] до скрытых марковских моделей в сочетании с вейвлетами [8] и моделью распределения смеси марковских цепей (MCM). [10]