stringtranslate.com

марковская модель

В теории вероятностей марковская модель — это стохастическая модель , используемая для моделирования псевдослучайно изменяющихся систем. Предполагается, что будущие состояния зависят только от текущего состояния, а не от событий, которые произошли до него (то есть предполагается свойство Маркова ). Как правило, это предположение позволяет рассуждать и вычислять с помощью модели, которая в противном случае была бы неразрешимой . По этой причине в областях предиктивного моделирования и вероятностного прогнозирования желательно, чтобы данная модель демонстрировала свойство Маркова.

Введение

Существует четыре общие модели Маркова, используемые в различных ситуациях в зависимости от того, является ли каждое последовательное состояние наблюдаемым или нет, и следует ли корректировать систему на основе сделанных наблюдений:

цепь Маркова

Простейшей марковской моделью является цепь Маркова . Она моделирует состояние системы со случайной величиной , которая изменяется со временем. В этом контексте свойство Маркова указывает, что распределение для этой переменной зависит только от распределения предыдущего состояния. Примером использования цепи Маркова является цепь Маркова Монте-Карло , которая использует свойство Маркова для доказательства того, что определенный метод выполнения случайного блуждания будет производить выборку из совместного распределения .

Скрытая марковская модель

Скрытая марковская модель — это марковская цепь, для которой состояние наблюдается лишь частично или наблюдается с помехами. Другими словами, наблюдения связаны с состоянием системы, но их обычно недостаточно для точного определения состояния. Существует несколько известных алгоритмов для скрытых марковских моделей. Например, при наличии последовательности наблюдений алгоритм Витерби вычислит наиболее вероятную соответствующую последовательность состояний, прямой алгоритм вычислит вероятность последовательности наблюдений, а алгоритм Баума–Велча оценит начальные вероятности, функцию перехода и функцию наблюдения скрытой марковской модели.

Одним из распространенных применений является распознавание речи , где наблюдаемые данные — это звуковая волна речи , а скрытое состояние — произнесенный текст. В этом примере алгоритм Витерби находит наиболее вероятную последовательность произнесенных слов, учитывая речевой звук.

Марковский процесс принятия решений

Процесс принятия решений Маркова — это цепь Маркова, в которой переходы состояний зависят от текущего состояния и вектора действия, применяемого к системе. Обычно процесс принятия решений Маркова используется для вычисления политики действий, которая максимизирует некоторую полезность относительно ожидаемых вознаграждений.

Частично наблюдаемый марковский процесс принятия решений

Частично наблюдаемый марковский процесс принятия решений (POMDP) ​​— это марковский процесс принятия решений, в котором состояние системы наблюдается лишь частично. Известно, что POMDP являются NP-полными , но недавние методы аппроксимации сделали их полезными для различных приложений, таких как управление простыми агентами или роботами. [1]

Марковское случайное поле

Случайное поле Маркова , или сеть Маркова, можно считать обобщением цепи Маркова в нескольких измерениях. В цепи Маркова состояние зависит только от предыдущего состояния во времени, тогда как в случайном поле Маркова каждое состояние зависит от своих соседей в любом из нескольких направлений. Случайное поле Маркова можно визуализировать как поле или граф случайных величин, где распределение каждой случайной величины зависит от соседних переменных, с которыми она связана. Более конкретно, совместное распределение для любой случайной величины в графе можно вычислить как произведение «потенциалов клик» всех клик в графе, которые содержат эту случайную величину. Моделирование задачи как случайного поля Маркова полезно, поскольку оно подразумевает, что совместные распределения в каждой вершине графа могут быть вычислены таким образом.

Иерархические марковские модели

Иерархические модели Маркова могут применяться для категоризации человеческого поведения на различных уровнях абстракции. Например, ряд простых наблюдений, таких как местоположение человека в комнате, может быть интерпретирован для определения более сложной информации, например, какую задачу или действие выполняет человек. Два вида иерархических моделей Маркова — это иерархическая скрытая модель Маркова [2] и абстрактная скрытая модель Маркова. [3] Обе использовались для распознавания поведения [4] , а определенные свойства условной независимости между различными уровнями абстракции в модели позволяют быстрее обучаться и делать выводы. [3] [5]

Толерантная марковская модель

Толерантная марковская модель (TMM) — вероятностно-алгоритмическая марковская цепная модель. [6] Она назначает вероятности в соответствии с контекстом обусловливания, который рассматривает последний символ из последовательности, который должен произойти, как наиболее вероятный вместо истинного встречающегося символа. TMM может моделировать три различных природы: замены, добавления или удаления. Успешные приложения были эффективно реализованы в сжатии последовательностей ДНК. [6] [7]

Модели прогнозирования на основе цепей Маркова

Марковские цепи использовались в качестве методов прогнозирования для нескольких тем, например, ценовых тенденций, [8] ветроэнергетики [9] и солнечного излучения . [10] Марковские модели прогнозирования используют различные настройки, от дискретизации временных рядов [9] до скрытых марковских моделей в сочетании с вейвлетами [8] и моделью распределения смеси марковских цепей (MCM). [10]

Смотрите также

Ссылки

  1. ^ Kaelbling, LP; Littman, ML; Cassandra, AR (1998). «Планирование и действие в частично наблюдаемых стохастических областях». Искусственный интеллект . 101 (1–2): 99–134. CiteSeerX  10.1.1.390.8474 . doi : 10.1016/S0004-3702(98)00023-X . ISSN  0004-3702.
  2. ^ Файн, С.; Сингер, Ю. (1998). «Иерархическая скрытая марковская модель: анализ и приложения». Машинное обучение . 32 (1): 41–62. doi : 10.1023/A:1007469218079 .
  3. ^ ab Bui, HH; Venkatesh, S.; West, G. (2002). «Распознавание политики в абстрактной скрытой марковской модели». Журнал исследований искусственного интеллекта . 17 : 451–499. doi : 10.1613/jair.839 . hdl : 10536/DRO/DU:30044252 .
  4. ^ Теохарус, Г. (2002). Иерархическое обучение и планирование в частично наблюдаемых марковских процессах принятия решений (PhD). Университет штата Мичиган.
  5. ^ Лур, С.; Буй, Х. Х.; Венкатеш, С.; Уэст, GAW (2003). «Распознавание человеческой деятельности посредством иерархического стохастического обучения». Труды PERCOM '03 Первой международной конференции IEEE по всепроникающим вычислениям и коммуникациям . стр. 416–422. CiteSeerX 10.1.1.323.928 . doi :10.1109/PERCOM.2003.1192766. ISBN  978-0-7695-1893-0. S2CID  13938580.
  6. ^ ab Pratas, D.; Hosseini, M.; Pinho, AJ (2017). «Модели Маркова, устойчивые к замене, для относительного сжатия последовательностей ДНК». PACBB 2017 – 11-я Международная конференция по практическим применениям вычислительной биологии и биоинформатики, Порту, Португалия . стр. 265–272. doi :10.1007/978-3-319-60816-7_32. ISBN 978-3-319-60815-0.
  7. ^ Пратас, Д.; Пиньо, Эй Джей; Феррейра, PJSG (2016). «Эффективное сжатие геномных последовательностей». Конференция по сжатию данных (DCC), 2016 . IEEE. стр. 231–240. дои : 10.1109/DCC.2016.60. ISBN 978-1-5090-1853-6. S2CID  14230416.
  8. ^ ab de Souza e Silva, EG; Legey, LFL; de Souza e Silva, EA (2010). «Прогнозирование тенденций цен на нефть с использованием вейвлетов и скрытых марковских моделей». Energy Economics . 32 .
  9. ^ ab Карпиноне, А.; Джорджио, М.; Ланджелла, Р.; Теста, А. (2015). «Моделирование цепи Маркова для сверхкраткосрочного прогнозирования ветроэнергетики». Исследования электроэнергетических систем . 122 : 152–158. doi : 10.1016/j.epsr.2014.12.025 .
  10. ^ ab Munkhammar, J.; van der Meer, DW; Widén, J. (2019). «Вероятностное прогнозирование временных рядов индекса ясного неба с высоким разрешением с использованием модели распределения смеси цепей Маркова». Solar Energy . 184 : 688–695. doi :10.1016/j.solener.2019.04.014. S2CID  146076100.