Графическая модель

Вероятностная модель

Графическая модель или вероятностная графическая модель ( PGM ) или структурированная вероятностная модель — это вероятностная модель , для которой график выражает условную структуру зависимости между случайными величинами . Они обычно используются в теории вероятностей , статистике — в частности, байесовской статистике — и машинном обучении .

Типы графических моделей

Как правило, вероятностные графические модели используют графовое представление в качестве основы для кодирования распределения в многомерном пространстве и граф, который является компактным или факторизованным представлением набора независимых функций, которые выполняются в конкретном распределении. Обычно используются две ветви графических представлений распределений, а именно, байесовские сети и марковские случайные поля . Оба семейства охватывают свойства факторизации и независимости, но они различаются по набору независимых функций, которые они могут кодировать, и факторизации распределения, которую они индуцируют. ^[1]

Ненаправленная графическая модель

Неориентированный граф с четырьмя вершинами.

Показанный неориентированный граф может иметь одну из нескольких интерпретаций; общей чертой является то, что наличие ребра подразумевает некоторую зависимость между соответствующими случайными величинами. Из этого графика мы можем вывести, что все взаимно независимы, как только известно, или (эквивалентно в этом случае), что ${\displaystyle B,C,D}$ ${\displaystyle A}$

${\displaystyle P[A,B,C,D]=f_{AB}[A,B]\cdot f_{AC}[A,C]\cdot f_{AD}[A,D]}$

для некоторых неотрицательных функций . ${\displaystyle f_{AB},f_{AC},f_{AD}}$

Байесовская сеть

Пример ориентированного ациклического графа на четырех вершинах.

Если сетевая структура модели представляет собой направленный ациклический граф , то модель представляет собой факторизацию совместной вероятности всех случайных величин. Точнее, если события являются , то совместная вероятность удовлетворяет ${\displaystyle X_{1},\ldots ,X_{n}}$

${\displaystyle P[X_{1},\ldots ,X_{n}]=\prod _{i=1}^{n}P[X_{i}|{\text{pa}}(X_{i})]}$

где — множество родителей узла (узлы с ребрами, направленными к ). Другими словами, совместное распределение разлагается на произведение условных распределений. Например, в направленном ациклическом графе, показанном на рисунке, эта факторизация будет иметь вид ${\displaystyle {\text{pa}}(X_{i})}$ ${\displaystyle X_{i}}$ ${\displaystyle X_{i}}$

${\displaystyle P[A,B,C,D]=P[A]\cdot P[B|A]\cdot P[C|A]\cdot P[D|A,C]}$.

Любые два узла условно независимы, учитывая значения их родителей. В общем случае любые два набора узлов условно независимы, учитывая третий набор, если в графе выполняется критерий, называемый d -разделением . Локальные независимости и глобальные независимости эквивалентны в байесовских сетях.

Этот тип графической модели известен как направленная графическая модель, байесовская сеть или сеть доверия. Классические модели машинного обучения, такие как скрытые марковские модели , нейронные сети и более новые модели, такие как марковские модели переменного порядка, можно считать частными случаями байесовских сетей.

Одной из простейших байесовских сетей является наивный байесовский классификатор .

Циклические направленные графические модели

Пример направленной циклической графической модели. Каждая стрелка указывает на зависимость. В этом примере: D зависит от A, B и C; а C зависит от B и D; тогда как A и B независимы.

На следующем рисунке изображена графическая модель с циклом. Это можно интерпретировать в терминах каждой переменной, «зависящей» от значений ее родителей в некотором роде. Конкретный показанный график предполагает совместную плотность вероятности, которая факторизуется как

${\displaystyle P[A,B,C,D]=P[A]\cdot P[B]\cdot P[C,D|A,B]}$,

но возможны и другие толкования. ^[2]

Другие типы

• Сеть зависимостей , где разрешены циклы
• Древовидный классификатор или модель TAN

Модель TAN для «набора данных о загонах».

• Целевое байесовское сетевое обучение (TBNL)

  

  Модель TBNL для «набора данных загона»

• Факторный граф — это неориентированный двудольный граф, соединяющий переменные и факторы. Каждый фактор представляет функцию над переменными, с которыми он связан. Это полезное представление для понимания и реализации распространения убеждений .
• Дерево клик или дерево соединений — это дерево клик , используемое в алгоритме дерева соединений .
• Цепной граф — это граф, который может иметь как направленные, так и ненаправленные ребра, но без каких-либо направленных циклов (т. е. если мы начнем с любой вершины и будем двигаться по графу, соблюдая направления любых стрелок, мы не сможем вернуться к вершине, с которой мы начали, если мы прошли стрелку). Как направленные ациклические графы, так и ненаправленные графы являются частными случаями цепных графов, которые, следовательно, могут обеспечить способ объединения и обобщения байесовских и марковских сетей. ^[3]
• Граф предков — это дальнейшее расширение, имеющее направленные, двунаправленные и ненаправленные ребра. ^[4]
• Методы случайного поля
  • Марковское случайное поле , также известное как сеть Маркова, представляет собой модель на неориентированном графе . Графическая модель со многими повторяющимися субъединицами может быть представлена ​​с помощью табличной нотации .
  • Условное случайное поле — это дискриминационная модель, заданная на неориентированном графе.
• Ограниченная машина Больцмана — это двудольная генеративная модель, заданная на неориентированном графе.

Приложения

Структура моделей, которая предоставляет алгоритмы для обнаружения и анализа структуры в сложных распределениях для их краткого описания и извлечения неструктурированной информации, позволяет эффективно их конструировать и использовать. ^[1] Приложения графических моделей включают причинно-следственный вывод , извлечение информации , распознавание речи , компьютерное зрение , декодирование кодов проверки четности с низкой плотностью , моделирование сетей регуляции генов , поиск генов и диагностику заболеваний, а также графические модели для структуры белка .

Смотрите также

• Распространение убеждений
• Модель структурного уравнения

Примечания

1. Коллер, Д .; Фридман, Н. (2009). Вероятностные графические модели. Массачусетс: MIT Press. п. 1208. ИСБН 978-0-262-01319-2. Архивировано из оригинала 2014-04-27.
2. Ричардсон, Томас (1996). "Алгоритм обнаружения направленных циклических графов". Труды Двенадцатой конференции по неопределенности в искусственном интеллекте . ISBN 978-1-55860-412-4.
3. Фрайденберг, Мортен (1990). «Свойство цепного графа Маркова». Scandinavian Journal of Statistics . 17 (4): 333–353. JSTOR  4616181. MR  1096723.
4. Ричардсон, Томас; Спиртес, Питер (2002). «Модели Маркова на основе родовых графов». Annals of Statistics . 30 (4): 962–1030. CiteSeerX 10.1.1.33.4906 . doi :10.1214/aos/1031689015. MR  1926166. Zbl  1033.60008. 

Дальнейшее чтение

Книги и главы книг

• Барбер, Дэвид (2012). Байесовское рассуждение и машинное обучение . Cambridge University Press. ISBN 978-0-521-51814-7.

• Бишоп, Кристофер М. (2006). "Глава 8. Графические модели" (PDF) . Распознавание образов и машинное обучение. Springer. стр. 359–422. ISBN 978-0-387-31073-2. МР  2247587.
• Коуэлл, Роберт Г.; Дэвид, А. Филип ; Лауритцен, Штеффен Л.; Шпигельхальтер, Дэвид Дж. (1999). Вероятностные сети и экспертные системы . Берлин: Шпрингер. ISBN 978-0-387-98767-5. МР  1697175.Более продвинутая и статистически ориентированная книга
• Йенсен, Финн (1996). Введение в байесовские сети . Берлин: Springer. ISBN 978-0-387-91502-9.
• Перл, Иудея (1988). Вероятностное рассуждение в интеллектуальных системах (2-е исправленное изд.). Сан-Матео, Калифорния: Морган Кауфманн . ISBN 978-1-55860-479-7. МР  0965765.Подход вычислительного обоснования, в котором формально введены связи между графиками и вероятностями.

Журнальные статьи

• Edoardo M. Airoldi (2007). «Начало работы с вероятностными графическими моделями». PLOS Computational Biology . 3 (12): e252. arXiv : 0706.2040 . Bibcode : 2007PLSCB...3..252A. doi : 10.1371/journal.pcbi.0030252 . PMC  2134967. PMID  18069887 .
• Jordan, MI (2004). «Графические модели». Статистическая наука . 19 : 140–155. doi : 10.1214/088342304000000026 .
• Гахрамани, Зубин (май 2015 г.). «Вероятностное машинное обучение и искусственный интеллект». Nature . 521 (7553): 452–459. Bibcode :2015Natur.521..452G. doi : 10.1038/nature14541 . PMID  26017444. S2CID  216356.

Другой

• Учебное пособие по изучению сети Байеса Хекермана
• Краткое введение в графические модели и байесовские сети
• Слайды лекции Саргура Шрихари о вероятностных графических моделях

Внешние ссылки

• Графические модели и условные случайные поля
• Вероятностные графические модели, преподаваемые Эриком Сином в CMU