Продукт экспертов

Метод машинного обучения

Продукт экспертов (PoE) — это метод машинного обучения . Он моделирует распределение вероятностей, объединяя выходные данные нескольких более простых распределений. Он был предложен Джеффри Хинтоном в 1999 году ^[1] вместе с алгоритмом обучения параметров такой системы.

Основная идея заключается в объединении нескольких распределений вероятностей («экспертов») путем умножения их функций плотности, что делает классификацию PoE похожей на операцию «и». Это позволяет каждому эксперту принимать решения на основе нескольких измерений без необходимости охватывать всю размерность проблемы: ${\displaystyle P(y|\{x_{k}\})={\frac {1}{Z}}\prod _{j=1}^{M}f_{j}(y|\{x_{k}\})}$

где — ненормализованные экспертные плотности, а — константа нормализации (см. статистическая сумма (статистическая механика) ). ${\displaystyle f_{j}}$ ${\displaystyle Z=\int {\mbox{d}}y\prod _{j=1}^{M}f_{j}(y|\{x_{k}\})}$

Это связано (но существенно отличается) с моделью смеси , в которой несколько распределений вероятностей объединяются с помощью операции «или», которая представляет собой взвешенную сумму их функций плотности: с ${\displaystyle p_{j}(y|\{x_{j}\})}$ ${\displaystyle P(y|\{x_{k}\})=\sum _{j=1}^{M}\alpha _{j}p_{j}(y|\{x_{k}\}),}$ ${\displaystyle \sum _{j}\alpha _{j}=1.}$

Эксперты могут пониматься как ответственные за соблюдение ограничения в многомерном пространстве. Точка данных считается вероятной, если ни один из экспертов не утверждает, что точка нарушает ограничение.

Для его оптимизации он предложил алгоритм минимизации контрастной дивергенции . ^[2] Этот алгоритм чаще всего используется для обучения ограниченных машин Больцмана .

Смотрите также

• Смесь экспертов
• машина Больцмана

Ссылки

1. Хинтон, GE (1999). «Продукты экспертов». 9-я Международная конференция по искусственным нейронным сетям: ICANN '99 . Том 1999. IEE. С. 1–6. doi :10.1049/cp:19991075. ISBN 978-0-85296-721-8.
2. Хинтон, Джеффри Э. (2002-08-01). «Продукты обучения экспертов путем минимизации контрастного расхождения». Neural Computation . 14 (8): 1771–1800. doi :10.1162/089976602760128018. ISSN  0899-7667. PMID  12180402. S2CID  207596505.

Внешние ссылки

• Продукт статьи экспертов в Scholarpedia
• Статьи Джеффри Хинтона о PoE