Методы ядра для векторного вывода

Методы ядра — это хорошо зарекомендовавший себя инструмент для анализа взаимосвязи между входными данными и соответствующим выходом функции. Ядра инкапсулируют свойства функций вычислительно эффективным способом и позволяют алгоритмам легко менять функции различной сложности.

В типичных алгоритмах машинного обучения эти функции производят скалярный вывод. Недавнее развитие методов ядра для функций с векторным выводом обусловлено, по крайней мере частично, интересом к одновременному решению связанных задач. Ядра, которые фиксируют взаимосвязь между задачами, позволяют им заимствовать силу друг у друга. Алгоритмы этого типа включают многозадачное обучение (также называемое многовыходным обучением или векторным обучением), трансферное обучение и совместный кригинг . Многометковую классификацию можно интерпретировать как сопоставление входных данных (двоичным) кодирующим векторам с длиной, равной количеству классов.

В гауссовых процессах ядра называются функциями ковариации . Функции с несколькими выходами соответствуют рассмотрению нескольких процессов. См. Байесовскую интерпретацию регуляризации для связи между двумя перспективами.

История

История обучения векторнозначным функциям тесно связана с трансферным обучением — сохранением знаний, полученных при решении одной проблемы, и применением их к другой, но связанной проблеме. Основная мотивация трансферного обучения в области машинного обучения обсуждалась на семинаре NIPS-95 по теме «Обучение обучению», который был сосредоточен на необходимости методов машинного обучения на протяжении всей жизни, которые сохраняют и повторно используют ранее полученные знания. Исследования трансферного обучения привлекали большое внимание с 1995 года под разными названиями: обучение обучению, непрерывное обучение, передача знаний, индуктивный перенос, многозадачное обучение, консолидация знаний, контекстно-зависимое обучение, индуктивное смещение на основе знаний, метаобучение и инкрементальное/кумулятивное обучение . ^[1] Интерес к обучению векторнозначным функциям был особенно вызван многозадачным обучением — структурой, которая пытается изучить несколько, возможно, разных задач одновременно.

Большая часть первоначальных исследований в области многозадачного обучения в сообществе машинного обучения была алгоритмической по своей природе и применялась к таким методам, как нейронные сети, деревья решений и k -ближайших соседей в 1990-х годах. ^[2] Использование вероятностных моделей и гауссовских процессов было впервые применено и в значительной степени разработано в контексте геостатистики, где прогнозирование по векторным выходным данным известно как кокригинг. ^{[3] [4] [5]} Геостатистические подходы к многомерному моделированию в основном сформулированы вокруг линейной модели корегионализации (LMC), генеративного подхода для разработки допустимых ковариационных функций, который использовался для многомерной регрессии и в статистике для компьютерной эмуляции дорогостоящих многомерных компьютерных кодов. Литература по регуляризации и теории ядра для векторных функций последовала в 2000-х годах. ^{[6] [7]} Хотя байесовские и регуляризационные перспективы были разработаны независимо, на самом деле они тесно связаны. ^[8]

Обозначение

В этом контексте задача контролируемого обучения заключается в изучении функции , которая наилучшим образом предсказывает векторные выходные данные при заданных входных данных (данных) . ${\displaystyle f}$ ${\displaystyle \mathbf {y_{i}} }$ ${\displaystyle \mathbf {x_{i}} }$

${\displaystyle f(\mathbf {x_{i}} )=\mathbf {y_{i}} }$для ${\displaystyle i=1,\ldots ,N}$

${\displaystyle \mathbf {x_{i}} \in {\mathcal {X}}}$, входное пространство (например ) ${\displaystyle {\mathcal {X}}=\mathbb {R} ^{p}}$

${\displaystyle \mathbf {y_{i}} \in \mathbb {R} ^{D}}$

В общем случае каждый компонент ( ) может иметь разные входные данные ( ) с разной мощностью ( ) и даже разные входные пространства ( ). ^[8] В геостатистической литературе этот случай называется гетеротопным , а термин изотопный используется для обозначения того, что каждый компонент выходного вектора имеет один и тот же набор входных данных. ^[9] ${\displaystyle \mathbf {y_{i}} }$ ${\displaystyle \mathbf {x_{d,i}} }$ ${\displaystyle p}$ ${\displaystyle {\mathcal {X}}}$

Здесь для простоты записи мы предполагаем, что количество и выборочное пространство данных для каждого выхода одинаковы.

Перспектива регуляризации[8][10][11]

С точки зрения регуляризации проблема заключается в изучении принадлежности к воспроизводящему ядру гильбертова пространства векторнозначных функций ( ). Это похоже на скалярный случай регуляризации Тихонова , с некоторой дополнительной осторожностью в обозначениях. ${\displaystyle f_{*}}$ ${\displaystyle {\mathcal {H}}}$

${\displaystyle ^{\dagger }}$Можно, хотя и нетривиально, показать, что теорема о представителе справедлива и для регуляризации Тихонова в векторнозначной постановке. ^[8]

Обратите внимание, что матрично-значное ядро ​​также может быть определено скалярным ядром на пространстве . Между гильбертовыми пространствами, связанными с этими двумя ядрами, существует изометрия : ${\displaystyle \mathbf {K} }$ ${\displaystyle R}$ ${\displaystyle {\mathcal {X}}\times \{1,\ldots ,D\}}$

${\displaystyle (\mathbf {K} (x,x'))_{d,d'}=R((x,d),(x',d'))}$

Перспектива гауссовского процесса

Оценщик векторно-значной структуры регуляризации также может быть получен с байесовской точки зрения с использованием методов гауссовского процесса в случае конечномерного воспроизводящего ядра Гильбертова пространства . Вывод аналогичен скалярно-значному случаю байесовской интерпретации регуляризации . Предполагается, что векторно-значная функция , состоящая из выходов , следует гауссовскому процессу: ${\displaystyle {\textbf {f}}}$ ${\displaystyle D}$ ${\displaystyle \left\{f_{d}\right\}_{d=1}^{D}}$

${\displaystyle {\textbf {f}}\sim {\mathcal {GP}}({\textbf {m}},{\textbf {K}})}$

где теперь — вектор средних функций для выходов, а — положительно определенная матричная функция с записью, соответствующей ковариации между выходами и . ${\displaystyle {\textbf {m}}:{\mathcal {X}}\to {\textbf {R}}^{D}}$ ${\displaystyle \left\{m_{d}({\textbf {x}})\right\}_{d=1}^{D}}$ ${\displaystyle {\textbf {K}}}$ ${\displaystyle ({\textbf {K}}({\textbf {x}},{\textbf {x}}'))_{d,d'}}$ ${\displaystyle f_{d}({\textbf {x}})}$ ${\displaystyle f_{d'}({\textbf {x}}')}$

Для набора входов априорное распределение по вектору задается как , где — вектор, который объединяет средние векторы, связанные с выходами, и представляет собой блочно-разделенную матрицу. Распределение выходов принимается гауссовым: ${\displaystyle {\textbf {X}}}$ ${\displaystyle {\textbf {f}}({\textbf {X}})}$ ${\displaystyle {\mathcal {N}}({\textbf {m}}({\textbf {X}}),{\textbf {K}}({\textbf {X}},{\textbf {X}}))}$ ${\displaystyle {\textbf {m}}({\textbf {X}})}$ ${\displaystyle {\textbf {K}}({\textbf {X}},{\textbf {X}})}$

${\displaystyle p({\textbf {y}}\mid {\textbf {f}},{\textbf {x}},\Sigma )={\mathcal {N}}({\textbf {f}}({\textbf {x}}),\Sigma )}$

где — диагональная матрица с элементами, определяющими шум для каждого выхода. Используя эту форму для правдоподобия, предсказательное распределение для нового вектора равно: ${\displaystyle \Sigma \in {\mathcal {\textbf {R}}}^{D\times D}}$ ${\displaystyle \left\{\sigma _{d}^{2}\right\}_{d=1}^{D}}$ ${\displaystyle {\textbf {x}}_{*}}$

${\displaystyle p({\textbf {f}}({\textbf {x}}_{*})\mid {\textbf {S}},{\textbf {f}},{\textbf {x}}_{*},\phi )={\mathcal {N}}({\textbf {f}}_{*}({\textbf {x}}_{*}),{\textbf {K}}_{*}({\textbf {x}}_{*},{\textbf {x}}_{*}))}$

где — обучающие данные, а — набор гиперпараметров для и . ${\displaystyle {\textbf {S}}}$ ${\displaystyle \phi }$ ${\displaystyle {\textbf {K}}({\textbf {x}},{\textbf {x}}')}$ ${\displaystyle \Sigma }$

Тогда можно получить уравнения для и : ${\displaystyle {\textbf {f}}_{*}}$ ${\displaystyle {\textbf {K}}_{*}}$

${\displaystyle {\textbf {f}}_{*}({\textbf {x}}_{*})={\textbf {K}}_{{\textbf {x}}_{*}}^{T}({\textbf {K}}({\textbf {X}},{\textbf {X}})+{\boldsymbol {\Sigma }})^{-1}{\bar {\textbf {y}}}}$

${\displaystyle {\textbf {K}}_{*}({\textbf {x}}_{*},{\textbf {x}}_{*})={\textbf {K}}({\textbf {x}}_{*},{\textbf {x}}_{*})-{\textbf {K}}_{{\textbf {x}}_{*}}({\textbf {K}}({\textbf {X}},{\textbf {X}})+{\boldsymbol {\Sigma }})^{-1}{\textbf {K}}_{{\textbf {x}}_{*}}^{T}}$

где имеет записи для и . Обратите внимание, что предиктор идентичен предиктору, полученному в рамках регуляризации. Для негауссовых правдоподобий необходимы другие методы, такие как приближение Лапласа и вариационные методы, чтобы аппроксимировать оценщики. ${\displaystyle {\boldsymbol {\Sigma }}=\Sigma \otimes {\textbf {I}}_{N},{\textbf {K}}_{{\textbf {x}}_{*}}\in {\mathcal {\textbf {R}}}^{D\times ND}}$ ${\displaystyle ({\textbf {K}}({\textbf {x}}_{*},{\textbf {x}}_{j}))_{d,d'}}$ ${\displaystyle j=1,\cdots ,N}$ ${\displaystyle d,d'=1,\cdots ,D}$ ${\displaystyle {\textbf {f}}^{*}}$

Примеры ядер

Разделяемый

Простой, но широко применимый класс многовыходных ядер можно разделить на произведение ядра на входном пространстве и ядра, представляющего корреляции между выходами: ^[8]

${\displaystyle (\mathbf {K} (\mathbf {x} ,\mathbf {x'} ))_{d,d'}=k(\mathbf {x} ,\mathbf {x'} )k_{T}(d,d')}$

${\displaystyle k}$: скалярное ядро ​​включено ${\displaystyle {\mathcal {X}}\times {\mathcal {X}}}$

${\displaystyle k_{T}}$: скалярное ядро ​​включено ${\displaystyle \{1,\ldots ,D\}\times \{1,\ldots ,D\}}$

В матричной форме:    где — симметричная и положительно полуопределенная матрица. Обратите внимание, что установка на единичную матрицу рассматривает выходы как несвязанные и эквивалентна решению задач скалярного выхода по отдельности. ${\displaystyle \mathbf {K} (\mathbf {x} ,\mathbf {x'} )=k(\mathbf {x} ,\mathbf {x'} )\mathbf {B} }$ ${\displaystyle \mathbf {B} }$ ${\displaystyle D\times D}$ ${\displaystyle \mathbf {B} }$

Для несколько более общей формы сложение нескольких таких ядер дает сумму разделяемых ядер (ядер SoS).

Из литературы по регуляризации^{[8][10][12][13][14]}

Получено из регуляризатора

Один из способов получения — указать регуляризатор , который ограничивает сложность желаемым образом, а затем вывести соответствующее ядро. Для некоторых регуляризаторов это ядро ​​окажется разделимым. ${\displaystyle k_{T}}$ ${\displaystyle f}$

Регуляризатор смешанного действия

${\displaystyle R(\mathbf {f} )=A_{\omega }(C_{\omega }\sum \limits _{l=1}^{D}\|f_{l}\|_{k}^{2}+\omega D\sum \limits _{l=1}^{D}\|f_{l}-{\bar {f}}\|_{k}^{2})}$

где:

• ${\displaystyle A_{\omega }={\frac {1}{2(1-\omega )(1-\omega +\omega D)}}}$
• ${\displaystyle C_{\omega }=(2-2\omega +\omega D)}$
• ${\displaystyle {\bar {f}}={\frac {1}{D}}\sum \limits _{q=1}^{D}f_{q}}$
• ${\displaystyle K_{\omega }(x,x')=k(x,x')(\omega \mathbf {1} +(1-\omega )\mathbf {I} _{D}}$

где матрица со всеми элементами, равными 1. ${\displaystyle \mathbf {1} {\text{ is a }}D\times D}$

Этот регуляризатор представляет собой комбинацию ограничения сложности каждого компонента оценщика ( ) и принуждения каждого компонента оценщика быть близким к среднему значению всех компонентов. Настройка рассматривает все компоненты как независимые и является тем же самым, что и решение скалярных задач по отдельности. Настройка предполагает, что все компоненты объясняются одной и той же функцией. ${\displaystyle f_{l}}$ ${\displaystyle \omega =0}$ ${\displaystyle \omega =1}$

Регуляризатор на основе кластера

${\displaystyle R(\mathbf {f} )=\varepsilon _{1}\sum _{c=1}^{r}\sum _{l\in I(c)}\|f_{l}-{\bar {f_{c}}}\|_{k}^{2}+\varepsilon _{2}\sum \limits _{c=1}^{r}m_{c}\|{\bar {f_{c}}}\|_{k}^{2}}$

где:

• ${\displaystyle I(c)}$это индексный набор компонентов, принадлежащих кластеру ${\displaystyle c}$
• ${\displaystyle m_{c}}$мощность кластера ${\displaystyle c}$
• ${\displaystyle {\bar {f_{c}}}={\frac {1}{m_{c}}}\sum \limits _{q\in I(c)}f_{q}}$
• ${\displaystyle \mathbf {M} _{l,q}={\frac {1}{m_{c}}}}$если и оба принадлежат кластеру  ( иначе ${\displaystyle l}$ ${\displaystyle q}$ ${\displaystyle c}$ ${\displaystyle \mathbf {M} _{l,q}=0}$
• ${\displaystyle K(x,x')=k(x,x')\mathbf {G} ^{\dagger }}$

где ${\displaystyle \mathbf {G} _{l,q}=\varepsilon _{1}\delta _{lq}+(\varepsilon _{2}-\varepsilon _{1})\mathbf {M} _{l,q}}$

Этот регуляризатор делит компоненты на кластеры и заставляет компоненты в каждом кластере быть похожими. ${\displaystyle r}$

Регуляризатор графа

${\displaystyle R(\mathbf {f} )={\frac {1}{2}}\sum \limits _{l,q=1}^{D}\Vert f_{l}-f_{q}\Vert _{k}^{2}\mathbf {M} _{lq}+\sum \limits _{l=1}^{D}\Vert f_{l}\Vert _{k}^{2}\mathbf {M} _{l,l}}$

где матрица весов, кодирующая сходства между компонентами ${\displaystyle \mathbf {M} {\text{ is a }}D\times D}$

${\displaystyle K(x,x')=k(x,x')\mathbf {L} ^{\dagger }}$

где ,   ${\displaystyle \mathbf {L} =\mathbf {D} -\mathbf {M} }$ ${\displaystyle \mathbf {D} _{l,q}=\delta _{l,q}(\sum \limits _{h=1}^{D}\mathbf {M} _{l,h}+\mathbf {M} _{l,q})}$

Обратите внимание, это граф лапласиан . См. также: граф ядро . ${\displaystyle \mathbf {L} }$

Извлечено из данных

Было предложено несколько подходов к обучению на основе данных. ^[8] К ним относятся: выполнение предварительного шага вывода для оценки на основе обучающих данных, ^[9] предложение об обучении и совместном использовании на основе кластерного регуляризатора, ^[15] и подходы на основе разреженности, которые предполагают, что необходимы только некоторые из признаков. ^{[16] [17]} ${\displaystyle \mathbf {B} }$ ${\displaystyle \mathbf {B} }$ ${\displaystyle \mathbf {B} }$ ${\displaystyle \mathbf {f} }$

Из байесовской литературы

Линейная модель корегионализации (ЛМК)

В LMC выходы выражаются как линейные комбинации независимых случайных функций, так что результирующая ковариационная функция (по всем входам и выходам) является допустимой положительной полуопределенной функцией. Предполагая выходы с , каждый выражается как: ${\displaystyle D}$ ${\displaystyle \left\{f_{d}({\textbf {x}})\right\}_{d=1}^{D}}$ ${\displaystyle {\textbf {x}}\in {\mathcal {\textbf {R}}}^{p}}$ ${\displaystyle f_{d}}$

${\displaystyle f_{d}({\textbf {x}})=\sum _{q=1}^{Q}{a_{d,q}u_{q}({\textbf {x}})}}$

где — скалярные коэффициенты, а независимые функции имеют нулевое среднее значение и ковариацию cov, если и 0 в противном случае. Взаимная ковариация между любыми двумя функциями и может быть записана как: ${\displaystyle a_{d,q}}$ ${\displaystyle u_{q}({\textbf {x}})}$ ${\displaystyle [u_{q}({\textbf {x}}),u_{q'}({\textbf {x}}')]=k_{q}({\textbf {x}},{\textbf {x}}')}$ ${\displaystyle q=q'}$ ${\displaystyle f_{d}({\textbf {x}})}$ ${\displaystyle f_{d'}({\textbf {x}})}$

${\displaystyle \operatorname {cov} [f_{d}({\textbf {x}}),f_{d'}({\textbf {x}}')]=\sum _{q=1}^{Q}{\sum _{i=1}^{R_{q}}{a_{d,q}^{i}a_{d',q}^{i}k_{q}({\textbf {x}},{\textbf {x}}')}}=\sum _{q=1}^{Q}{b_{d,d'}^{q}k_{q}({\textbf {x}},{\textbf {x}}')}}$

где функции , при и имеют нулевое среднее значение и ковариацию cov, если и . Но задается выражением . Таким образом, ядро ​​теперь можно выразить как ${\displaystyle u_{q}^{i}({\textbf {x}})}$ ${\displaystyle q=1,\cdots ,Q}$ ${\displaystyle i=1,\cdots ,R_{q}}$ ${\displaystyle [u_{q}^{i}({\textbf {x}}),u_{q'}^{i'}({\textbf {x}})']=k_{q}({\textbf {x}},{\textbf {x}}')}$ ${\displaystyle i=i'}$ ${\displaystyle q=q'}$ ${\displaystyle \operatorname {cov} [f_{d}({\textbf {x}}),f_{d'}({\textbf {x}}')]}$ ${\displaystyle ({\textbf {K}}({\textbf {x}},{\textbf {x}}'))_{d,d'}}$ ${\displaystyle {\textbf {K}}({\textbf {x}},{\textbf {x}}')}$

${\displaystyle {\textbf {K}}({\textbf {x}},{\textbf {x}}')=\sum _{q=1}^{Q}{{\textbf {B}}_{q}k_{q}({\textbf {x}},{\textbf {x}}')}}$

где каждая из них известна как матрица корегионализации. Таким образом, ядро, полученное из LMC, представляет собой сумму произведений двух функций ковариации, одна из которых моделирует зависимость между выходами независимо от входного вектора (матрица корегионализации ), а другая моделирует зависимость входов независимо от (функция ковариации ). ${\displaystyle {\textbf {B}}_{q}\in {\mathcal {\textbf {R}}}^{D\times D}}$ ${\displaystyle {\textbf {x}}}$ ${\displaystyle {\textbf {B}}_{q}}$ ${\displaystyle \left\{f_{d}({\textbf {x}})\right\}_{d=1}^{D}}$ ${\displaystyle k_{q}({\textbf {x}},{\textbf {x}}')}$

Модель внутренней корегионализации (ICM)

ICM представляет собой упрощенную версию LMC с . ICM предполагает, что элементы матрицы корегионализации могут быть записаны как , для некоторых подходящих коэффициентов . С этой формой для : ${\displaystyle Q=1}$ ${\displaystyle b_{d,d'}^{q}}$ ${\displaystyle \mathbf {B} _{q}}$ ${\displaystyle b_{d,d'}^{q}=v_{d,d'}b_{q}}$ ${\displaystyle v_{d,d'}}$ ${\displaystyle b_{d,d'}^{q}}$

${\displaystyle \operatorname {cov} \left[f_{d}(\mathbf {x} ),f_{d'}(\mathbf {x} ')\right]=\sum _{q=1}^{Q}{v_{d,d'}b_{q}k_{q}(\mathbf {x} ,\mathbf {x} ')}=v_{d,d'}\sum _{q=1}^{Q}{b_{q}k_{q}(\mathbf {x} ,\mathbf {x} ')}=v_{d,d'}k(\mathbf {x} ,\mathbf {x} ')}$

где

${\displaystyle k(\mathbf {x} ,\mathbf {x} ')=\sum _{q=1}^{Q}{b_{q}k_{q}(\mathbf {x} ,\mathbf {x} ')}.}$

В этом случае коэффициенты

${\displaystyle v_{d,d'}=\sum _{i=1}^{R_{1}}{a_{d,1}^{i}a_{d',1}^{i}}=b_{d,d'}^{1}}$

и матрица ядра для множественных выходов становится . ICM гораздо более ограничительна, чем LMC, поскольку предполагает, что каждая базовая ковариация вносит равный вклад в построение автоковариаций и перекрестных ковариаций для выходов. Однако вычисления, необходимые для вывода, значительно упрощены. ${\displaystyle \mathbf {K} (\mathbf {x} ,\mathbf {x} ')=k(\mathbf {x} ,\mathbf {x} ')\mathbf {B} }$ ${\displaystyle k_{q}(\mathbf {x} ,\mathbf {x} ')}$

Полупараметрическая модель латентного фактора (SLFM)

Другой упрощенной версией LMC является полупараметрическая модель латентного фактора (SLFM), которая соответствует настройке (вместо как в ICM). Таким образом, каждая латентная функция имеет свою собственную ковариацию. ${\displaystyle R_{q}=1}$ ${\displaystyle Q=1}$ ${\displaystyle u_{q}}$

Неразделимый

Несмотря на простоту, структура разделяемых ядер может оказаться слишком ограниченной для решения некоторых задач.

Известные примеры неразделимых ядер в литературе по регуляризации включают в себя:

• Матричнозначные экспоненциированные квадратичные (EQ) ядра, предназначенные для оценки векторных полей без дивергенции или без вихрей (или их выпуклой комбинации) ^{[8] [18]}
• Ядра, определяемые преобразованиями ^{[8] [19]}

В байесовской перспективе LMC производит разделимое ядро, поскольку выходные функции, оцененные в точке, зависят только от значений скрытых функций в . Нетривиальный способ смешивания скрытых функций — это свертывание базового процесса со сглаживающим ядром. Если базовый процесс является гауссовым процессом, свернутый процесс также является гауссовым. Поэтому мы можем использовать свертки для построения ковариационных функций. ^[20] Этот метод создания неразделимых ядер известен как свертка процесса. Свертки процесса были введены для множественных выходов в сообществе машинного обучения как «зависимые гауссовские процессы». ^[21] ${\displaystyle {\textbf {x}}}$ ${\displaystyle {\textbf {x}}}$

Выполнение

При реализации алгоритма с использованием любого из вышеперечисленных ядер необходимо учитывать практические соображения по настройке параметров и обеспечению разумного времени вычислений.

Перспектива регуляризации

Подходя с точки зрения регуляризации, настройка параметров похожа на скалярный случай и, как правило, может быть выполнена с помощью перекрестной проверки . Решение требуемой линейной системы обычно требует больших затрат памяти и времени. Если ядро ​​является разделимым, преобразование координат может быть преобразовано в блочно-диагональную матрицу , что значительно снижает вычислительную нагрузку за счет решения D независимых подзадач (плюс собственное разложение ) . В частности, для функции потерь наименьших квадратов (регуляризация Тихонова) существует решение в замкнутой форме для : ^{[8] [14]} ${\displaystyle \mathbf {K} (\mathbf {X} ,\mathbf {X} )}$ ${\displaystyle \mathbf {B} }$ ${\displaystyle {\bar {\mathbf {c} }}}$

${\displaystyle {\bar {\mathbf {c} }}^{d}=\left(k(\mathbf {X} ,\mathbf {X} )+{\frac {\lambda _{N}}{\sigma _{d}}}\mathbf {I} \right)^{-1}{\frac {{\bar {\mathbf {y} }}^{d}}{\sigma _{d}}}}$

Байесовская перспектива

Существует много работ, связанных с оценкой параметров для гауссовых процессов. Некоторые методы, такие как максимизация предельного правдоподобия (также известная как аппроксимация свидетельств, максимальное правдоподобие типа II, эмпирический байесовский метод) и наименьшие квадраты, дают точечные оценки вектора параметров . Существуют также работы, использующие полный байесовский вывод путем назначения априорных значений и вычисления апостериорного распределения с помощью процедуры выборки. Для негауссовых правдоподобий не существует решения в замкнутой форме для апостериорного распределения или для предельного правдоподобия. Однако предельное правдоподобие может быть аппроксимировано в рамках аппроксимации Лапласа, вариационного байесовского метода или метода распространения ожиданий (EP) для множественной классификации выходных данных и использовано для поиска оценок гиперпараметров. ${\displaystyle \phi }$ ${\displaystyle \phi }$

Основная вычислительная проблема с байесовской точки зрения та же самая, что и в теории регуляризации при обращении матрицы.

${\displaystyle {\overline {\mathbf {K} (\mathbf {X} ,\mathbf {X} )}}=\mathbf {K} (\mathbf {X} ,\mathbf {X} )+{\boldsymbol {\Sigma }}.}$

Этот шаг необходим для вычисления предельного правдоподобия и предсказательного распределения. Для большинства предлагаемых методов аппроксимации для сокращения вычислений полученная вычислительная эффективность не зависит от конкретного метода (например, LMC, свертка процессов), используемого для вычисления матрицы ковариации с несколькими выходами. Краткое изложение различных методов для снижения вычислительной сложности в гауссовых процессах с несколькими выходами представлено в. ^[8]

Ссылки

1. SJ Pan и Q. Yang, «Обзор трансферного обучения», IEEE Transactions on Knowledge and Data Engineering, 22, 2010
2. Рич Каруана, «Многозадачное обучение», Машинное обучение, 41–76, 1997
3. J. Ver Hoef и R. Barry, «Построение и подгонка моделей для кокригинга и многомерного пространственного прогнозирования ^{[ нерабочая ссылка ]} », Журнал статистического планирования и вывода, 69:275–294, 1998
4. П. Гувертс, «Геостатистика для оценки природных ресурсов», Oxford University Press, США, 1997
5. Н. Кресси «Статистика пространственных данных», John Wiley & Sons Inc. (пересмотренное издание), США, 1993 г.
6. CA Micchelli и M. Pontil, «Об изучении векторнозначных функций», Neural Computation, 17:177–204, 2005
7. C. Carmeli et al., "Векторнозначные воспроизводящие ядра гильбертовых пространств интегрируемых функций и теорема Мерсера", Anal. Appl. (Singap.), 4
8. Маурисио А. Альварес, Лоренцо Росаско и Нил Д. Лоуренс, «Ядра векторных функций: обзор», Основы и тенденции в машинном обучении 4, вып. 3 (2012): 195–266. doi: 10.1561/2200000036 arXiv:1106.6251
9. Ганс Вакернагель. Многомерная геостатистика. Springer-Verlag Heidelberg, Нью-Йорк, 2003 г.
10. CA Micchelli и M. Pontil. Об обучении векторнозначных функций. Neural Computation, 17:177–204, 2005.
11. C.Carmeli, E.DeVito и A.Toigo. Векторнозначные воспроизводящие ядра гильбертовых пространств интегрируемых функций и теорема Мерсера. Anal. Appl. (Singap.), 4(4):377–408, 2006.
12. CA Micchelli и M. Pontil. Ядра для многозадачного обучения. В Advances in Neural Information Processing Systems (NIPS). MIT Press, 2004.
13. T.Evgeniou, CAMicchelli и M.Pontil. Изучение нескольких задач с помощью методов ядра. Журнал исследований машинного обучения, 6:615–637, 2005.
14. L. Baldassarre, L. Rosasco, A. Barla и A. Verri. Многовыходное обучение с помощью спектральной фильтрации. Технический отчет, Массачусетский технологический институт, 2011. MIT-CSAIL-TR-2011-004, CBCL-296.
15. Лоран Жакоб, Фрэнсис Бах и Жан-Филипп Вер. Кластерное многозадачное обучение: выпуклая формулировка. В NIPS 21, страницы 745–752, 2008.
16. Андреас Аргириу, Теодорос Эвгениу и Массимилиано Понтил. Выпуклое многозадачное обучение признаков. Машинное обучение, 73(3):243–272, 2008.
17. Андреас Аргириу, Андреас Маурер и Массимилиано Понтил. Алгоритм для переноса обучения в гетерогенной среде. В ECML/PKDD (1), страницы 71–85, 2008.
18. И. Маседо и Р. Кастро. Изучение векторных полей без дивергенций и роторов с матричными ядрами. Технический отчет, Instituto Nacional de Matematica Pura e Aplicada, 2008 г.
19. А. Капоннетто, К. А. Микелли, М. Понтил и И. Ин. Универсальные ядра для многозадачного обучения. Журнал исследований машинного обучения, 9:1615–1646, 2008.
20. Д. Хигдон, «Пространственное и пространственно-временное моделирование с использованием сверток процессов», Количественные методы для современных экологических проблем, 37–56, 2002
21. П. Бойл и М. Фреан, «Зависимые гауссовские процессы», Достижения в области нейронных систем обработки информации, 17:217–224, MIT Press, 2005