Воспроизведение ядра Гильбертова пространства

В функциональном анализе гильбертово пространство

Рисунок иллюстрирует связанные, но разные подходы к рассмотрению RKHS.

В функциональном анализе воспроизводящее ядро ​​Гильбертово пространство ( RKHS ) — это гильбертово пространство функций, в котором оценка точки является непрерывным линейным функционалом . В частности, гильбертово пространство функций из множества (в или ) является RKHS, если для каждого существует функция такая, что для всех , ${\displaystyle H}$ ${\displaystyle X}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle \mathbb {C} }$ ${\displaystyle x\in X}$ ${\displaystyle K_{x}\in H}$ ${\displaystyle f\in H}$

${\displaystyle \langle f,K_{x}\rangle =f(x).}$

Функция называется воспроизводящим ядром и воспроизводит значение at посредством внутреннего произведения. ${\displaystyle K_{x}}$ ${\displaystyle f}$ ${\displaystyle x}$

Непосредственным следствием этого свойства является то, что сходимость по норме подразумевает поточечную сходимость (и она подразумевает равномерную сходимость, если конечна). Однако обратное не обязательно выполняется. ${\displaystyle \sup _{x\in X}||K_{x}||}$

Например, рассмотрим последовательность функций . Эти функции сходятся поточечно к 0 как , но они не сходятся равномерно (т.е. они не сходятся относительно супремум-нормы). Это иллюстрирует, что поточечная сходимость не подразумевает сходимости по норме. Важно отметить, что супремум-норма не возникает из какого-либо скалярного произведения, поскольку она не удовлетворяет закону параллелограмма . ${\displaystyle \sin ^{2n}(x)}$ ${\displaystyle n\to \infty }$

Не совсем просто построить естественные примеры гильбертова пространства, которые не являются RKHS нетривиальным образом. ^[1] Однако некоторые примеры были найдены. ^{[2] [3]}

Хотя пространства L 2 обычно определяются как гильбертово пространство, элементами которого являются классы эквивалентности функций, его можно тривиально переопределить как гильбертово пространство функций, используя выбор для выбора (общей) функции в качестве представителя для каждого класса эквивалентности. Однако никакой выбор представителей не может сделать это пространство RKHS ( для этого потребуется несуществующая дельта-функция Дирака). Однако существуют RKHS, в которых норма является L ² -нормой, например, пространство функций с ограниченной полосой (см. пример ниже). ${\displaystyle K_{0}}$

RKHS связан с ядром, которое воспроизводит каждую функцию в пространстве в том смысле, что для каждого в наборе, на котором определены функции, «оценка в » может быть выполнена путем взятия внутреннего произведения с функцией, определенной ядром. Такое воспроизводящее ядро ​​существует тогда и только тогда, когда каждый функционал оценки непрерывен. ${\displaystyle x}$ ${\displaystyle x}$

Воспроизводящее ядро ​​было впервые введено в 1907 году в работе Станислава Зарембы, посвященной граничным задачам для гармонических и бигармонических функций . Джеймс Мерсер одновременно исследовал функции , которые удовлетворяют свойству воспроизводства в теории интегральных уравнений . Идея воспроизводящего ядра оставалась нетронутой в течение почти двадцати лет, пока не появилась в диссертациях Габора Сегё , Стефана Бергмана и Саломона Бохнера . В конечном итоге эта тема была систематически разработана в начале 1950-х годов Нахманом Ароншайном и Стефаном Бергманом. ^[4]

Эти пространства имеют широкое применение, включая комплексный анализ , гармонический анализ и квантовую механику . Воспроизводящие ядра Гильбертовых пространств особенно важны в области статистической теории обучения из-за знаменитой теоремы о репрезентаторе , которая гласит, что каждая функция в RKHS, минимизирующая эмпирический функционал риска, может быть записана как линейная комбинация функции ядра, оцененной в точках обучения. Это практически полезный результат, поскольку он эффективно упрощает задачу минимизации эмпирического риска с бесконечномерной до конечномерной задачи оптимизации.

Для простоты понимания мы предоставляем структуру для вещественнозначных гильбертовых пространств. Теория может быть легко расширена до пространств комплекснозначных функций и, следовательно, включает множество важных примеров воспроизведения ядерных гильбертовых пространств, которые являются пространствами аналитических функций . ^[5]

Определение

Пусть будет произвольным множеством и гильбертовым пространством вещественных функций на , снабженным поточечным сложением и поточечным скалярным умножением. Оценочный функционал над гильбертовым пространством функций — это линейный функционал, который оценивает каждую функцию в точке , ${\displaystyle X}$ ${\displaystyle H}$ ${\displaystyle X}$ ${\displaystyle H}$ ${\displaystyle x}$

${\displaystyle L_{x}:f\mapsto f(x){\text{ }}\forall f\in H.}$

Мы говорим, что H является воспроизводящим ядром гильбертова пространства , если для всех в , является непрерывным в каждом в или, что эквивалентно, если является ограниченным оператором в , т.е. существует такой, что ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle L_{x}}$ ${\displaystyle f}$ ${\displaystyle H}$ ${\displaystyle L_{x}}$ ${\displaystyle H}$ ${\displaystyle M_{x}>0}$

Хотя предполагается, что это касается всех , все равно может быть так, что . ${\displaystyle M_{x}<\infty }$ ${\displaystyle x\in X}$ ${\textstyle \sup _{x}M_{x}=\infty }$

Хотя свойство ( 1 ) является самым слабым условием, которое гарантирует как существование внутреннего произведения , так и оценку каждой функции в в каждой точке области, оно не поддается простому применению на практике. Более интуитивное определение RKHS можно получить, заметив, что это свойство гарантирует, что функционал оценки может быть представлен путем взятия внутреннего произведения с функцией в . Эта функция является так называемым воспроизводящим ядром ^{[ необходима цитата ]} для гильбертова пространства , от которого RKHS получил свое название. Более формально, теорема о представлении Рисса подразумевает, что для всех в существует уникальный элемент с воспроизводящим свойством, ${\displaystyle H}$ ${\displaystyle f}$ ${\displaystyle K_{x}}$ ${\displaystyle H}$ ${\displaystyle H}$ ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle K_{x}}$ ${\displaystyle H}$

Так как сама по себе является функцией, определенной на со значениями в поле (или в случае комплексных гильбертовых пространств) и так как в , то имеем, что ${\displaystyle K_{x}}$ ${\displaystyle X}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle \mathbb {C} }$ ${\displaystyle K_{x}}$ ${\displaystyle H}$

${\displaystyle K_{x}(y)=L_{y}(K_{x})=\langle K_{x},\ K_{y}\rangle _{H},}$

где элемент связан с . ${\displaystyle K_{y}\in H}$ ${\displaystyle H}$ ${\displaystyle L_{y}}$

Это позволяет нам определить воспроизводящее ядро ​​как функцию (или в комплексном случае) по формуле ${\displaystyle H}$ ${\displaystyle K:X\times X\to \mathbb {R} }$ ${\displaystyle \mathbb {C} }$

${\displaystyle K(x,y)=\langle K_{x},\ K_{y}\rangle _{H}.}$

Из этого определения легко видеть, что (или в комплексном случае) является как симметричным (соответственно, сопряженно симметричным), так и положительно определенным , т.е. ${\displaystyle K:X\times X\to \mathbb {R} }$ ${\displaystyle \mathbb {C} }$

${\displaystyle \sum _{i,j=1}^{n}c_{i}c_{j}K(x_{i},x_{j})=\sum _{i=1}^{n}c_{i}\left\langle K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\langle \sum _{i=1}^{n}c_{i}K_{x_{i}},\sum _{j=1}^{n}c_{j}K_{x_{j}}\right\rangle _{H}=\left\|\sum _{i=1}^{n}c_{i}K_{x_{i}}\right\|_{H}^{2}\geq 0}$

для каждого ^[6] Теорема Мура–Ароншайна (см. ниже) является своего рода обращением к этой: если функция удовлетворяет этим условиям, то существует гильбертово пространство функций на , для которого она является воспроизводящим ядром. ${\displaystyle n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in X,{\text{ and }}c_{1},\dots ,c_{n}\in \mathbb {R} .}$ ${\displaystyle K}$ ${\displaystyle X}$

Примеры

Простейшим примером воспроизводящего ядра гильбертова пространства является пространство, где есть множество и есть счетная мера на . Для воспроизводящее ядро ​​является индикаторной функцией одноточечного множества . ${\displaystyle L^{2}(X,\mu )}$ ${\displaystyle X}$ ${\displaystyle \mu }$ ${\displaystyle X}$ ${\displaystyle x\in X}$ ${\displaystyle K_{x}}$ ${\displaystyle \{x\}\subset X}$

Нетривиальные воспроизводящие ядра Гильбертовы пространства часто включают аналитические функции , как мы сейчас проиллюстрируем на примере. Рассмотрим Гильбертово пространство непрерывных функций с ограниченной полосой пропускания . Зафиксируем некоторую частоту среза и определим Гильбертово пространство ${\displaystyle H}$ ${\displaystyle 0<a<\infty }$

${\displaystyle H=\{f\in L^{2}(\mathbb {R} )\mid \operatorname {supp} (F)\subset [-a,a]\}}$

где — множество квадратично интегрируемых функций, а — преобразование Фурье . В качестве внутреннего произведения мы используем ${\displaystyle L^{2}(\mathbb {R} )}$ ${\textstyle F(\omega )=\int _{-\infty }^{\infty }f(t)e^{-i\omega t}\,dt}$ ${\displaystyle f}$

${\displaystyle \langle f,g\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(x)\cdot {\overline {g(x)}}\,dx.}$

Поскольку это замкнутое подпространство , оно является гильбертовым пространством. Более того, элементы из являются гладкими функциями на , стремящимися к нулю на бесконечности, по сути, по лемме Римана-Лебега . Фактически, элементы из являются ограничениями на целых голоморфных функций , по теореме Пэли-Винера . ${\displaystyle L^{2}(\mathbb {R} )}$ ${\displaystyle H}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle H}$ ${\displaystyle \mathbb {R} }$

Из теоремы обращения Фурье имеем

${\displaystyle f(x)={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )e^{ix\omega }\,d\omega .}$

Из неравенства Коши–Шварца и теоремы Планшереля следует , что для всех , ${\displaystyle x}$

${\displaystyle |f(x)|\leq {\frac {1}{2\pi }}{\sqrt {2a\int _{-a}^{a}|F(\omega )|^{2}\,d\omega }}={\frac {\sqrt {2a}}{2\pi }}{\sqrt {\int _{-\infty }^{\infty }|F(\omega )|^{2}\,d\omega }}={\sqrt {\frac {a}{\pi }}}\|f\|_{L^{2}}.}$

Это неравенство показывает, что функционал оценки ограничен, что доказывает, что он действительно является RKHS. ${\displaystyle H}$

Функция ядра в этом случае определяется выражением ${\displaystyle K_{x}}$

${\displaystyle K_{x}(y)={\frac {a}{\pi }}\operatorname {sinc} \left({\frac {a}{\pi }}(y-x)\right)={\frac {\sin(a(y-x))}{\pi (y-x)}}.}$

Преобразование Фурье, определенное выше, задается выражением ${\displaystyle K_{x}(y)}$

${\displaystyle \int _{-\infty }^{\infty }K_{x}(y)e^{-i\omega y}\,dy={\begin{cases}e^{-i\omega x}&{\text{if }}\omega \in [-a,a],\\0&{\textrm {otherwise}},\end{cases}}}$

что является следствием свойства временного сдвига преобразования Фурье . Следовательно, используя теорему Планшереля , мы имеем

${\displaystyle \langle f,K_{x}\rangle _{L^{2}}=\int _{-\infty }^{\infty }f(y)\cdot {\overline {K_{x}(y)}}\,dy={\frac {1}{2\pi }}\int _{-a}^{a}F(\omega )\cdot e^{i\omega x}\,d\omega =f(x).}$

Таким образом, мы получаем воспроизводящее свойство ядра.

${\displaystyle K_{x}}$в этом случае это «версия с ограниченной полосой пропускания» дельта-функции Дирака , которая сходится к в слабом смысле, когда частота среза стремится к бесконечности. ${\displaystyle K_{x}(y)}$ ${\displaystyle \delta (y-x)}$ ${\displaystyle a}$

Теорема Мура–Ароншайна

Мы увидели, как воспроизводящее ядро ​​гильбертова пространства определяет воспроизводящую функцию ядра, которая является как симметричной, так и положительно определенной . Теорема Мура–Ароншайна идет в другом направлении; она утверждает, что каждое симметричное, положительно определенное ядро ​​определяет уникальное воспроизводящее ядро ​​гильбертова пространства. Теорема впервые появилась в Теории воспроизводящих ядер Ароншайна , хотя он приписывает ее Э. Х. Муру .

Теорема . Предположим, что K — симметричное, положительно определенное ядро ​​на множестве X. Тогда существует единственное гильбертово пространство функций на X , для которого K является воспроизводящим ядром.

Доказательство . Для всех x из X определим K _x = K ( x , ⋅ ). Пусть H ₀ — линейная оболочка { K _x  : x ∈ X }. Определим скалярное произведение на H ₀ как

${\displaystyle \left\langle \sum _{j=1}^{n}b_{j}K_{y_{j}},\sum _{i=1}^{m}a_{i}K_{x_{i}}\right\rangle _{H_{0}}=\sum _{i=1}^{m}\sum _{j=1}^{n}{a_{i}}b_{j}K(y_{j},x_{i}),}$

что подразумевает . Симметрия этого скалярного произведения следует из симметрии K , а невырожденность следует из того факта, что K положительно определен. ${\displaystyle K(x,y)=\left\langle K_{x},K_{y}\right\rangle _{H_{0}}}$

Пусть H — пополнение H ₀ относительно этого скалярного произведения. Тогда H состоит из функций вида

${\displaystyle f(x)=\sum _{i=1}^{\infty }a_{i}K_{x_{i}}(x)\quad {\text{where}}\quad \lim _{n\to \infty }\sup _{p\geq 0}\left\|\sum _{i=n}^{n+p}a_{i}K_{x_{i}}\right\|_{H_{0}}=0.}$

Теперь мы можем проверить свойство воспроизведения ( 2 ):

${\displaystyle \langle f,K_{x}\rangle _{H}=\sum _{i=1}^{\infty }a_{i}\left\langle K_{x_{i}},K_{x}\right\rangle _{H_{0}}=\sum _{i=1}^{\infty }a_{i}K(x_{i},x)=f(x).}$

Чтобы доказать единственность, пусть G будет другим гильбертовым пространством функций, для которого K является воспроизводящим ядром. Для каждого x и y в X , ( 2 ) подразумевает, что

${\displaystyle \langle K_{x},K_{y}\rangle _{H}=K(x,y)=\langle K_{x},K_{y}\rangle _{G}.}$

По линейности, на отрезке . Тогда, поскольку G является полным и содержит H ₀ и, следовательно, содержит свое завершение. ${\displaystyle \langle \cdot ,\cdot \rangle _{H}=\langle \cdot ,\cdot \rangle _{G}}$ ${\displaystyle \{K_{x}:x\in X\}}$ ${\displaystyle H\subset G}$

Теперь нам нужно доказать, что каждый элемент G лежит в H. Пусть будет элементом G. Поскольку H — замкнутое подпространство G , мы можем записать, где и . Теперь, если то, поскольку K — воспроизводящее ядро ​​G и H : ${\displaystyle f}$ ${\displaystyle f=f_{H}+f_{H^{\bot }}}$ ${\displaystyle f_{H}\in H}$ ${\displaystyle f_{H^{\bot }}\in H^{\bot }}$ ${\displaystyle x\in X}$

${\displaystyle f(x)=\langle K_{x},f\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}+\langle K_{x},f_{H^{\bot }}\rangle _{G}=\langle K_{x},f_{H}\rangle _{G}=\langle K_{x},f_{H}\rangle _{H}=f_{H}(x),}$

где мы использовали тот факт, что принадлежит H, так что его скалярное произведение с в G равно нулю. Это показывает, что в G и завершает доказательство. ${\displaystyle K_{x}}$ ${\displaystyle f_{H^{\bot }}}$ ${\displaystyle f=f_{H}}$

Интегральные операторы и теорема Мерсера

Мы можем охарактеризовать симметричное положительно определенное ядро ​​через интегральный оператор, используя теорему Мерсера , и получить дополнительный вид RKHS. Пусть будет компактным пространством, снабженным строго положительной конечной борелевской мерой и непрерывной, симметричной и положительно определенной функцией. Определим интегральный оператор как ${\displaystyle K}$ ${\displaystyle X}$ ${\displaystyle \mu }$ ${\displaystyle K:X\times X\to \mathbb {R} }$ ${\displaystyle T_{K}:L_{2}(X)\to L_{2}(X)}$

${\displaystyle [T_{K}f](\cdot )=\int _{X}K(\cdot ,t)f(t)\,d\mu (t)}$

где — пространство квадратично интегрируемых функций относительно . ${\displaystyle L_{2}(X)}$ ${\displaystyle \mu }$

Теорема Мерсера утверждает, что спектральное разложение интегрального оператора дает представление ряда в терминах собственных значений и собственных функций . Это затем подразумевает, что является воспроизводящим ядром, так что соответствующий RKHS может быть определен в терминах этих собственных значений и собственных функций. Мы приводим подробности ниже. ${\displaystyle T_{K}}$ ${\displaystyle K}$ ${\displaystyle K}$ ${\displaystyle T_{K}}$ ${\displaystyle K}$

При этих предположениях — компактный, непрерывный, самосопряженный и положительный оператор. Спектральная теорема для самосопряженных операторов подразумевает, что существует не более чем счетная убывающая последовательность такая, что и , где образуют ортонормированный базис . В силу положительности для всех Можно также показать, что непрерывно отображается в пространство непрерывных функций , и поэтому мы можем выбрать непрерывные функции в качестве собственных векторов, то есть для всех Тогда по теореме Мерсера можно записать в терминах собственных значений и непрерывных собственных функций как ${\displaystyle T_{K}}$ ${\displaystyle (\sigma _{i})_{i}\geq 0}$ ${\textstyle \lim _{i\to \infty }\sigma _{i}=0}$ ${\displaystyle T_{K}\varphi _{i}(x)=\sigma _{i}\varphi _{i}(x)}$ ${\displaystyle \{\varphi _{i}\}}$ ${\displaystyle L_{2}(X)}$ ${\displaystyle T_{K},\sigma _{i}>0}$ ${\displaystyle i.}$ ${\displaystyle T_{K}}$ ${\displaystyle C(X)}$ ${\displaystyle \varphi _{i}\in C(X)}$ ${\displaystyle i.}$ ${\displaystyle K}$

${\displaystyle K(x,y)=\sum _{j=1}^{\infty }\sigma _{j}\,\varphi _{j}(x)\,\varphi _{j}(y)}$

для всех таких, что ${\displaystyle x,y\in X}$

${\displaystyle \lim _{n\to \infty }\sup _{u,v}\left|K(u,v)-\sum _{j=1}^{n}\sigma _{j}\,\varphi _{j}(u)\,\varphi _{j}(v)\right|=0.}$

Представление приведенного выше ряда называется ядром Мерсера или представлением Мерсера . ${\displaystyle K}$

Кроме того, можно показать, что RKHS определяется выражением ${\displaystyle H}$ ${\displaystyle K}$

${\displaystyle H=\left\{f\in L_{2}(X)\,{\Bigg \vert }\,\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}^{2}}{\sigma _{i}}}<\infty \right\}}$

где внутренний продукт задан ${\displaystyle H}$

${\displaystyle \left\langle f,g\right\rangle _{H}=\sum _{i=1}^{\infty }{\frac {\left\langle f,\varphi _{i}\right\rangle _{L_{2}}\left\langle g,\varphi _{i}\right\rangle _{L_{2}}}{\sigma _{i}}}.}$

Это представление RKHS имеет применение в теории вероятностей и статистике, например, в представлении Карунена-Лоэва для стохастических процессов и ядерного PCA .

Карты объектов

Карта признаков — это карта , где — гильбертово пространство, которое мы будем называть пространством признаков. В первых разделах была представлена ​​связь между ограниченными/непрерывными функциями оценки, положительно определенными функциями и интегральными операторами, а в этом разделе мы приводим еще одно представление RKHS в терминах карт признаков. ${\displaystyle \varphi \colon X\rightarrow F}$ ${\displaystyle F}$

Каждая карта характеристик определяет ядро ​​через

Очевидно , что симметрично, а положительная определенность следует из свойств скалярного произведения в . Наоборот, каждая положительно определенная функция и соответствующее воспроизводящее ядро ​​гильбертова пространства имеют бесконечно много связанных с ней карт признаков, таких, что ( 3 ) выполняется. ${\displaystyle K}$ ${\displaystyle F}$

Например, мы можем тривиально взять и для всех . Тогда ( 3 ) удовлетворяется свойством воспроизведения. Другой классический пример карты признаков относится к предыдущему разделу, касающемуся интегральных операторов, принимая и . ${\displaystyle F=H}$ ${\displaystyle \varphi (x)=K_{x}}$ ${\displaystyle x\in X}$ ${\displaystyle F=\ell ^{2}}$ ${\displaystyle \varphi (x)=({\sqrt {\sigma _{i}}}\varphi _{i}(x))_{i}}$

Эта связь между ядрами и картами признаков дает нам новый способ понимания положительно определенных функций и, следовательно, воспроизведения ядер как внутренних произведений в . Более того, каждая карта признаков может естественным образом определять RKHS посредством определения положительно определенной функции. ${\displaystyle H}$

Наконец, карты признаков позволяют нам строить функциональные пространства, которые раскрывают другую перспективу RKHS. Рассмотрим линейное пространство

${\displaystyle H_{\varphi }=\{f:X\to \mathbb {R} \mid \exists w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.}$

Мы можем определить норму по ${\displaystyle H_{\varphi }}$

${\displaystyle \|f\|_{\varphi }=\inf\{\|w\|_{F}:w\in F,f(x)=\langle w,\varphi (x)\rangle _{F},\forall {\text{ }}x\in X\}.}$

Можно показать, что является RKHS с ядром, определяемым с помощью . Это представление подразумевает, что элементы RKHS являются внутренними произведениями элементов в пространстве признаков и, соответственно, могут рассматриваться как гиперплоскости. Этот вид RKHS связан с трюком с ядром в машинном обучении. ^[7] ${\displaystyle H_{\varphi }}$ ${\displaystyle K(x,y)=\langle \varphi (x),\varphi (y)\rangle _{F}}$

Характеристики

Полезные свойства РКХС:

• Пусть — последовательность множеств и — совокупность соответствующих положительно определенных функций на Тогда следует, что ${\displaystyle (X_{i})_{i=1}^{p}}$ ${\displaystyle (K_{i})_{i=1}^{p}}$ ${\displaystyle (X_{i})_{i=1}^{p}.}$

  ${\displaystyle K((x_{1},\ldots ,x_{p}),(y_{1},\ldots ,y_{p}))=K_{1}(x_{1},y_{1})\cdots K_{p}(x_{p},y_{p})}$

  есть ядро ​​на ${\displaystyle X=X_{1}\times \dots \times X_{p}.}$

• Пусть тогда ограничение на также является воспроизводящим ядром. ${\displaystyle X_{0}\subset X,}$ ${\displaystyle K}$ ${\displaystyle X_{0}\times X_{0}}$
• Рассмотрим нормализованное ядро ​​такое, что для всех . Определим псевдометрику на X как ${\displaystyle K}$ ${\displaystyle K(x,x)=1}$ ${\displaystyle x\in X}$

  ${\displaystyle d_{K}(x,y)=\|K_{x}-K_{y}\|_{H}^{2}=2(1-K(x,y))\qquad \forall x\in X.}$

  По неравенству Коши–Шварца ,

  ${\displaystyle K(x,y)^{2}\leq K(x,x)K(y,y)=1\qquad \forall x,y\in X.}$

  Это неравенство позволяет нам рассматривать как меру сходства между входами. Если они похожи, то будет ближе к 1, а если они не похожи, то будет ближе к 0. ${\displaystyle K}$ ${\displaystyle x,y\in X}$ ${\displaystyle K(x,y)}$ ${\displaystyle x,y\in X}$ ${\displaystyle K(x,y)}$

• Закрытие промежутка совпадает с . ^[8] ${\displaystyle \{K_{x}\mid x\in X\}}$ ${\displaystyle H}$

Распространенные примеры

Билинейные ядра

${\displaystyle K(x,y)=\langle x,y\rangle }$

Соответствующее этому ядру RKHS представляет собой двойственное пространство, состоящее из функций, удовлетворяющих . ${\displaystyle H}$ ${\displaystyle f(x)=\langle x,\beta \rangle }$ ${\displaystyle \|f\|_{H}^{2}=\|\beta \|^{2}}$

Полиномиальные ядра

${\displaystyle K(x,y)=(\alpha \langle x,y\rangle +1)^{d},\qquad \alpha \in \mathbb {R} ,d\in \mathbb {N} }$

Ядра радиальных базисных функций

Это еще один распространенный класс ядер, которые удовлетворяют . Вот некоторые примеры: ${\displaystyle K(x,y)=K(\|x-y\|)}$

• Гауссово или квадратное экспоненциальное ядро :

  ${\displaystyle K(x,y)=e^{-{\frac {\|x-y\|^{2}}{2\sigma ^{2}}}},\qquad \sigma >0}$

• Ядро Лапласа :

  ${\displaystyle K(x,y)=e^{-{\frac {\|x-y\|}{\sigma }}},\qquad \sigma >0}$

  Квадрат нормы функции в RKHS с этим ядром равен: ^{[9] [10]} ${\displaystyle f}$ ${\displaystyle H}$

  ${\displaystyle \|f\|_{H}^{2}=\int _{\mathbb {R} }{\Big (}{\frac {1}{\sigma }}f(x)^{2}+\sigma f'(x)^{2}{\Big )}\mathrm {d} x.}$

зерна Бергмана

Мы также приводим примеры ядер Бергмана . Пусть X конечно и пусть H состоит из всех комплекснозначных функций на X. Тогда элемент H может быть представлен как массив комплексных чисел. Если используется обычное скалярное произведение , то K _x — это функция, значение которой равно 1 в x и 0 во всех остальных точках, и ее можно рассматривать как единичную матрицу, поскольку ${\displaystyle K(x,y)}$

${\displaystyle K(x,y)={\begin{cases}1&x=y\\0&x\neq y\end{cases}}}$

В этом случае H изоморфен . ${\displaystyle \mathbb {C} ^{n}}$

Случай (где обозначает единичный круг ) более сложен. Здесь пространство Бергмана — это пространство квадратично-интегрируемых голоморфных функций на . Можно показать, что воспроизводящее ядро ​​для равно ${\displaystyle X=\mathbb {D} }$ ${\displaystyle \mathbb {D} }$ ${\displaystyle H^{2}(\mathbb {D} )}$ ${\displaystyle \mathbb {D} }$ ${\displaystyle H^{2}(\mathbb {D} )}$

${\displaystyle K(x,y)={\frac {1}{\pi }}{\frac {1}{(1-x{\overline {y}})^{2}}}.}$

Наконец, пространство функций с ограниченной полосой пропускания представляет собой RKHS с воспроизводящим ядром ${\displaystyle L^{2}(\mathbb {R} )}$ ${\displaystyle 2a}$

${\displaystyle K(x,y)={\frac {\sin a(x-y)}{\pi (x-y)}}.}$

Расширение векторнозначных функций

В этом разделе мы расширяем определение RKHS до пространств векторнозначных функций, поскольку это расширение особенно важно в многозадачном обучении и регуляризации многообразий . Главное отличие состоит в том, что воспроизводящее ядро ​​является симметричной функцией, которая теперь является положительно полуопределенной матрицей для каждого в . Более формально, мы определяем векторнозначное RKHS (vvRKHS) как гильбертово пространство функций, такое что для всех и ${\displaystyle \Gamma }$ ${\displaystyle x,y}$ ${\displaystyle X}$ ${\displaystyle f:X\to \mathbb {R} ^{T}}$ ${\displaystyle c\in \mathbb {R} ^{T}}$ ${\displaystyle x\in X}$

${\displaystyle \Gamma _{x}c(y)=\Gamma (x,y)c\in H{\text{ for }}y\in X}$

и

${\displaystyle \langle f,\Gamma _{x}c\rangle _{H}=f(x)^{\intercal }c.}$

Это второе свойство параллельно свойству воспроизведения для скалярнозначного случая. Это определение также может быть связано с интегральными операторами, ограниченными функциями оценки и картами признаков, как мы видели для скалярнозначного RKHS. Мы можем эквивалентно определить vvRKHS как векторнозначное гильбертово пространство с ограниченным функционалом оценки и показать, что это подразумевает существование уникального воспроизводящего ядра по теореме о представлении Рисса. Теорему Мерсера также можно расширить для рассмотрения векторнозначной настройки, и поэтому мы можем получить представление карты признаков vvRKHS. Наконец, можно также показать, что замыкание диапазона совпадает с , другим свойством, аналогичным скалярнозначному случаю. ${\displaystyle \{\Gamma _{x}c:x\in X,c\in \mathbb {R} ^{T}\}}$ ${\displaystyle H}$

Мы можем получить интуицию для vvRKHS, взяв компонентную перспективу на эти пространства. В частности, мы обнаруживаем, что каждый vvRKHS изометрически изоморфен скалярно -значному RKHS на конкретном входном пространстве. Пусть . Рассмотрим пространство и соответствующее воспроизводящее ядро ${\displaystyle \Lambda =\{1,\dots ,T\}}$ ${\displaystyle X\times \Lambda }$

Как отмечено выше, RKHS, связанный с этим воспроизводящим ядром, задается замыканием диапазона, где для каждого набора пар . ${\displaystyle \{\gamma _{(x,t)}:x\in X,t\in \Lambda \}}$ ${\displaystyle \gamma _{(x,t)}(y,s)=\gamma ((x,t),(y,s))}$ ${\displaystyle (x,t),(y,s)\in X\times \Lambda }$

Связь со скалярно-значным RKHS может быть установлена ​​с помощью того факта, что каждое матрично-значное ядро ​​может быть идентифицировано с ядром вида ( 4 ) посредством

${\displaystyle \Gamma (x,y)_{(t,s)}=\gamma ((x,t),(y,s)).}$

Более того, каждое ядро ​​с формой ( 4 ) определяет матрично-значное ядро ​​с приведенным выше выражением. Теперь пусть карта будет определена как ${\displaystyle D:H_{\Gamma }\to H_{\gamma }}$

${\displaystyle (Df)(x,t)=\langle f(x),e_{t}\rangle _{\mathbb {R} ^{T}}}$

где — компонент канонического базиса для , можно показать, что является биекцией и изометрией между и . ${\displaystyle e_{t}}$ ${\displaystyle t^{\text{th}}}$ ${\displaystyle \mathbb {R} ^{T}}$ ${\displaystyle D}$ ${\displaystyle H_{\Gamma }}$ ${\displaystyle H_{\gamma }}$

Хотя этот взгляд на vvRKHS может быть полезен в многозадачном обучении, эта изометрия не сводит изучение векторно-значного случая к изучению скалярно-значного случая. Фактически, эта процедура изометрии может сделать как скалярно-значное ядро, так и входное пространство слишком сложными для работы на практике, поскольку свойства исходных ядер часто теряются. ^{[11] [12] [13]}

Важным классом матрично-значных воспроизводящих ядер являются сепарабельные ядра, которые могут быть факторизованы как произведение скалярно-значного ядра и -мерной симметричной положительно полуопределенной матрицы. В свете нашего предыдущего обсуждения эти ядра имеют вид ${\displaystyle T}$

${\displaystyle \gamma ((x,t),(y,s))=K(x,y)K_{T}(t,s)}$

для всех в и в . Поскольку скалярное ядро ​​кодирует зависимости между входами, мы можем наблюдать, что матричное ядро ​​кодирует зависимости как между входами, так и между выходами. ${\displaystyle x,y}$ ${\displaystyle X}$ ${\displaystyle t,s}$ ${\displaystyle T}$

Наконец, отметим, что приведенную выше теорию можно распространить и на пространства функций со значениями в функциональных пространствах, но получение ядер для этих пространств является более сложной задачей. ^[14]

Связь между RKHS и функцией ReLU

Функция ReLU обычно определяется как и является основой архитектуры нейронных сетей, где она используется как функция активации. Можно построить нелинейную функцию, подобную ReLU, используя теорию воспроизведения ядерных гильбертовых пространств. Ниже мы выводим эту конструкцию и показываем, как она подразумевает репрезентативную мощность нейронных сетей с активациями ReLU. ${\displaystyle f(x)=\max\{0,x\}}$

Мы будем работать с гильбертовым пространством абсолютно непрерывных функций с квадратично интегрируемой (т.е. ) производной. Оно имеет скалярное произведение ${\displaystyle {\mathcal {H}}=L_{2}^{1}(0)[0,\infty )}$ ${\displaystyle f(0)=0}$ ${\displaystyle L_{2}}$

${\displaystyle \langle f,g\rangle _{\mathcal {H}}=\int _{0}^{\infty }f'(x)g'(x)\,dx.}$

Для построения воспроизводящего ядра достаточно рассмотреть плотное подпространство, так что пусть и . Тогда основная теорема исчисления дает ${\displaystyle f\in C^{1}[0,\infty )}$ ${\displaystyle f(0)=0}$

${\displaystyle f(y)=\int _{0}^{y}f'(x)\,dx=\int _{0}^{\infty }G(x,y)f'(x)\,dx=\langle K_{y},f\rangle }$

где

${\displaystyle G(x,y)={\begin{cases}1,&x<y\\0,&{\text{otherwise}}\end{cases}}}$

и т.е. ${\displaystyle K_{y}'(x)=G(x,y),\ K_{y}(0)=0}$

${\displaystyle K(x,y)=K_{y}(x)=\int _{0}^{x}G(z,y)\,dz={\begin{cases}x,&0\leq x<y\\y,&{\text{otherwise.}}\end{cases}}=\min(x,y)}$

Это подразумевает воспроизведение . ${\displaystyle K_{y}=K(\cdot ,y)}$ ${\displaystyle f}$

Более того, минимальная функция на имеет следующие представления с функцией ReLu: ${\displaystyle X\times X=[0,\infty )\times [0,\infty )}$

${\displaystyle \min(x,y)=x-\operatorname {ReLU} (x-y)=y-\operatorname {ReLU} (y-x).}$

Используя эту формулировку, мы можем применить теорему о представителе к RKHS, что позволяет доказать оптимальность использования активаций ReLU в настройках нейронной сети. ^{[ необходима цитата ]}

Смотрите также

• Положительно определенное ядро
• Теорема Мерсера
• Трюк с ядром
• Встраивание ядра в дистрибутивы
• Теорема о представителе

Примечания

1. Алпей, Д. и Т. М. Миллс. «Семейство гильбертовых пространств, которые не воспроизводят ядерные гильбертовы пространства». J. Anal. Appl. 1.2 (2003): 107–111.
2. З. Пастернак-Виниарски, «О весах, допускающих воспроизводящее ядро ​​типа Бергмана», Международный журнал математики и математических наук , т. 15, выпуск 1, 1992.
3. Т. Л. Жинда, «О весах, допускающих воспроизводящее ядро ​​типа Сегё», Журнал современного математического анализа (Армянская академия наук), 55, 2020.
4. Окутмустурт
5. Полсон
6. Дарретт
7. Росаско
8. Росаско
9. Берлинет, Ален и Томас, Кристин. Воспроизведение ядерных гильбертовых пространств в теории вероятностей и статистике , Kluwer Academic Publishers, 2004
10. Томас-Агнан К. Вычисление семейства воспроизводящих ядер для статистических приложений. Численные алгоритмы, 13, стр. 21-32 (1996)
11. Де Вито
12. Чжан
13. Альварес
14. Росаско

Ссылки

• Альварес, Маурисио, Росаско, Лоренцо и Лоуренс, Нил, «Ядра для векторнозначных функций: обзор», https://arxiv.org/abs/1106.6251, июнь 2011 г.
• Ароншайн, Нахман (1950). «Теория воспроизводства ядер». Труды Американского математического общества . 68 (3): 337–404. doi : 10.1090/S0002-9947-1950-0051437-7 . JSTOR  1990404. MR  0051437.
• Берлине, Ален и Томас, Кристин. Воспроизведение ядерных гильбертовых пространств в теории вероятностей и статистике , Kluwer Academic Publishers, 2004.
• Cucker, Felipe; Smale, Steve (2002). «О математических основах обучения». Бюллетень Американского математического общества . 39 (1): 1–49. doi : 10.1090/S0273-0979-01-00923-5 . MR  1864085.
• Де Вито, Эрнест, Уманита, Вероника и Вилла, Сильвия. «Распространение теоремы Мерсера на измеримые ядра с векторными значениями», arXiv :1110.4017, июнь 2013 г.
• Дарретт, Грег. 9.520 Заметки к курсу, Массачусетский технологический институт, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf, февраль 2010 г.
• Кимельдорф, Джордж; Вахба, Грейс (1971). "Некоторые результаты по чебышевским сплайн-функциям" (PDF) . Журнал математического анализа и приложений . 33 (1): 82–95. doi : 10.1016/0022-247X(71)90184-3 . MR  0290013.
• Окутмутур, Бавер. «Воспроизведение ядерных гильбертовых пространств», диссертация магистра, Университет Билкент, http://www.thesis.bilkent.edu.tr/0002953.pdf, август 2005 г.
• Паульсен, Верн. «Введение в теорию воспроизведения ядерных гильбертовых пространств», https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=440218056738e05b5ab43679f932a9f33fccee87.
• Steinwart, Ingo; Scovel, Clint (2012). «Теорема Мерсера об общих областях: о взаимодействии между мерами, ядрами и RKHS». Constr. Approx . 35 (3): 363–417. doi :10.1007/s00365-012-9153-3. MR  2914365. S2CID  253885172.
• Росаско, Лоренцо и Поджо, Томас. «Обзор регуляризации машинного обучения – MIT 9.520 Lecture Notes» Рукопись, декабрь 2014 г.
• Вахба, Грейс , Сплайн-модели для данных наблюдений , SIAM, 1990.
• Чжан, Хайчжан; Сюй, Юэшэн; Чжан, Цинхуэй (2012). «Уточнение операторно-значных воспроизводящих ядер» (PDF) . Журнал исследований машинного обучения . 13 : 91–136.