Положительно определенное ядро

В теории операторов , разделе математики, положительно определенное ядро ​​является обобщением положительно определенной функции или положительно определенной матрицы . Впервые он был введен Джеймсом Мерсером в начале 20 века в контексте решения интегрально-операторных уравнений . С тех пор положительно определенные функции и их различные аналоги и обобщения возникли в различных разделах математики. Они естественным образом возникают в анализе Фурье , теории вероятностей , теории операторов , теории комплексных функций , проблемах моментов , интегральных уравнениях , краевых задачах для уравнений в частных производных , машинном обучении , задаче встраивания , теории информации и других областях.

Определение

Пусть — непустое множество, иногда называемое набором индексов. Симметричная функция называется положительно определенным (pd) ядром, если ${\displaystyle {\mathcal {X}}}$ ${\displaystyle K:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }$ ${\displaystyle {\mathcal {X}}}$

справедливо для любого данного . ${\displaystyle x_{1},\dots ,x_{n}\in {\mathcal {X}}}$ ${\displaystyle n\in \mathbb {N} ,c_{1},\dots ,c_{n}\in \mathbb {R} }$

В теории вероятностей иногда различают положительно определенные ядра, для которых из равенства в (1.1) следует , и положительные полуопределенные (ПСД) ядра, которые не накладывают это условие. Обратите внимание, что это эквивалентно требованию, чтобы любая конечная матрица, построенная путем парной оценки, имела либо полностью положительные (pd), либо неотрицательные (psd) собственные значения . ${\displaystyle c_{i}=0\;(\forall i)}$ ${\displaystyle \mathbf {K} _{ij}=K(x_{i},x_{j})}$

В математической литературе ядра обычно представляют собой комплексные функции. То есть комплексная функция называется эрмитовым ядром , если и положительно определенной , если для любого конечного набора точек и любых комплексных чисел ${\displaystyle K:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {C} }$ ${\displaystyle K(x,y)={\overline {K(y,x)}}}$ ${\displaystyle x_{1},\dots ,x_{n}\in {\mathcal {X}}}$ ${\displaystyle \xi _{1},\dots ,\xi _{n}\in \mathbb {C} }$

${\displaystyle \sum _{i=1}^{n}\sum _{j=1}^{n}\xi _{i}{\overline {\xi }}_{j}K(x_{i},x_{j})\geq 0}$

где обозначает комплексно-сопряженное . ^[1] В оставшейся части статьи мы предполагаем функции с действительным знаком, что является обычной практикой в ​​приложениях ядер pd. ${\displaystyle {\overline {\xi }}_{j}}$

Некоторые общие свойства

• Для семейства ядер pd ${\displaystyle (K_{i})_{i\in \mathbb {N} },\ \ K_{i}:{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }$
  • Коническая сумма равна pd, учитывая ${\displaystyle \sum _{i=1}^{n}\lambda _{i}K_{i}}$ ${\displaystyle \lambda _{1},\dots ,\lambda _{n}\geq 0}$
  • Продукт PD, учитывая ${\displaystyle K_{1}^{a_{1}}\dots K_{n}^{a_{n}}}$ ${\displaystyle a_{1},\dots ,a_{n}\in \mathbb {N} }$
  • Предел равен pd, если предел существует. ${\displaystyle K=\lim _{n\to \infty }K_{n}}$
• Если — последовательность множеств и последовательность ядер pd, то оба ${\displaystyle ({\mathcal {X}}_{i})_{i=1}^{n}}$ ${\displaystyle (K_{i})_{i=1}^{n},\ \ K_{i}:{\mathcal {X}}_{i}\times {\mathcal {X}}_{i}\to \mathbb {R} }$
  $${\displaystyle K((x_{1},\dots ,x_{n}),(y_{1},\dots ,y_{n}))=\prod _{i=1}^{n}K_{i}(x_{i},y_{i})}$$
  и
  $${\displaystyle K((x_{1},\dots ,x_{n}),(y_{1},\dots ,y_{n}))=\sum _{i=1}^{n}K_{i}(x_{i},y_{i})}$$
  находятся ли ядра pd на . ${\displaystyle {\mathcal {X}}={\mathcal {X}}_{1}\times \dots \times {\mathcal {X}}_{n}}$
• Позволять . Тогда ограничение to также является ядром pd . ${\displaystyle {\mathcal {X}}_{0}\subset {\mathcal {X}}}$ ${\displaystyle K_{0}}$ ${\displaystyle K}$ ${\displaystyle {\mathcal {X}}_{0}\times {\mathcal {X}}_{0}}$

Примеры ядер pd

• Общие примеры ядер pd, определенных в евклидовом пространстве, включают: ${\displaystyle \mathbb {R} ^{d}}$
  • Линейное ядро: . ${\displaystyle K(\mathbf {x} ,\mathbf {y} )=\mathbf {x} ^{T}\mathbf {y} ,\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d}}$
  • Полиномиальное ядро : . ${\displaystyle K(\mathbf {x} ,\mathbf {y} )=(\mathbf {x} ^{T}\mathbf {y} +r)^{n},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},r\geq 0,n\geq 1}$
  • Гауссово ядро ​​( ядро RBF ): . ${\displaystyle K(\mathbf {x} ,\mathbf {y} )=e^{-{\frac {\|\mathbf {x} -\mathbf {y} \|^{2}}{2\sigma ^{2}}}},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},\sigma >0}$
  • Ядро Лапласа: . ${\displaystyle K(\mathbf {x} ,\mathbf {y} )=e^{-\alpha \|\mathbf {x} -\mathbf {y} \|},\quad \mathbf {x} ,\mathbf {y} \in \mathbb {R} ^{d},\alpha >0}$
  • Ядро Абеля: . ${\displaystyle K(x,y)=e^{-\alpha |x-y|},\quad x,y\in \mathbb {R} ,\alpha >0}$
  • Ядро порождает пространства Соболева : , где – функция Бесселя третьего рода . ${\displaystyle W_{2}^{k}(\mathbb {R} ^{d})}$ ${\displaystyle K(x,y)=\|x-y\|_{2}^{k-{\frac {d}{2}}}B_{k-{\frac {d}{2}}}(\|x-y\|_{2})}$ ${\displaystyle B_{\nu }}$
  • Ядро, порождающее пространство Пэли–Винера: . ${\displaystyle K(x,y)={\mbox{sinc}}(\alpha (x-y)),\quad x,y\in \mathbb {R} ,\alpha >0}$
• Если — гильбертово пространство , то его соответствующий скалярный продукт — это pd-ядро. Действительно, у нас есть ${\displaystyle H}$ ${\displaystyle (\cdot ,\cdot )_{H}:H\times H\to \mathbb {R} }$
  $${\displaystyle \sum _{i,j=1}^{n}c_{i}c_{j}(x_{i},x_{j})_{H}=\left(\sum _{i=1}^{n}c_{i}x_{i},\sum _{j=1}^{n}c_{j}x_{j}\right)_{H}=\left\|\sum _{i=1}^{n}c_{i}x_{i}\right\|_{H}^{2}\geq 0}$$
• Определенные ядра и гистограммы. Гистограммы часто встречаются при решении реальных задач. Большинство наблюдений обычно доступны в виде неотрицательных векторов отсчетов, которые при нормализации дают гистограммы частот. Было показано ^[2] , что следующее семейство квадратов метрик, соответственно, дивергенция Йенсена, -квадрат , полная вариация и две вариации расстояния Хеллингера: ${\displaystyle \mathbb {R} _{+}^{d}}$ ${\displaystyle \chi }$
  $${\displaystyle \psi _{JD}=H\left({\frac {\theta +\theta '}{2}}\right)-{\frac {H(\theta )+H(\theta ')}{2}},}$$
  $${\displaystyle \psi _{\chi ^{2}}=\sum _{i}{\frac {(\theta _{i}-\theta _{i}')^{2}}{\theta _{i}+\theta _{i}'}},\quad \psi _{TV}=\sum _{i}\left|\theta _{i}-\theta _{i}'\right|,}$$
  $${\displaystyle \psi _{H_{1}}=\sum _{i}\left|{\sqrt {\theta _{i}}}-{\sqrt {\theta _{i}'}}\right|,\psi _{H_{2}}=\sum _{i}\left|{\sqrt {\theta _{i}}}-{\sqrt {\theta _{i}'}}\right|^{2},}$$
  может использоваться для определения ядер pd, используя следующую формулу
  $${\displaystyle K(\theta ,\theta ')=e^{-\alpha \psi (\theta ,\theta ')},\alpha >0.}$$

История

Положительно определенные ядра, определенные в (1.1), впервые появились в 1909 году в статье Джеймса Мерсера по интегральным уравнениям. ^[3] Несколько других авторов использовали эту концепцию в последующие два десятилетия, но ни один из них явно не использовал ядра , функции iepd (действительно, М. Матиас и С. Бохнер, похоже, не знали об изучении ядер pd). Работа Мерсера возникла из статьи Гильберта 1904 года ^[4] об интегральных уравнениях Фредгольма второго рода: ${\displaystyle K(x,y)=f(x-y)}$

В частности, Гильберт показал, что

где – непрерывное вещественное симметрическое ядро, – непрерывная, – полная система ортонормированных собственных функций , а 's – соответствующие собственные значения (1.2). Гильберт определил «определенное» ядро ​​как такое, для которого двойной интеграл ${\displaystyle K}$ ${\displaystyle x}$ ${\displaystyle \{\psi _{n}\}}$ ${\displaystyle \lambda _{n}}$

$${\displaystyle J(x)=\int _{a}^{b}\int _{a}^{b}K(s,t)x(s)x(t)\ \mathrm {d} s\;\mathrm {d} t}$$

${\displaystyle J(x)>0}$ ${\displaystyle x(t)=0}$ ${\displaystyle K(s,t)}$ ${\displaystyle J(x)\geq 0}$ ${\displaystyle x}$ ${\displaystyle [a,b]}$

$${\displaystyle K(s,t)=\sum _{n}{\frac {\psi _{n}(s)\psi _{n}(t)}{\lambda _{n}}}}$$

Примерно в то же время У. Янг ^[5] , движимый другим вопросом теории интегральных уравнений, показал, что для непрерывных ядер условие (1.1) эквивалентно для всех . ${\displaystyle J(x)\geq 0}$ ${\displaystyle x\in L^{1}[a,b]}$

Э.Х. Мур ^{[6] [7]} инициировал изучение очень общего вида ядра pd. Если — абстрактное множество, он называет функции , определенные на «положительных эрмитовых матрицах», если они удовлетворяют (1.1) для всех . Мур интересовался обобщением интегральных уравнений и показал, что для каждого такого существует гильбертово пространство функций такое, что для каждого . Это свойство называется воспроизводящим свойством ядра и оказывается важным при решении краевых задач для эллиптических уравнений в частных производных. ${\displaystyle E}$ ${\displaystyle K(x,y)}$ ${\displaystyle E\times E}$ ${\displaystyle x_{i}\in E}$ ${\displaystyle K}$ ${\displaystyle H}$ ${\displaystyle f\in H,f(y)=(f,K(\cdot ,y))_{H}}$

Другим направлением развития, в котором большую роль сыграли ядра pd, была теория гармоник в однородных пространствах, начатая Э. Картаном в 1929 г. и продолженная Г. Вейлем и С. Ито. Наиболее полной теорией pd-ядер в однородных пространствах является теория М. Крейна ^[8] , которая включает в качестве частных случаев работы о pd-функциях и неприводимых унитарных представлениях локально компактных групп.

В теории вероятностей ядра pd возникают как ковариационные ядра случайных процессов. ^[9]

Связь с воспроизведением ядерных гильбертовых пространств и карт признаков.

Положительно определенные ядра обеспечивают основу, охватывающую некоторые основные конструкции гильбертового пространства. Далее мы представляем тесную связь между положительно определенными ядрами и двумя математическими объектами, а именно воспроизведением гильбертовых пространств и карт признаков.

Пусть – набор, гильбертово пространство функций и соответствующее скалярное произведение на . Для любого функционал оценки определяется . Сначала мы определим воспроизводящее ядро ​​гильбертова пространства (RKHS): ${\displaystyle X}$ ${\displaystyle H}$ ${\displaystyle f:X\to \mathbb {R} }$ ${\displaystyle (\cdot ,\cdot )_{H}:H\times H\to \mathbb {R} }$ ${\displaystyle H}$ ${\displaystyle x\in X}$ ${\displaystyle e_{x}:H\to \mathbb {R} }$ ${\displaystyle f\mapsto e_{x}(f)=f(x)}$

Определение : Пространство называется гильбертовым пространством с воспроизводящим ядром, если функционалы оценки непрерывны. ${\displaystyle H}$

С каждым RKHS связана особая функция, а именно воспроизводящее ядро:

Определение : Воспроизведение ядра — это такая функция, что ${\displaystyle K:X\times X\to \mathbb {R} }$

1. ${\displaystyle K_{x}(\cdot )\in H,\forall x\in X}$, и
2. ${\displaystyle (f,K_{x})=f(x)}$, для всех и . ${\displaystyle f\in H}$ ${\displaystyle x\in X}$

Последнее свойство называется воспроизводящим свойством.

Следующий результат показывает эквивалентность между RKHS и воспроизводящими ядрами:

Теорема  .  Каждое воспроизводящее ядро ​​порождает уникальное RKHS, и каждое RKHS имеет уникальное воспроизводящее ядро. ${\displaystyle K}$

Теперь связь между положительно определенными ядрами и RKHS дается следующей теоремой

Теорема  .  Каждое воспроизводящее ядро ​​является положительно определенным, и каждое положительно определенное ядро ​​определяет уникальный RKHS, единственным воспроизводящим ядром которого оно является.

Таким образом, по положительно определенному ядру можно построить связанный с ним RKHS в качестве воспроизводящего ядра. ${\displaystyle K}$ ${\displaystyle K}$

Как говорилось ранее, положительно определенные ядра могут быть построены из скалярных произведений. Этот факт можно использовать для связи ядер pd с другим интересным объектом, возникающим в приложениях машинного обучения, а именно с картой признаков. Пусть – гильбертово пространство и соответствующее скалярное произведение. Любая карта называется картой объектов. В этом случае мы называем пространством признаков. Легко видеть ^[10] , что каждая карта признаков определяет уникальное ядро ​​pd по формуле ${\displaystyle F}$ ${\displaystyle (\cdot ,\cdot )_{F}}$ ${\displaystyle \Phi :X\to F}$ ${\displaystyle F}$

$${\displaystyle K(x,y)=(\Phi (x),\Phi (y))_{F}.}$$

${\displaystyle K}$ ${\displaystyle F=H}$ ${\displaystyle \Phi (x)=K_{x}}$ ${\displaystyle x\in X}$ ${\displaystyle (\Phi (x),\Phi (y))_{F}=(K_{x},K_{y})_{H}=K(x,y)}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle K(x,y)}$

Ядра и расстояния

Методы ядра часто сравнивают с методами, основанными на расстоянии, такими как метод ближайших соседей . В этом разделе мы обсуждаем параллели между двумя соответствующими ингредиентами, а именно ядрами и расстояниями . ${\displaystyle K}$ ${\displaystyle d}$

Здесь под функцией расстояния между каждой парой элементов некоторого множества мы подразумеваем метрику , определенную на этом множестве, т. е. любую функцию с неотрицательным знаком, на которой выполняется условие ${\displaystyle X}$ ${\displaystyle d}$ ${\displaystyle {\mathcal {X}}\times {\mathcal {X}}}$

• ${\displaystyle d(x,y)\geq 0}$, и тогда и только тогда , когда , ${\displaystyle d(x,y)=0}$ ${\displaystyle x=y}$
• ${\displaystyle d(x,y)=d(y,x)}$,
• ${\displaystyle d(x,z)\leq d(x,y)+d(y,z)}$.

Одна связь между расстояниями и ядрами pd задается особым типом ядра, называемым отрицательно определенным ядром и определяемым следующим образом.

Определение : Симметричная функция называется отрицательно определенным (nd) ядром, если ${\displaystyle \psi :{\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }$ ${\displaystyle {\mathcal {X}}}$

справедливо для любого и такого, что . ${\displaystyle n\in \mathbb {N} ,x_{1},\dots ,x_{n}\in {\mathcal {X}},}$ ${\displaystyle c_{1},\dots ,c_{n}\in \mathbb {R} }$ ${\textstyle \sum _{i=1}^{n}c_{i}=0}$

Параллель между nd ядрами и расстояниями заключается в следующем: всякий раз, когда nd ядро ​​обращается в нуль на множестве и равно нулю только на этом множестве, то его квадратный корень является расстоянием для . ^[11] В то же время каждое расстояние не обязательно соответствует nd-му ядру. Это верно только для гильбертовых расстояний, где расстояние называется гильбертовым, если можно изометрически вложить метрическое пространство в некоторое гильбертово пространство. ${\displaystyle \{(x,x):x\in {\mathcal {X}}\}}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle d}$ ${\displaystyle ({\mathcal {X}},d)}$

С другой стороны, ядра nd можно отождествить с подсемейством ядер pd, известным как бесконечно делимые ядра. Ядро с неотрицательным знаком называется бесконечно делимым, если для каждого существует положительно определенное ядро ​​такое, что . ${\displaystyle K}$ ${\displaystyle n\in \mathbb {N} }$ ${\displaystyle K_{n}}$ ${\displaystyle K=(K_{n})^{n}}$

Другая связь заключается в том, что ядро ​​pd вызывает псевдометрику , где первое ограничение на функцию расстояния ослабляется, чтобы учесть . Учитывая положительно определенное ядро , мы можем определить функцию расстояния как: ${\displaystyle d(x,y)=0}$ ${\displaystyle x\neq y}$ ${\displaystyle K}$

$${\displaystyle d(x,y)={\sqrt {K(x,x)-2K(x,y)+K(y,y)}}}$$

Некоторые приложения

Ядра в машинном обучении

Положительно определенные ядра, благодаря их эквивалентности с воспроизводящими ядерными гильбертовыми пространствами, особенно важны в области статистической теории обучения из-за знаменитой теоремы о репрезентаторе , которая утверждает, что каждая функция-минимизатор в RKHS может быть записана как линейная комбинация функции ядра. оцениваются в точках обучения. Это практически полезный результат, поскольку он эффективно упрощает эмпирическую задачу минимизации риска с бесконечномерной до конечномерной задачи оптимизации.

Ядра в вероятностных моделях

В теории вероятностей существует несколько различных способов возникновения ядер.

• Недетерминированные задачи восстановления: предположим, что мы хотим найти ответ неизвестной модельной функции в новой точке набора при условии, что у нас есть выборка пар вход-ответ, полученная в результате наблюдения или эксперимента. Реакция at не является фиксированной функцией, а скорее реализацией действительной случайной величины . Цель состоит в том, чтобы получить информацию о функции , которая заменяет в детерминированной настройке. Для двух элементов случайные величины не будут некоррелированными, потому что они слишком близки к случайным экспериментам, описанным в экспериментах , и часто будут демонстрировать аналогичное поведение. Это описывается ковариационным ядром . Такое ядро ​​существует и является положительно определенным при слабых дополнительных предположениях. Теперь хорошую оценку можно получить, используя интерполяцию ядра с ковариационным ядром, полностью игнорируя вероятностный фон. ${\displaystyle f(x)}$ ${\displaystyle f}$ ${\displaystyle x}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle (x_{i},f_{i})=(x_{i},f(x_{i}))}$ ${\displaystyle f_{i}}$ ${\displaystyle x_{i}}$ ${\displaystyle x_{i}}$ ${\displaystyle Z(x_{i})}$ ${\displaystyle E[Z(x_{i})]}$ ${\displaystyle f}$ ${\displaystyle x,y\in {\mathcal {X}}}$ ${\displaystyle Z(x)}$ ${\displaystyle Z(y)}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle Z(x)}$ ${\displaystyle Z(y)}$ ${\displaystyle K(x,y)=E[Z(x)\cdot Z(y)]}$ ${\displaystyle Z(x)}$

Предположим теперь, что шумовая переменная с нулевым средним значением и дисперсией добавлена ​​к , так что шум независим для разных и не зависит от там, тогда проблема нахождения хорошей оценки для идентична приведенной выше, но с измененной ядро, заданное . ${\displaystyle \epsilon (x)}$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle Z}$ ${\displaystyle f}$ ${\displaystyle K(x,y)=E[Z(x)\cdot Z(y)]+\sigma ^{2}\delta _{xy}}$

• Оценка плотности по ядрам. Проблема состоит в том, чтобы восстановить плотность многомерного распределения по области из большой выборки, включая повторения. Если точки отбора проб расположены плотно, истинная функция плотности должна принимать большие значения. Простую оценку плотности можно получить, подсчитав количество выборок в каждой ячейке сетки и построив полученную гистограмму, которая дает кусочно-постоянную оценку плотности. Лучшая оценка может быть получена, если использовать неотрицательное трансляционно-инвариантное ядро ​​с полным интегралом, равным единице, и определить ${\displaystyle f}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle x_{1},\dots ,x_{n}\in {\mathcal {X}}}$ ${\displaystyle K}$
  $${\displaystyle f(x)={\frac {1}{n}}\sum _{i=1}^{n}K\left({\frac {x-x_{i}}{h}}\right)}$$
  как гладкая оценка.

Численное решение уравнений в частных производных

Одной из крупнейших областей применения так называемых бессеточных методов является численное решение уравнений в частных уравнениях . Некоторые из популярных бессеточных методов тесно связаны с положительно определенными ядрами (например, бессеточный локальный метод Петрова Галеркина (МЛПГ), метод воспроизводящих ядерных частиц (РКПМ) и гидродинамика сглаженных частиц (SPH) ). Эти методы используют радиальное базисное ядро ​​для коллокации . ^[12]

Теорема о расширении Стайнспринга

Другие приложения

В литературе по компьютерным экспериментам ^[13] и другим инженерным экспериментам все чаще встречаются модели, основанные на ядрах pd, RBF или кригинге . Одной из таких тем является методология поверхности отклика . Другими типами приложений, которые сводятся к подбору данных, являются быстрое прототипирование и компьютерная графика . Здесь часто используются неявные модели поверхности для аппроксимации или интерполяции данных облака точек.

Ядра pd применяются в различных других областях математики в многомерной интеграции, многомерной оптимизации, а также в численном анализе и научных вычислениях, где изучаются быстрые, точные и адаптивные алгоритмы, идеально реализуемые в высокопроизводительных вычислительных средах. ^[14]

Смотрите также

• Ковариационная функция
• Интегральное уравнение
• Интегральное преобразование
• Положительно определенная функция на группе
• Воспроизведение ядра гильбертова пространства
• Метод ядра

Рекомендации

1. Березанский, Юрий Макарович (1968). Разложения по собственным функциям самосопряженных операторов . Провиденс, Род-Айленд: Американское математическое общество. стр. 45–47. ISBN 978-0-8218-1567-0.
2. Хейн М. и Буске О. (2005). «Гильбертовы метрики и положительно определенные ядра вероятностных мер». Гахрамани З. и Коуэлл Р., редакторы, Труды AISTATS 2005.
3. Мерсер, Дж. (1909). «Функции положительного и отрицательного типа и их связь с теорией интегральных уравнений». Философские труды Лондонского королевского общества, серия A 209, стр. 415–446.
4. Гильберт, Д. (1904). «Grundzuge einer allgemeinen Theorie der linearen Integralgleichungen I», Gott. Nachrichten, матем.-физ. К1 (1904), стр. 49-91.
5. Янг, WH (1909). «Заметка об одном классе симметрических функций и теореме, необходимой в теории интегральных уравнений», Филос. Пер. Рой.Сок. Лондон, сер. А, 209, стр. 415–446.
6. Мур, Э.Х. (1916). «О правильно положительных эрмитовых матрицах», Bull. амер. Математика. Соц. 23, 59, стр. 66-67.
7. Мур, Э.Х. (1935). «Общий анализ, часть I», Мемуары амер. Филос. Соц. 1, Филадельфия.
8. Крейн. М (1949/1950). "Эрмитово-положительные ядра на однородных пространствах I и II" (на русском языке), Украина. Мат. З. 1 (1949), стр. 64–98 и 2 (1950), стр. 10–59. Английский перевод: амер. Математика. Соц. Переводы Сер. 2, 34 (1963), стр. 69–164.
9. Лоев, М. (1960). «Теория вероятностей», 2-е изд., Ван Ностранд, Принстон, Нью-Джерси.
10. Росаско Л. и Поджо Т. (2015). Рукопись «Регуляризация машинного обучения - конспекты лекций MIT 9.520».
11. Берг, К., Кристенсен, JPR, и Рессел, П. (1984). «Гармонический анализ полугрупп». Номер 100 в текстах для выпускников по математике, Springer Verlag.
12. Шабак Р. и Вендланд Х. (2006). «Техники ядра: от машинного обучения к бессеточным методам», Cambridge University Press, Acta Numerica (2006), стр. 1–97.
13. Хааланд, Б. и Цянь, PZG (2010). «Точные эмуляторы для масштабных компьютерных экспериментов», Анн. Стат.
14. Гумеров Н.А. и Дурайсвами Р. (2007). «Быстрая интерполяция радиальной базисной функции с помощью предварительно обусловленной итерации Крылова». СИАМ Дж. Сайент. Вычисление 29/5, стр. 1876–1899.