Ядро (статистика)

Термин « ядро » используется в статистическом анализе для обозначения оконной функции . Термин «ядро» имеет несколько различных значений в различных областях статистики.

Байесовская статистика

В статистике, особенно в байесовской статистике , ядро функции плотности вероятности (pdf) или функции массы вероятности (pmf) представляет собой форму pdf или pmf, в которой опущены любые факторы, которые не являются функциями ни одной из переменных в области. ^[1] Обратите внимание, что такие факторы вполне могут быть функциями параметров pdf или pmf. Эти факторы образуют часть фактора нормализации распределения вероятностей и во многих ситуациях не нужны. Например, при выборке псевдослучайных чисел большинство алгоритмов выборки игнорируют фактор нормализации. Кроме того, при байесовском анализе сопряженных априорных распределений факторы нормализации обычно игнорируются во время вычислений, и рассматривается только ядро. В конце проверяется форма ядра, и если она соответствует известному распределению, фактор нормализации может быть восстановлен. В противном случае он может быть ненужным (например, если распределение нужно только выбрать из).

Для многих распределений ядро можно записать в замкнутом виде, но не константу нормализации.

Примером является нормальное распределение . Его функция плотности вероятности равна

p(x|\mu ,\sigma ^{2})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}

и связанное с ним ядро

p(x|\mu,\sigma ^{2})\propto e^{- {\frac {(x-\mu)^{2}}{2\sigma ^{2}}}}

Обратите внимание, что множитель перед экспонентой был опущен, хотя он и содержит параметр , поскольку он не является функцией доменной переменной . $\сигма ^{2}$ $x$

Анализ закономерностей

Ядро воспроизводящего ядра Гильбертова пространства используется в наборе методов, известных как методы ядра, для выполнения таких задач, как статистическая классификация , регрессионный анализ и кластерный анализ данных в неявном пространстве. Такое использование особенно распространено в машинном обучении .

Непараметрическая статистика

В непараметрической статистике ядро — это весовая функция, используемая в непараметрических методах оценки. Ядра используются в оценке плотности ядра для оценки функций плотности случайных величин или в регрессии ядра для оценки условного ожидания случайной величины. Ядра также используются во временных рядах , при использовании периодограммы для оценки спектральной плотности , где они известны как функции окна . Дополнительное использование — оценка изменяющейся во времени интенсивности для точечного процесса , где функции окна (ядра) свертываются с данными временного ряда.

Обычно при выполнении непараметрической оценки необходимо также указывать ширину ядра.

Определение

Ядро — это неотрицательная вещественная интегрируемая функция K. Для большинства приложений желательно определить функцию так, чтобы она удовлетворяла двум дополнительным требованиям:

Нормализация :

{\ displaystyle \ int _ {- \ infty } ^ {+ \ infty } K (u) \, du = 1 \,;}

Симметрия четной функции :

K(-u)=K(u){\mbox{ для всех значений }}u\,.

Первое требование гарантирует, что метод оценки плотности ядра приводит к функции плотности вероятности . Второе требование гарантирует, что среднее значение соответствующего распределения равно среднему значению используемой выборки.

Если K является ядром, то таковой является и функция K *, определяемая как K *( u ) = λ K (λ u ), где λ > 0. Это можно использовать для выбора шкалы, подходящей для данных.

Функции ядра общего назначения

Все ядра ниже в общей системе координат.

Обычно используются несколько типов функций ядра: равномерная, треугольная, Епанечникова, ^[2] четверная (двухвесовая), трикубическая, ^[3] трехвесовая, гауссова, квадратичная ^[4] и косинусная.

В таблице ниже, если задано с ограниченной опорой , то для значений u, лежащих вне опоры. $К$ $К(и)=0$

Смотрите также

Ссылки

^ Шустер, Юджин (август 1969). «Оценка функции плотности вероятности и ее производных». Анналы математической статистики . 40 (4): 1187-1195. doi : 10.1214/aoms/1177697495 .
^ Названо по имени Епанечникова, ВА (1969). «Непараметрическая оценка многомерной плотности вероятности». Теория вероятн. Прикладн . 14 (1): 153–158. doi :10.1137/1114019.
^ Альтман, Н. С. (1992). «Введение в непараметрическую регрессию ядра и ближайшего соседа». The American Statistician . 46 (3): 175–185. doi :10.1080/00031305.1992.10475879. hdl : 1813/31637 .
^ Кливленд, WS ; Девлин, SJ (1988). «Локально взвешенная регрессия: подход к регрессионному анализу с помощью локальной подгонки». Журнал Американской статистической ассоциации . 83 (403): 596–610. doi :10.1080/01621459.1988.10478639.
^ Эффективность определяется как . ${\sqrt {\int u^{2}K(u)\,du}}\int K(u)^{2}\,du$
^ Silverman, BW (1986). Оценка плотности для статистики и анализа данных . Chapman and Hall, Лондон. Bibcode :1986desd.book.....S.

Ли, Ци; Расин, Джеффри С. (2007). Непараметрическая эконометрика: теория и практика . Princeton University Press. ISBN 978-0-691-12161-1.

Цуккини, Уолтер. "ПРИКЛАДНЫЕ МЕТОДЫ СГЛАЖИВАНИЯ Часть 1: Оценка плотности ядра" (PDF) . Получено 6 сентября 2018 г. .

Comaniciu, D; Meer, P (2002). «Сдвиг среднего: надежный подход к анализу пространства признаков». Труды IEEE по анализу шаблонов и машинному интеллекту . 24 (5): 603–619. CiteSeerX 10.1.1.76.8968 . doi :10.1109/34.1000236.