В обработке сигналов адаптивный фильтр ядра — это тип нелинейного адаптивного фильтра. [1] Адаптивный фильтр — это фильтр, который адаптирует свою передаточную функцию к изменениям свойств сигнала с течением времени путем минимизации функции ошибки или потерь , которая характеризует, насколько далеко фильтр отклоняется от идеального поведения. Процесс адаптации основан на обучении на основе последовательности образцов сигнала и, таким образом, представляет собой онлайн-алгоритм . Нелинейный адаптивный фильтр — это фильтр, в котором передаточная функция нелинейна.
Адаптивные фильтры ядра реализуют нелинейную передаточную функцию с использованием методов ядра . [1] В этих методах сигнал отображается в многомерное линейное пространство признаков , а нелинейная функция аппроксимируется как сумма по ядрам, областью определения которых является пространство признаков. Если это сделано в воспроизводящем ядерном гильбертовом пространстве , метод ядра может быть универсальным аппроксиматором нелинейной функции. Преимущество методов ядра состоит в том, что они имеют выпуклые функции потерь, не имеют локальных минимумов и являются лишь умеренно сложными в реализации.
Поскольку многомерное пространство признаков линейно, адаптивные фильтры ядра можно рассматривать как обобщение линейных адаптивных фильтров. Как и в случае с линейными адаптивными фильтрами, существует два общих подхода к адаптации фильтра: фильтр наименьших квадратов (LMS) [2] и рекурсивный фильтр наименьших квадратов (RLS). [3]
Самоорганизующиеся адаптивные фильтры ядра, которые используют итерацию для достижения минимизации ошибок выпуклого LMS, решают некоторые статистические и практические проблемы нелинейных моделей, которые не возникают в линейном случае. [4] Регуляризация является особенно важной функцией для нелинейных моделей, а также часто используется в линейных адаптивных фильтрах для уменьшения статистических неопределенностей. Однако поскольку нелинейные фильтры обычно имеют гораздо более высокую потенциальную структурную сложность (или пространство признаков более высокой размерности) по сравнению с фактически необходимым подпространством, определенная регуляризация должна иметь дело с недоопределенной моделью. Хотя некоторые конкретные формы регуляризации параметров, такие как предписанные SRM и SVM Vapink , в некоторой степени решают проблему размерности статистически, остаются дополнительные статистические и практические проблемы для действительно адаптивных нелинейных фильтров. Адаптивные фильтры часто используются для отслеживания поведения изменяющейся во времени системы или систем, которые невозможно полностью смоделировать на основе имеющихся данных и структуры, поэтому в моделях может потребоваться адаптация не только параметров, но и структуры.
Когда структурные параметры ядер извлекаются непосредственно из обрабатываемых данных (как в описанном выше подходе «Опорный вектор»), появляются удобные возможности для аналитически надежных методов самоорганизации ядер, доступных фильтру. Линеаризованное пространство признаков, создаваемое ядрами, позволяет линейно проецировать новые выборки на текущую структуру модели, где новизну новых данных можно легко отличить от ошибок, вызванных шумом, которые не должны приводить к изменению структуры модели. Аналитические метрики для анализа структуры можно использовать для экономичного увеличения сложности модели, когда это необходимо, или для оптимального сокращения существующей структуры при достижении пределов ресурсов процессора. Обновления структуры также актуальны, когда обнаружены изменения в системе, и долговременная память модели должна быть обновлена, как и в случае с фильтром Калмана в линейных фильтрах.
Итеративный градиентный спуск, который обычно используется в адаптивных фильтрах, также приобрел популярность в машинном обучении на основе опорных векторов в автономном пакетном режиме из-за его вычислительной эффективности при обработке больших наборов данных. Сообщается, что производительность как временных рядов, так и пакетной обработки данных [5] позволяет легко обрабатывать более 100 000 обучающих примеров, используя всего лишь 10 КБ ОЗУ. Такие большие размеры данных затрудняют первоначальные формулировки машин опорных векторов и других методов ядра, которые, например, основывались на оптимизации с ограничениями с использованием методов линейного или квадратичного программирования.