Отбеливающая трансформация

Метод декорреляции, который преобразует ковариационную матрицу набора образцов в матрицу идентичности

Отбеливающее преобразование или сферическое преобразование — это линейное преобразование , которое преобразует вектор случайных величин с известной ковариационной матрицей в набор новых переменных, ковариация которых является единичной матрицей , что означает, что они некоррелированы и каждая имеет дисперсию 1. ^[1] Преобразование называется «отбеливанием», потому что оно изменяет входной вектор на вектор белого шума .

С отбеливанием тесно связаны и некоторые другие преобразования:

1. декорреляционное преобразование удаляет только корреляции, но оставляет дисперсии нетронутыми,
2. преобразование стандартизации устанавливает дисперсии равными 1, но оставляет корреляции нетронутыми,
3. Преобразование раскрашивания преобразует вектор белых случайных величин в случайный вектор с заданной ковариационной матрицей. ^[2]

Определение

Предположим, что — случайный вектор (столбец) с невырожденной ковариационной матрицей и средним значением . Тогда преобразование с отбеливающей матрицей, удовлетворяющей условию, дает отбеленный случайный вектор с единичной диагональной ковариацией. ${\displaystyle X}$ ${\displaystyle \Sigma }$ ${\displaystyle 0}$ ${\displaystyle Y=WX}$ ${\displaystyle W}$ ${\displaystyle W^{\mathrm {T} }W=\Sigma ^{-1}}$ ${\displaystyle Y}$

Существует бесконечно много возможных матриц отбеливания , которые удовлетворяют вышеуказанному условию. Обычно используются следующие варианты: (Mahalanobis или ZCA-отбеливание), где — разложение Холецкого (отбеливание Холецкого), ^[3] или собственная система (PCA-отбеливание). ^[4] ${\displaystyle W}$ ${\displaystyle W=\Sigma ^{-1/2}}$ ${\displaystyle W=L^{T}}$ ${\displaystyle L}$ ${\displaystyle \Sigma ^{-1}}$ ${\displaystyle \Sigma }$

Оптимальные отбеливающие преобразования можно выделить, исследуя кросс-ковариацию и кросс-корреляцию и . ^[3] Например, единственное оптимальное отбеливающее преобразование, достигающее максимальной покомпонентной корреляции между исходным и отбеленным изображением, создается с помощью отбеливающей матрицы , где — матрица корреляции и диагональная матрица дисперсии. ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle W=P^{-1/2}V^{-1/2}}$ ${\displaystyle P}$ ${\displaystyle V}$

Отбеливание матрицы данных

Отбеливание матрицы данных следует тем же преобразованиям, что и для случайных величин. Эмпирическое отбеливающее преобразование получается путем оценки ковариации (например, по максимальному правдоподобию ) и последующего построения соответствующей оценочной матрицы отбеливания (например, по разложению Холецкого ).

Высокоуровневое отбеливание

Эта модальность является обобщением процедуры предварительного отбеливания, распространенной на более общие пространства, где обычно предполагается, что это случайная функция или другие случайные объекты в гильбертовом пространстве . Одной из основных проблем расширения отбеливания на бесконечные измерения является то, что ковариационный оператор имеет неограниченную обратную функцию в . Тем не менее, если предположить, что условие Пикара выполняется для в пространстве диапазонов ковариационного оператора, отбеливание становится возможным. ^[5] Затем отбеливающий оператор может быть определен из факторизации обратного оператора Мура-Пенроуза ковариационного оператора, который имеет эффективное отображение на расширениях типа Карунена-Лоэва . Преимущество этих отбеливающих преобразований состоит в том, что их можно оптимизировать в соответствии с базовыми топологическими свойствами данных, тем самым создавая более надежные отбеливающие представления. Высокоразмерные характеристики данных могут быть использованы с помощью регрессоров ядра или систем базисных функций. ^[6] ${\displaystyle X}$ ${\displaystyle H}$ ${\displaystyle H}$ ${\displaystyle X}$ ${\displaystyle X}$

Реализация R

Реализация нескольких процедур отбеливания в R , включая ZCA-беление и PCA-беление, а также CCA-беление , доступна в пакете R "whitening" ^[7], опубликованном на CRAN . Пакет R "pfica" ^[8] позволяет вычислять многомерные представления отбеливания с использованием систем базисных функций ( B-сплайны , базис Фурье и т. д.).

Смотрите также

• Декорреляция
• Анализ главных компонент
• Взвешенные наименьшие квадраты
• Каноническая корреляция
• Расстояние Махаланобиса (является евклидовым после преобразования У.).

Ссылки

1. Koivunen, AC; Kostinski, AB (1999). «Возможность отбеливания данных для улучшения производительности метеорологических радаров». Журнал прикладной метеорологии . 38 (6): 741–749. Bibcode : 1999JApMe..38..741K. doi : 10.1175/1520-0450(1999)038<0741:TFODWT>2.0.CO;2 . ISSN  1520-0450.
2. Хоссейн, Милиха. «Преобразования отбеливания и окрашивания для многомерных гауссовских случайных величин». Проект Rhea . Получено 21 марта 2016 г.
3. Kessy, A.; Lewin, A.; Strimmer, K. (2018). «Оптимальное отбеливание и декорреляция». The American Statistician . 72 (4): 309–314. arXiv : 1512.00809 . doi : 10.1080/00031305.2016.1277159. S2CID  55075085.
4. Фридман, Дж. (1987). «Exploratory Projection Pursuit» (PDF) . Журнал Американской статистической ассоциации . 82 (397): 249–266. doi :10.1080/01621459.1987.10478427. ISSN  0162-1459. JSTOR  2289161. OSTI  1447861.
5. Видал, М.; Агилера, А.М. (2022). «Новые подходы к отбеливанию в функциональных условиях». STAT . 12 (1): e516. doi : 10.1002/sta4.516 . hdl : 1854/LU-8770510 .
6. Ramsay, JO; Silverman, JO (2005). Функциональный анализ данных. Springer New York, NY. doi :10.1007/b98888. ISBN 978-0-387-40080-8.
7. "отбеливающий пакет R" . Получено 2018-11-25 .
8. "pfica R package" . Получено 2023-02-11 .

Внешние ссылки

• http://courses.media.mit.edu/2010fall/mas622j/whiten.pdf
• Отбеливающее преобразование ZCA. Приложение A к книге «Изучение нескольких слоев признаков из крошечных изображений» А. Крижевского.