Структурный тензор

Тензор, связанный с градиентами

В математике структурный тензор , также называемый матрицей второго момента , представляет собой матрицу, полученную из градиента функции . Он описывает распределение градиента в указанной окрестности вокруг точки и делает информацию инвариантной к координатам наблюдения. Структурный тензор часто используется в обработке изображений и компьютерном зрении . ^{[1] [2] [3]}

Тензор двумерной структуры

Непрерывная версия

Для функции двух переменных p = ( x , y ) структурный тензор представляет собой матрицу 2×2 ${\displaystyle I}$

$${\displaystyle S_{w}(p)={\begin{bmatrix}\int w(r)(I_{x}(p-r))^{2}\,dr&\int w(r)I_{x}(p-r)I_{y}(p-r)\,dr\\[10pt]\int w(r)I_{x}(p-r)I_{y}(p-r)\,dr&\int w(r)(I_{y}(p-r))^{2}\,dr\end{bmatrix}}}$$где и являются частными производными по x и y ; интегралы ранжируются по плоскости ; и w является некоторой фиксированной "функцией окна" (например, гауссовским размытием ), распределением по двум переменным. Обратите внимание , что матрица сама по себе является функцией p = ( x , y ) . ${\displaystyle I_{x}}$ ${\displaystyle I_{y}}$ ${\displaystyle I}$ ${\displaystyle \mathbb {R} ^{2}}$ ${\displaystyle S_{w}}$

Формулу выше можно записать также как , где — матричная функция, определяемая как ${\textstyle S_{w}(p)=\int w(r)S_{0}(p-r)\,dr}$ ${\displaystyle S_{0}}$ $${\displaystyle S_{0}(p)={\begin{bmatrix}(I_{x}(p))^{2}&I_{x}(p)I_{y}(p)\\[10pt]I_{x}(p)I_{y}(p)&(I_{y}(p))^{2}\end{bmatrix}}}$$

Если градиент рассматривать как матрицу 2×1 (одностолбцовую), где обозначает операцию транспонирования , превращающую вектор-строку в вектор-столбец, то матрицу можно записать как произведение матриц или тензор или внешнее произведение . Однако следует отметить, что структурный тензор в общем случае не может быть разложен таким образом, за исключением случая, когда является дельта-функцией Дирака . ${\displaystyle \nabla I=(I_{x},I_{y})^{\text{T}}}$ ${\displaystyle I}$ ${\displaystyle (\cdot )^{\text{T}}}$ ${\displaystyle S_{0}}$ ${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$ ${\displaystyle \nabla I\otimes \nabla I}$ ${\displaystyle S_{w}(p)}$ ${\displaystyle w}$

Дискретная версия

В обработке изображений и других подобных приложениях функция обычно задается как дискретный массив выборок , где p — пара целочисленных индексов. Тензор двумерной структуры в данном пикселе обычно принимается за дискретную сумму ${\displaystyle I}$ ${\displaystyle I[p]}$

$${\displaystyle S_{w}[p]={\begin{bmatrix}\sum _{r}w[r](I_{x}[p-r])^{2}&\sum _{r}w[r]I_{x}[p-r]I_{y}[p-r]\\[10pt]\sum _{r}w[r]I_{x}[p-r]I_{y}[p-r]&\sum _{r}w[r](I_{y}[p-r])^{2}\end{bmatrix}}}$$

Здесь индекс суммирования r варьируется по конечному набору пар индексов («окно», как правило, для некоторого m ), а w [ r ] — фиксированный «вес окна», который зависит от r , так что сумма всех весов равна 1. Значения представляют собой частные производные, выбранные в пикселе p ; которые, например, можно оценить с помощью формул конечных разностей . ${\displaystyle \{-m\ldots +m\}\times \{-m\ldots +m\}}$ ${\displaystyle I_{x}[p],I_{y}[p]}$ ${\displaystyle I}$

Формулу структурного тензора можно записать также в виде , где — матричнозначный массив, такой что ${\textstyle S_{w}[p]=\sum _{r}w[r]S_{0}[p-r]}$ ${\displaystyle S_{0}}$ $${\displaystyle S_{0}[p]={\begin{bmatrix}(I_{x}[p])^{2}&I_{x}[p]I_{y}[p]\\[10pt]I_{x}[p]I_{y}[p]&(I_{y}[p])^{2}\end{bmatrix}}}$$

Интерпретация

Важность тензора двумерной структуры вытекает из того факта, что собственные значения (которые можно упорядочить так, что ) и соответствующие им собственные векторы суммируют распределение градиента в пределах окна, определяемого с центром в . ^{[1] [2] [3]} ${\displaystyle S_{w}}$ ${\displaystyle \lambda _{1},\lambda _{2}}$ ${\displaystyle \lambda _{1}\geq \lambda _{2}\geq 0}$ ${\displaystyle e_{1},e_{2}}$ ${\displaystyle \nabla I=(I_{x},I_{y})}$ ${\displaystyle I}$ ${\displaystyle w}$ ${\displaystyle p}$

А именно, если , то (или ) — это направление, которое максимально совпадает с градиентом внутри окна. ${\displaystyle \lambda _{1}>\lambda _{2}}$ ${\displaystyle e_{1}}$ ${\displaystyle -e_{1}}$

В частности, если то градиент всегда кратен (положительному, отрицательному или нулю); это имеет место тогда и только тогда, когда внутри окна изменяется вдоль направления , но постоянен вдоль . Это условие собственных значений также называется условием линейной симметрии, поскольку тогда изокривые состоят из параллельных линий, т.е. существует одномерная функция , которая может генерировать двумерную функцию как для некоторого постоянного вектора и координат . ${\displaystyle \lambda _{1}>0,\lambda _{2}=0}$ ${\displaystyle e_{1}}$ ${\displaystyle I}$ ${\displaystyle e_{1}}$ ${\displaystyle e_{2}}$ ${\displaystyle I}$ ${\displaystyle g}$ ${\displaystyle I}$ ${\displaystyle I(x,y)=g(d^{\text{T}}p)}$ ${\displaystyle d=(d_{x},d_{y})^{T}}$ ${\displaystyle p=(x,y)^{T}}$

Если , с другой стороны, градиент в окне не имеет преобладающего направления; что происходит, например, когда изображение имеет вращательную симметрию в этом окне. Это состояние собственных значений также называется сбалансированным телом или условием направленного равновесия, поскольку оно выполняется, когда все направления градиента в окне одинаково часты/вероятны. ${\displaystyle \lambda _{1}=\lambda _{2}}$

Более того, условие выполняется тогда и только тогда, когда функция постоянна ( ) в пределах . ${\displaystyle \lambda _{1}=\lambda _{2}=0}$ ${\displaystyle I}$ ${\displaystyle \nabla I=(0,0)}$ ${\displaystyle W}$

В более общем смысле значение , для k =1 или k =2, является -взвешенным средним, в окрестности p , квадрата производной по направлению вдоль . Относительное расхождение между двумя собственными значениями является индикатором степени анизотропии градиента в окне, а именно, насколько сильно он смещен в сторону определенного направления (и его противоположности). ^{[4] [5]} Этот атрибут может быть количественно определен с помощью когерентности , определяемой как ${\displaystyle \lambda _{k}}$ ${\displaystyle w}$ ${\displaystyle I}$ ${\displaystyle e_{k}}$ ${\displaystyle S_{w}}$

$${\displaystyle c_{w}=\left({\frac {\lambda _{1}-\lambda _{2}}{\lambda _{1}+\lambda _{2}}}\right)^{2}}$$

если . Эта величина равна 1, когда градиент полностью выровнен, и 0, когда он не имеет предпочтительного направления. Формула не определена даже в пределе , когда изображение постоянно в окне ( ). Некоторые авторы определяют его как 0 в этом случае. ${\displaystyle \lambda _{2}>0}$ ${\displaystyle \lambda _{1}=\lambda _{2}=0}$

Обратите внимание, что среднее значение градиента внутри окна не является хорошим индикатором анизотропии. Выровненные, но противоположно ориентированные векторы градиента будут отменяться в этом среднем, тогда как в структурном тензоре они правильно суммируются. ^[6] Это причина того, почему используется при усреднении структурного тензора для оптимизации направления вместо . ${\displaystyle \nabla I}$ ${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$ ${\displaystyle \nabla I}$

Расширяя эффективный радиус оконной функции (то есть увеличивая ее дисперсию), можно сделать структурный тензор более устойчивым к шуму за счет уменьшения пространственного разрешения. ^{[5] [7]} Формальная основа этого свойства более подробно описана ниже, где показано, что многомасштабная формулировка структурного тензора, называемая многомасштабным структурным тензором, представляет собой истинное многомасштабное представление направленных данных при вариациях пространственной протяженности оконной функции . ${\displaystyle w}$

Сложная версия

Интерпретация и реализация тензора двумерной структуры становится особенно доступной при использовании комплексных чисел . ^[2] Тензор структуры состоит из 3 действительных чисел

$${\displaystyle S_{w}(p)={\begin{bmatrix}\mu _{20}&\mu _{11}\\[10pt]\mu _{11}&\mu _{02}\end{bmatrix}}}$$

где , и в котором интегралы можно заменить суммами для дискретного представления. Используя тождество Парсеваля , ясно, что три действительных числа являются моментами второго порядка спектра мощности . Следующий комплексный момент второго порядка спектра мощности может быть тогда записан как ${\textstyle \mu _{20}=\int (w(r)(I_{x}(p-r))^{2}\,dr}$ ${\textstyle \mu _{02}=\int (w(r)(I_{y}(p-r))^{2}\,dr}$ ${\textstyle \mu _{11}=\int w(r)I_{x}(p-r)I_{y}(p-r)\,dr}$ ${\displaystyle I}$ ${\displaystyle I}$

$${\displaystyle \kappa _{20}=\mu _{20}-\mu _{02}+i2\mu _{11}=\int w(r)(I_{x}(p-r)+iI_{y}(p-r))^{2}\,dr=(\lambda _{1}-\lambda _{2})\exp(i2\phi )}$$

где и — угол направления самого значимого собственного вектора тензора структуры, тогда как и — самые и самые значимые собственные значения. Из этого следует, что содержит как определенность , так и оптимальное направление в представлении двойного угла, поскольку это комплексное число, состоящее из двух действительных чисел. Из этого следует также, что если градиент представлен как комплексное число и переотображен путем возведения в квадрат (т. е. углы аргумента комплексного градиента удваиваются), то усреднение действует как оптимизатор в отображенной области, поскольку оно напрямую обеспечивает как оптимальное направление (в представлении двойного угла), так и связанную с ним определенность. Таким образом, комплексное число представляет, насколько линейная структура (линейная симметрия) присутствует в изображении , а комплексное число получается напрямую путем усреднения градиента в его (комплексном) представлении двойного угла без явного вычисления собственных значений и собственных векторов. ${\displaystyle i={\sqrt {-1}}}$ ${\displaystyle \phi }$ ${\displaystyle \phi =\angle {e_{1}}}$ ${\displaystyle \lambda _{1}}$ ${\displaystyle \lambda _{2}}$ ${\displaystyle \kappa _{20}}$ ${\displaystyle |\kappa _{20}|=\lambda _{1}-\lambda _{2}}$ ${\displaystyle I}$

Аналогично следующий комплексный момент второго порядка спектра мощности , который всегда оказывается действительным, поскольку является действительным, ${\displaystyle I}$ ${\displaystyle I}$

$${\displaystyle \kappa _{11}=\mu _{20}+\mu _{02}=\int w(r)|I_{x}(p-r)+iI_{y}(p-r)|^{2}\,dr=\lambda _{1}+\lambda _{2}}$$

можно получить, причем и являются собственными значениями, как и раньше. Обратите внимание, что на этот раз величина комплексного градиента возведена в квадрат (что всегда является действительным числом). ${\displaystyle \lambda _{1}}$ ${\displaystyle \lambda _{2}}$

Однако разложение тензора структуры по его собственным векторам дает его компоненты тензора как

$${\displaystyle S_{w}(p)=\lambda _{1}e_{1}e_{1}^{\text{T}}+\lambda _{2}e_{2}e_{2}^{\text{T}}=(\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}+\lambda _{2}(e_{1}e_{1}^{\text{T}}+e_{2}e_{2}^{\text{T}})=(\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}+\lambda _{2}E}$$

где — единичная матрица в 2D, поскольку два собственных вектора всегда ортогональны (и в сумме равны единице). Первый член в последнем выражении разложения, , представляет собой линейный компонент симметрии тензора структуры, содержащий всю информацию о направлении (как матрица ранга 1), тогда как второй член представляет собой сбалансированный компонент тела тензора, в котором отсутствует какая-либо информация о направлении (содержащий единичную матрицу ). Узнать, сколько информации о направлении содержится в , — это то же самое, что проверить, насколько велик по сравнению с . ${\displaystyle E}$ ${\displaystyle (\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}}$ ${\displaystyle E}$ ${\displaystyle I}$ ${\displaystyle \lambda _{1}-\lambda _{2}}$ ${\displaystyle \lambda _{2}}$

Очевидно, является комплексным эквивалентом первого члена в разложении тензора, тогда как является эквивалентом второго члена. Таким образом, два скаляра, включающие три действительных числа, ${\displaystyle \kappa _{20}}$ $${\displaystyle {\tfrac {1}{2}}(|\kappa _{20}|-\kappa _{11})=\lambda _{2}}$$

$${\displaystyle {\begin{aligned}\kappa _{20}&=&(\lambda _{1}-\lambda _{2})\exp(i2\phi )&=w*(h*I)^{2}\\\kappa _{11}&=&\lambda _{1}+\lambda _{2}&=w*|h*I|^{2}\\\end{aligned}}}$$где — (комплексный) градиентный фильтр, а — свертка, составляют комплексное представление тензора 2D-структуры. Как обсуждалось здесь и в других местах, определяет локальное изображение, которое обычно является гауссовым (с определенной дисперсией, определяющей внешний масштаб), а — параметр (внутреннего масштаба), определяющий эффективный диапазон частот, в котором должна оцениваться ориентация . ${\displaystyle h(x,y)=(x+iy)\exp(-(x^{2}+y^{2})/(2\sigma ^{2}))}$ ${\displaystyle *}$ ${\displaystyle w}$ ${\displaystyle \sigma }$ ${\displaystyle 2\phi }$

Элегантность комплексного представления проистекает из того, что два компонента структурного тензора могут быть получены как средние и независимо. В свою очередь, это означает, что и могут использоваться в представлении масштабного пространства для описания доказательств наличия уникальной ориентации и доказательств альтернативной гипотезы, наличия множественных сбалансированных ориентаций, без вычисления собственных векторов и собственных значений. Функционал, такой как возведение в квадрат комплексных чисел, до сих пор не был показан для структурных тензоров с размерностями выше двух. В Bigun 91 было выдвинуто с должным аргументом, что это происходит потому, что комплексные числа являются коммутативными алгебрами, тогда как кватернионы, возможный кандидат для построения такого функционала, составляют некоммутативную алгебру. ^[8] ${\displaystyle \kappa _{20}}$ ${\displaystyle \kappa _{11}}$

Комплексное представление структурного тензора часто используется в анализе отпечатков пальцев для получения карт направлений, содержащих определенные данные, которые, в свою очередь, используются для их улучшения, нахождения местоположений глобальных (ядра и дельты) и локальных (мелкие детали) особенностей, а также для автоматической оценки качества отпечатков пальцев.

Тензор трехмерной структуры

Определение

Структурный тензор может быть определен также для функции трех переменных p =( x , y , z ) совершенно аналогичным образом. А именно, в непрерывной версии мы имеем , где где — три частные производные , а интеграл пробегает . ${\displaystyle I}$ ${\textstyle S_{w}(p)=\int w(r)S_{0}(p-r)\,dr}$ $${\displaystyle S_{0}(p)={\begin{bmatrix}(I_{x}(p))^{2}&I_{x}(p)I_{y}(p)&I_{x}(p)I_{z}(p)\\[10pt]I_{x}(p)I_{y}(p)&(I_{y}(p))^{2}&I_{y}(p)I_{z}(p)\\[10pt]I_{x}(p)I_{z}(p)&I_{y}(p)I_{z}(p)&(I_{z}(p))^{2}\end{bmatrix}}}$$ ${\displaystyle I_{x},I_{y},I_{z}}$ ${\displaystyle I}$ ${\displaystyle \mathbb {R} ^{3}}$

В дискретной версии, , где и сумма варьируется по конечному набору трехмерных индексов, обычно для некоторого m . ${\textstyle S_{w}[p]=\sum _{r}w[r]S_{0}[p-r]}$ $${\displaystyle S_{0}[p]={\begin{bmatrix}(I_{x}[p])^{2}&I_{x}[p]I_{y}[p]&I_{x}[p]I_{z}[p]\\[10pt]I_{x}[p]I_{y}[p]&(I_{y}[p])^{2}&I_{y}[p]I_{z}[p]\\[10pt]I_{x}[p]I_{z}[p]&I_{y}[p]I_{z}[p]&(I_{z}[p])^{2}\end{bmatrix}}}$$ ${\displaystyle \{-m\ldots +m\}\times \{-m\ldots +m\}\times \{-m\ldots +m\}}$

Интерпретация

Как и в двумерном случае, собственные значения и соответствующие собственные векторы суммируют распределение направлений градиента в окрестности p, определяемой окном . Эту информацию можно визуализировать как эллипсоид , полуоси которого равны собственным значениям и направлены вдоль соответствующих им собственных векторов. ^{[9] [10]} ${\displaystyle \lambda _{1},\lambda _{2},\lambda _{3}}$ ${\displaystyle S_{w}[p]}$ ${\displaystyle {\hat {e}}_{1},{\hat {e}}_{2},{\hat {e}}_{3}}$ ${\displaystyle w}$

Эллипсоидальное представление тензора трехмерной структуры.

В частности, если эллипсоид вытянут только вдоль одной оси, как сигара (то есть, если намного больше, чем и ), это означает, что градиент в окне преимущественно выровнен с направлением , так что изоповерхности имеют тенденцию быть плоскими и перпендикулярными этому вектору. Такая ситуация возникает, например, когда p лежит на тонкой пластинчатой ​​особенности или на гладкой границе между двумя областями с контрастными значениями. ${\displaystyle \lambda _{1}}$ ${\displaystyle \lambda _{2}}$ ${\displaystyle \lambda _{3}}$ ${\displaystyle e_{1}}$ ${\displaystyle I}$

Если эллипсоид сплющен только в одном направлении, как блин (то есть, если намного меньше, чем и ), это означает, что направления градиента разбросаны, но перпендикулярны ; так что изоповерхности имеют тенденцию быть похожими на трубки, параллельные этому вектору. Такая ситуация возникает, например, когда p лежит на тонкой линейной особенности или на остром углу границы между двумя областями с контрастными значениями. ${\displaystyle \lambda _{3}}$ ${\displaystyle \lambda _{1}}$ ${\displaystyle \lambda _{2}}$ ${\displaystyle e_{3}}$

Наконец, если эллипсоид приблизительно сферический (то есть, если ), это означает, что направления градиента в окне распределены более или менее равномерно, без выраженного предпочтения; так что функция в основном изотропна в этой окрестности. Это происходит, например, когда функция имеет сферическую симметрию в окрестности p . В частности, если эллипсоид вырождается в точку (то есть, если три собственных значения равны нулю), это означает, что является постоянным (имеет нулевой градиент) в пределах окна. ${\displaystyle \lambda _{1}\approx \lambda _{2}\approx \lambda _{3}}$ ${\displaystyle I}$ ${\displaystyle I}$

Многомасштабный структурный тензор

Структурный тензор является важным инструментом в анализе масштабного пространства . Многомасштабный структурный тензор (или многомасштабная матрица второго момента ) функции в отличие от других однопараметрических характеристик масштабного пространства является дескриптором изображения, который определяется по двум масштабным параметрам. Один масштабный параметр, называемый локальным масштабом , необходим для определения величины предварительного сглаживания при вычислении градиента изображения . Другой масштабный параметр, называемый масштабом интегрирования , необходим для указания пространственной протяженности оконной функции , которая определяет веса для области в пространстве, по которой накапливаются компоненты внешнего произведения самого градиента . ${\displaystyle I}$ ${\displaystyle t}$ ${\displaystyle (\nabla I)(x;t)}$ ${\displaystyle s}$ ${\displaystyle w(\xi ;s)}$ ${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$

Точнее, предположим, что это вещественный сигнал, определенный над . Для любого локального масштаба пусть многомасштабное представление этого сигнала задается как , где представляет собой ядро ​​предварительного сглаживания. Кроме того, пусть обозначает градиент представления масштабного пространства . Тогда многомасштабный структурный тензор/матрица второго момента определяется как ^{[7] [11] [12]} Концептуально можно спросить, будет ли достаточно использовать любые самоподобные семейства сглаживающих функций и . Однако, если наивно применить, например, ящичный фильтр, то могут легко возникнуть нежелательные артефакты. Если нужно, чтобы многомасштабный структурный тензор хорошо себя вел как в возрастающих локальных масштабах, так и в возрастающих масштабах интегрирования , то можно показать, что и сглаживающая функция, и оконная функция должны быть гауссовыми. ^[7] Условия, определяющие эту уникальность, аналогичны аксиомам масштабного пространства , которые используются для вывода уникальности гауссовского ядра для регулярного гауссовского масштабного пространства интенсивностей изображений. ${\displaystyle I}$ ${\displaystyle \mathbb {R} ^{k}}$ ${\displaystyle t>0}$ ${\displaystyle I(x;t)}$ ${\displaystyle I(x;t)=h(x;t)*I(x)}$ ${\displaystyle h(x;t)}$ ${\displaystyle (\nabla I)(x;t)}$ $${\displaystyle \mu (x;t,s)=\int _{\xi \in \mathbb {R} ^{k}}(\nabla I)(x-\xi ;t)\,(\nabla I)^{\text{T}}(x-\xi ;t)\,w(\xi ;s)\,d\xi }$$ ${\displaystyle h(x;t)}$ ${\displaystyle w(\xi ;s)}$ ${\displaystyle t}$ ${\displaystyle s}$

Существуют различные способы обработки двухпараметрических вариаций масштаба в этом семействе дескрипторов изображений. Если мы сохраняем фиксированным параметр локального масштаба и применяем все более расширенные версии функции окна, увеличивая только параметр масштаба интегрирования, то мы получаем истинное формальное представление масштабного пространства направленных данных, вычисленных в заданном локальном масштабе . ^[7] Если мы соединяем локальный масштаб и масштаб интегрирования относительной шкалой интегрирования , так что затем для любого фиксированного значения , мы получаем сокращенную самоподобную однопараметрическую вариацию, которая часто используется для упрощения вычислительных алгоритмов, например, при обнаружении углов , обнаружении точек интереса , анализе текстур и сопоставлении изображений . Изменяя относительную шкалу интегрирования в такой самоподобной вариации масштаба, мы получаем другой альтернативный способ параметризации многомасштабной природы направленных данных, полученных путем увеличения шкалы интегрирования. ${\displaystyle t}$ ${\displaystyle s}$ ${\displaystyle t}$ ${\displaystyle r\geq 1}$ ${\displaystyle s=rt}$ ${\displaystyle r}$ ${\displaystyle r\geq 1}$

Концептуально схожее построение может быть выполнено для дискретных сигналов, с заменой интеграла свертки суммой свертки и с заменой непрерывного гауссовского ядра на дискретное гауссово ядро : При квантовании параметров шкалы и в реальной реализации обычно используется конечная геометрическая прогрессия с i в диапазоне от 0 до некоторого максимального индекса шкалы m . Таким образом, уровни дискретной шкалы будут иметь определенное сходство с пирамидой изображения , хотя пространственная подвыборка не обязательно может использоваться для сохранения более точных данных для последующих этапов обработки. ${\displaystyle g(x;t)}$ ${\displaystyle T(n;t)}$ $${\displaystyle \mu (x;t,s)=\sum _{n\in \mathbb {Z} ^{k}}(\nabla I)(x-n;t)\,(\nabla I)^{\text{T}}(x-n;t)\,w(n;s)}$$ ${\displaystyle t}$ ${\displaystyle s}$ ${\displaystyle \alpha ^{i}}$

Приложения

Собственные значения тензора структуры играют важную роль во многих алгоритмах обработки изображений для таких задач, как обнаружение углов , обнаружение точек интереса и отслеживание признаков . ^{[9] [13] [14] [15] [16] [17] [18]} Тензор структуры также играет центральную роль в алгоритме оптического потока Лукаса-Канаде и в его расширениях для оценки аффинной адаптации формы ; ^[11] где величина является показателем надежности вычисленного результата. Тензор использовался для анализа масштабного пространства , ^[7] оценки локальной ориентации поверхности по монокулярным или бинокулярным сигналам, ^[12] нелинейного улучшения отпечатков пальцев, ^[19] обработки изображений на основе диффузии , ^{[20] [21] [22] [23]} и нескольких других задач обработки изображений. Тензор структуры также может применяться в геологии для фильтрации сейсмических данных. ^[24] ${\displaystyle \lambda _{2}}$

Обработка пространственно-временных видеоданных с использованием тензора структуры

Трехмерный структурный тензор использовался для анализа трехмерных видеоданных (рассматриваемых как функция x , y и времени t ). ^[4] Если в этом контексте мы стремимся к дескрипторам изображений, которые инвариантны относительно преобразований Галилея , чтобы сделать возможным сравнение измерений изображений, которые были получены при вариациях априори неизвестных скоростей изображений , то, однако, с вычислительной точки зрения предпочтительнее параметризовать компоненты в тензоре структуры/матрице второго момента, используя понятие диагонализации Галилея ^[25] , где обозначает преобразование Галилея пространства-времени и двумерное вращение по пространственной области, по сравнению с вышеупомянутым использованием собственных значений тензора трехмерной структуры, что соответствует разложению собственных значений и (нефизическому) трехмерному вращению пространства-времени. Однако для получения истинной инвариантности Галилея необходимо также адаптировать форму пространственно-временной оконной функции, ^{[25] [26],} что соответствует переносу аффинной адаптации формы ^[11] из пространственных в пространственно-временные данные изображения. В сочетании с локальными пространственно-временными гистограммными дескрипторами ^[27] эти концепции вместе обеспечивают галилеевское инвариантное распознавание пространственно-временных событий. ^[28] ${\displaystyle v=(v_{x},v_{y})^{\text{T}}}$ $${\displaystyle {\begin{bmatrix}x'\\y'\\t'\end{bmatrix}}=G{\begin{bmatrix}x\\y\\t\end{bmatrix}}={\begin{bmatrix}x-v_{x}\,t\\y-v_{y}\,t\\t\end{bmatrix}},}$$ ${\displaystyle S}$ $${\displaystyle S'=R_{\text{space}}^{-{\text{T}}}\,G^{-{\text{T}}}\,S\,G^{-1}\,R_{\text{space}}^{-1}={\begin{bmatrix}\nu _{1}&\,&\,\\\,&\nu _{2}&\,\\\,&\,&\nu _{3}\end{bmatrix}}}$$ ${\displaystyle G}$ ${\displaystyle R_{\text{space}}}$ $${\displaystyle S''=R_{\text{spacetime}}^{-{\text{T}}}\,S\,R_{\text{spacetime}}^{-1}={\begin{bmatrix}\lambda _{1}&&\\&\lambda _{2}&\\&&\lambda _{3}\end{bmatrix}}.}$$

Смотрите также

• Тензор
• Оператор тензора
• Направленная производная
• Гауссов
• Обнаружение угла
• Обнаружение краев
• Метод Лукаса-Канаде
• Аффинная адаптация формы
• Обобщенный структурный тензор

Ссылки

1. J. Bigun и G. Granlund (1986), Оптимальное определение ориентации линейной симметрии . Технический отчет LiTH-ISY-I-0828, Лаборатория компьютерного зрения, Университет Линчёпинга, Швеция, 1986; Отчет о диссертации, Исследования Линчёпинга в области науки и технологий № 85, 1986.
2. J. Bigun & G. Granlund (1987). "Оптимальное определение ориентации линейной симметрии". Первая междунар. конф. по компьютерному зрению, ICCV, (Лондон) . Piscataway: IEEE Computer Society Press, Piscataway. стр. 433–438.
3. H. Knutsson (1989). «Представление локальной структуры с использованием тензоров». Труды 6-й Скандинавской конференции по анализу изображений . Оулу: Университет Оулу. С. 244–251.
4. B. Jahne (1993). Пространственно-временная обработка изображений: теория и научные приложения . Т. 751. Берлин: Springer-Verlag.
5. G. Medioni, M. Lee & C. Tang (март 2000 г.). Вычислительная структура для извлечения и сегментации признаков . Elsevier Science.
6. Т. Брокс; Дж. Вейкерт; Б. Берджет и П. Мразек (2004). Тензоры нелинейных структур (Технический отчет). Университет Саара. 113.
7. T. Lindeberg (1993), Scale-Space Theory in Computer Vision . Kluwer Academic Publishers, (см. разделы 14.4.1 и 14.2.3 на страницах 359–360 и 355–356 для получения подробных утверждений о том, как многомасштабная матрица второго момента/тензор структуры определяет истинное и однозначно определенное многомасштабное представление направленных данных).
8. J. Bigun; G. Granlund & J. Wiklund (1991). «Многомерная оценка ориентации с приложениями к анализу текстур и оптическому потоку». Труды IEEE по анализу образов и машинному интеллекту . 13 (8): 775–790. doi :10.1109/34.85668.
9. M. Nicolescu & G. Medioni (2003). «Сегментация движения с точными границами – подход тензорного голосования». Proc. IEEE Computer Vision and Pattern Recognition . Том 1. С. 382–389.
10. Westin, C.-F.; Maier, SE; Mamata, H.; Nabavi, A.; Jolesz, FA; Kikinis, R. (июнь 2002 г.). «Обработка и визуализация для диффузионно-тензорной МРТ». Medical Image Analysis . 6 (2): 93–108. doi :10.1016/S1361-8415(02)00053-1. PMID  12044998.
11. T. Lindeberg & J. Garding (1997). «Сглаживание, адаптированное к форме, при оценке трехмерных сигналов глубины из аффинных искажений локальной двумерной структуры». Image and Vision Computing . 15 (6): 415–434. doi :10.1016/S0262-8856(97)01144-X.
12. J. Garding и T. Lindeberg (1996). «Прямое вычисление сигналов формы с использованием масштабно-адаптированных пространственных производных операторов» , International Journal of Computer Vision, том 17, выпуск 2, страницы 163–191.
13. W. Förstner (1986). «Алгоритм соответствия на основе признаков для обработки изображений». Международный архив фотограмметрии и дистанционного зондирования . 26 : 150–166.
14. C. Harris & M. Stephens (1988). «Комбинированный детектор углов и кромок». Труды 4-й конференции ALVEY Vision . С. 147–151.
15. К. Рор (1997). «О трехмерных дифференциальных операторах для обнаружения точечных ориентиров». Image and Vision Computing . 15 (3): 219–233. doi :10.1016/S0262-8856(96)01127-4.
16. И. Лаптев и Т. Линдеберг (2003). "Пространственно-временные точки интереса". Международная конференция по компьютерному зрению ICCV'03 . Том I. С. 432–439. doi :10.1109/ICCV.2003.1238378.
17. Б. Триггс (2004). «Обнаружение ключевых точек со стабильным положением, ориентацией и масштабом при изменении освещенности». Труды Европейской конференции по компьютерному зрению . Том 4. С. 100–113.
18. C. Kenney, M. Zuliani & B. Manjunath (2005). «Аксиоматический подход к обнаружению углов». Proc. IEEE Computer Vision and Pattern Recognition . стр. 191–197.
19. A. Almansa и T. Lindeberg (2000), Улучшение изображений отпечатков пальцев с использованием операторов масштабного пространства, адаптированных к форме . Труды IEEE по обработке изображений, том 9, номер 12, страницы 2027–2042.
20. Дж. Вейкерт (1998), Анизотропная диффузия при обработке изображений, Teuber Verlag, Штутгарт.
21. D. Tschumperle & R. Deriche (сентябрь 2002 г.). «Диффузионные уравнения в частных производных на векторных изображениях». Журнал обработки сигналов IEEE . 19 (5): 16–25. Bibcode : 2002ISPM...19...16T. doi : 10.1109/MSP.2002.1028349.
22. S. Arseneau & J. Cooperstock (сентябрь 2006 г.). «Асимметричная диффузионная структура для анализа переходов». Британская конференция по машинному зрению . Том 2. С. 689–698.
23. S. Arseneau & J. Cooperstock (ноябрь 2006 г.). «Улучшенное представление соединений посредством асимметричной тензорной диффузии». Международный симпозиум по визуальным вычислениям .
24. Ян, Шуай; Чэнь, Аньцин; Чэнь, Хундэ (2017-05-25). «Фильтрация сейсмических данных с использованием алгоритма нелокальных средних на основе структурного тензора». Open Geosciences . 9 (1): 151–160. Bibcode : 2017OGeo....9...13Y. doi : 10.1515/geo-2017-0013 . ISSN  2391-5447. S2CID  134392619.
25. T. Lindeberg; A. Akbarzadeh & I. Laptev (август 2004 г.). "Операторы пространственно-временного интереса с галилеевской коррекцией". Международная конференция по распознаванию образов ICPR'04 . Том I. стр. 57–62. doi :10.1109/ICPR.2004.1334004.
26. И. Лаптев и Т. Линдеберг (август 2004 г.). Скоростная адаптация точек интереса пространства–времени. Международная конференция по распознаванию образов ICPR'04. Том I. С. 52–56. doi :10.1109/ICPR.2004.971.
27. I. Laptev & T. Lindeberg (май 2004). Локальные дескрипторы для пространственно-временного распознавания. ECCV'04 Workshop on Spatial Coherence for Visual Motion Analysis (Прага, Чешская Республика) Springer Lecture Notes in Computer Science. Vol. 3667. pp. 91–103. doi :10.1007/11676959.
28. И. Лаптев; Б. Капуто; К. Шульдт и Т. Линдеберг (2007). «Локальные события движения, адаптированные к скорости, для пространственно-временного распознавания». Компьютерное зрение и понимание изображений . Т. 108. С. 207–229. doi :10.1016/j.cviu.2006.11.023.

Ресурсы

• Загрузить исходный код MATLAB
• Учебник по тензору структуры (оригинал)