Изображение момента

Средневзвешенное значение/момент интенсивности некоторых пикселей

В обработке изображений , компьютерном зрении и смежных областях момент изображения — это определенное средневзвешенное значение ( момент ) интенсивностей пикселей изображения или функция таких моментов, обычно выбираемая так, чтобы она имела некоторое привлекательное свойство или интерпретацию.

Моменты изображения полезны для описания объектов после сегментации . Простые свойства изображения, которые находятся с помощью моментов изображения, включают площадь (или общую интенсивность), его центроид и информацию о его ориентации.

Моменты, которые нужно пережить

Для двумерной непрерывной функции f ( x , y ) момент (иногда называемый «сырым моментом») порядка ( p + q ) определяется как

${\displaystyle M_{pq}=\int \limits _{-\infty }^{\infty }\int \limits _{-\infty }^{\infty }x^{p}y^{q}f(x,y)\,dx\,dy}$

для p , q = 0,1,2,... Адаптируя это к скалярному (в оттенках серого) изображению с интенсивностью пикселей I ( x , y ), необработанные моменты изображения M _ij вычисляются следующим образом:

${\displaystyle M_{ij}=\sum _{x}\sum _{y}x^{i}y^{j}I(x,y)\,\!}$

В некоторых случаях это можно рассчитать, рассматривая изображение как функцию плотности вероятности , т. е. , разделив указанное выше на

${\displaystyle \sum _{x}\sum _{y}I(x,y)\,\!}$

Теорема единственности (Ху [1962]) утверждает, что если f ( x , y ) кусочно-непрерывна и имеет ненулевые значения только в конечной части плоскости xy , то существуют моменты всех порядков, и последовательность моментов ( M _pq ) однозначно определяется f ( x , y ). ^[1] И наоборот, ( M _pq ) однозначно определяет f ( x , y ). На практике изображение суммируется с функциями нескольких моментов низшего порядка.

Примеры

Простые свойства изображения, полученные с помощью необработанных моментов, включают в себя:

• Площадь (для бинарных изображений) или сумма уровней серого (для изображений в оттенках серого): ${\displaystyle M_{00}}$
• Центроид: ${\displaystyle \{{\bar {x}},\ {\bar {y}}\}=\left\{{\frac {M_{10}}{M_{00}}},{\frac {M_{01}}{M_{00}}}\right\}}$

Центральные моменты

Центральные моменты определяются как

${\displaystyle \mu _{pq}=\int \limits _{-\infty }^{\infty }\int \limits _{-\infty }^{\infty }(x-{\bar {x}})^{p}(y-{\bar {y}})^{q}f(x,y)\,dx\,dy}$

где и — компоненты центроида . ${\displaystyle {\bar {x}}={\frac {M_{10}}{M_{00}}}}$ ${\displaystyle {\bar {y}}={\frac {M_{01}}{M_{00}}}}$

Если ƒ ( x ,  y ) — цифровое изображение, то предыдущее уравнение принимает вид

${\displaystyle \mu _{pq}=\sum _{x}\sum _{y}(x-{\bar {x}})^{p}(y-{\bar {y}})^{q}f(x,y)}$

Центральные моменты порядка до 3:

${\displaystyle \mu _{00}=M_{00},\,\!}$

${\displaystyle \mu _{01}=0,\,\!}$

${\displaystyle \mu _{10}=0,\,\!}$

${\displaystyle \mu _{11}=M_{11}-{\bar {x}}M_{01}=M_{11}-{\bar {y}}M_{10},}$

${\displaystyle \mu _{20}=M_{20}-{\bar {x}}M_{10},}$

${\displaystyle \mu _{02}=M_{02}-{\bar {y}}M_{01},}$

${\displaystyle \mu _{21}=M_{21}-2{\bar {x}}M_{11}-{\bar {y}}M_{20}+2{\bar {x}}^{2}M_{01},}$

${\displaystyle \mu _{12}=M_{12}-2{\bar {y}}M_{11}-{\bar {x}}M_{02}+2{\bar {y}}^{2}M_{10},}$

${\displaystyle \mu _{30}=M_{30}-3{\bar {x}}M_{20}+2{\bar {x}}^{2}M_{10},}$

${\displaystyle \mu _{03}=M_{03}-3{\bar {y}}M_{02}+2{\bar {y}}^{2}M_{01}.}$

Можно показать, что:

${\displaystyle \mu _{pq}=\sum _{m}^{p}\sum _{n}^{q}{p \choose m}{q \choose n}(-{\bar {x}})^{(p-m)}(-{\bar {y}})^{(q-n)}M_{mn}}$

Центральные моменты являются трансляционно-инвариантными .

Примеры

Информацию об ориентации изображения можно получить, сначала используя центральные моменты второго порядка для построения ковариационной матрицы .

${\displaystyle \mu '_{20}=\mu _{20}/\mu _{00}=M_{20}/M_{00}-{\bar {x}}^{2}}$

${\displaystyle \mu '_{02}=\mu _{02}/\mu _{00}=M_{02}/M_{00}-{\bar {y}}^{2}}$

${\displaystyle \mu '_{11}=\mu _{11}/\mu _{00}=M_{11}/M_{00}-{\bar {x}}{\bar {y}}}$

Ковариационная матрица изображения теперь ${\displaystyle I(x,y)}$

${\displaystyle \operatorname {cov} [I(x,y)]={\begin{bmatrix}\mu '_{20}&\mu '_{11}\\\mu '_{11}&\mu '_{02}\end{bmatrix}}}$.

Собственные векторы этой матрицы соответствуют большой и малой осям интенсивности изображения, поэтому ориентация может быть извлечена из угла собственного вектора, связанного с наибольшим собственным значением, по отношению к оси, ближайшей к этому собственному вектору. Можно показать, что этот угол Θ задается следующей формулой:

${\displaystyle \Theta ={\frac {1}{2}}\arctan \left({\frac {2\mu '_{11}}{\mu '_{20}-\mu '_{02}}}\right)}$

Вышеуказанная формула верна до тех пор, пока:

${\displaystyle \mu '_{20}-\mu '_{02}\neq 0}$

Собственные значения ковариационной матрицы можно легко показать следующим образом:

${\displaystyle \lambda _{i}={\frac {\mu '_{20}+\mu '_{02}}{2}}\pm {\frac {\sqrt {4{\mu '}_{11}^{2}+({\mu '}_{20}-{\mu '}_{02})^{2}}}{2}},}$

и пропорциональны квадрату длины осей собственных векторов. Относительная разница в величине собственных значений, таким образом, является показателем эксцентриситета изображения или того, насколько оно удлинено. Эксцентриситет равен

${\displaystyle {\sqrt {1-{\frac {\lambda _{2}}{\lambda _{1}}}}}.}$

Инварианты моментов

Моменты широко применяются в анализе изображений, поскольку их можно использовать для вывода инвариантов относительно определенных классов преобразований.

Термин инвариантные моменты часто злоупотребляют в этом контексте. Однако, в то время как инварианты моментов — это инварианты, которые образованы из моментов, единственные моменты, которые сами являются инвариантами, — это центральные моменты. ^{[ необходима цитата ]}

Обратите внимание, что инварианты, подробно описанные ниже, являются точно инвариантными только в непрерывной области. В дискретной области ни масштабирование, ни поворот не определены четко: дискретное изображение, преобразованное таким образом, обычно является приближением, и преобразование необратимо. Поэтому эти инварианты являются лишь приблизительно инвариантными при описании формы в дискретном изображении.

Инварианты перевода

Центральные моменты μ _{i j} любого порядка по построению инвариантны относительно трансляций .

Масштабные инварианты

Инварианты η _{i j} относительно как трансляции, так и масштаба могут быть построены из центральных моментов путем деления на соответствующим образом масштабированный нулевой центральный момент:

${\displaystyle \eta _{ij}={\frac {\mu _{ij}}{\mu _{00}^{\left(1+{\frac {i+j}{2}}\right)}}}\,\!}$

где i + j ≥ 2. Обратите внимание, что трансляционная инвариантность напрямую следует из использования только центральных моментов.

Инварианты вращения

Как показано в работе Ху, ^{[2] [3]} можно построить инварианты относительно трансляции , масштабирования и вращения :

${\displaystyle I_{1}=\eta _{20}+\eta _{02}}$

${\displaystyle I_{2}=(\eta _{20}-\eta _{02})^{2}+4\eta _{11}^{2}}$

${\displaystyle I_{3}=(\eta _{30}-3\eta _{12})^{2}+(3\eta _{21}-\eta _{03})^{2}}$

${\displaystyle I_{4}=(\eta _{30}+\eta _{12})^{2}+(\eta _{21}+\eta _{03})^{2}}$

${\displaystyle I_{5}=(\eta _{30}-3\eta _{12})(\eta _{30}+\eta _{12})[(\eta _{30}+\eta _{12})^{2}-3(\eta _{21}+\eta _{03})^{2}]+(3\eta _{21}-\eta _{03})(\eta _{21}+\eta _{03})[3(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}]}$

${\displaystyle I_{6}=(\eta _{20}-\eta _{02})[(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}]+4\eta _{11}(\eta _{30}+\eta _{12})(\eta _{21}+\eta _{03})}$

${\displaystyle I_{7}=(3\eta _{21}-\eta _{03})(\eta _{30}+\eta _{12})[(\eta _{30}+\eta _{12})^{2}-3(\eta _{21}+\eta _{03})^{2}]-(\eta _{30}-3\eta _{12})(\eta _{21}+\eta _{03})[3(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}].}$

Они хорошо известны как инварианты момента Ху .

Первый, I ₁ , аналогичен моменту инерции вокруг центроида изображения, где интенсивности пикселей аналогичны физической плотности. Первые шесть, I ₁ ... I ₆ , являются зеркально-симметричными, т.е. они не меняются, если изображение изменяется на зеркальное. Последний, I ₇ , является зеркально-антисимметричным (меняет знак при отражении), что позволяет ему различать зеркальные изображения в остальном идентичных изображений.

Общая теория вывода полных и независимых наборов инвариантов вращательного момента была предложена Дж. Флюссером. ^[4] Он показал, что традиционный набор инвариантов момента Ху не является ни независимым, ни полным. I ₃ не очень полезен, так как он зависит от других ( ). В исходном наборе Ху отсутствует независимый инвариант момента третьего порядка: ${\displaystyle I_{3}=(I_{5}^{2}+I_{7}^{2})/I_{4}^{3}}$

${\displaystyle I_{8}=\eta _{11}[(\eta _{30}+\eta _{12})^{2}-(\eta _{03}+\eta _{21})^{2}]-(\eta _{20}-\eta _{02})(\eta _{30}+\eta _{12})(\eta _{03}+\eta _{21})}$

Как и I ₇ , I ₈ также является зеркально-антисимметричным.

Позднее Дж. Флюссер и Т. Сук ^[5] специализировали теорию для случая N-вращательно-симметричных форм.

Приложения

Чжан и др. применили инварианты моментов Ху для решения проблемы обнаружения патологических изменений в мозге (PBD). ^[6] Доэрр и Флоренс использовали информацию об ориентации объекта, связанную с центральными моментами второго порядка, для эффективного извлечения трансляционно- и ротационно-инвариантных поперечных сечений объекта из данных микрорентгеновской томографии. ^[7]

DA Hoeltzel и Wei-Hua Chieng использовали моментный инвариант Ху для работы с размерно-параметризованным четырехзвенным механизмом, что дало 15 различных групп (шаблонов) кривых сцепления из 356 сгенерированных кривых сцепления. ^[8]

Внешние ссылки

• Анализ бинарных изображений, Эдинбургский университет
• Статистические моменты, Эдинбургский университет
• Вариантные моменты, страница «Машинное восприятие и компьютерное зрение» (исходный код Matlab и Python)
• Вступительное видео Hu Moments на YouTube
• Реализация Gist этой страницы, jupyter и python.

Ссылки

1. Гонсалес, Рафаэль С.; Вудс, Ричард Э. (2001). Цифровая обработка изображений . Prentice Hall. стр. 672. ISBN 0-201-18075-8.
2. MK Hu, «Визуальное распознавание образов с помощью инвариантов момента», IRE Trans. Info. Theory, т. IT-8, стр. 179–187, 1962
3. http://docs.opencv.org/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments Метод OpenCV Ху Моментса
4. Дж. Флюссер: «О независимости инвариантов вращательного момента», Распознавание образов, т. 33, стр. 1405–1410, 2000.
5. J. Flusser и T. Suk, «Инварианты вращательного момента для распознавания симметричных объектов», IEEE Trans. Image Proc., т. 15, стр. 3784–3790, 2006.
6. Чжан, И. (2015). «Обнаружение патологических изменений в мозге на основе вейвлет-энтропии и инвариантов момента Ху». Биомедицинские материалы и инженерия . 26 : 1283–1290. doi : 10.3233/BME-151426 . PMID  26405888.
7. Doerr, Frederik; Florence, Alastair (2020). «Методология анализа микрорентгеновских рентгеновских изображений и машинного обучения для характеристики составов многочастичных капсул». International Journal of Pharmaceutics: X . 2 : 100041. doi : 10.1016/j.ijpx.2020.100041 . PMC 6997304 . PMID  32025658. 
8. Hoeltzel, DA; Chieng, Wei-Hua (1990). «Синтез сопоставления образцов как автоматизированный подход к проектированию механизмов». Труды ASME, Журнал механического проектирования . 112 : 190-199. doi : 10.1115/1.2912592 .