Цифровая корреляция и отслеживание изображений

Цифровая корреляция и отслеживание изображений — это оптический метод, который использует методы отслеживания и регистрации изображений для точных 2D и 3D измерений изменений в изображениях. Этот метод часто используется для измерения смещения и деформации по всему полю и широко применяется во многих областях науки и техники. По сравнению с тензодатчиками и экстензометрами , методы цифровой корреляции изображений обеспечивают более точную информацию о деформации благодаря возможности предоставлять как локальные, так и усредненные данные.

Обзор

Методы цифровой корреляции изображений (DIC) становятся все более популярными, особенно в микро- и наномасштабных механических испытаниях из-за их относительной простоты внедрения и использования. Достижения в области компьютерных технологий и цифровых камер стали технологиями, позволяющими использовать этот метод, и хотя оптика белого света была преобладающим подходом, DIC может быть и был распространен практически на любую технологию визуализации.

Концепция использования кросс-корреляции для измерения сдвигов в наборах данных известна уже давно, и она применялась к цифровым изображениям по крайней мере с начала 1970-х годов. ^{[1] [2]} Современные приложения практически бесчисленны, включая анализ изображений, сжатие изображений, велосиметрию и оценку деформации. Большая часть ранних работ по DIC в области механики была проведена исследователями из Университета Южной Каролины в начале 1980-х годов ^{[3] [4] [5]} и была оптимизирована и улучшена в последние годы. ^[6] Обычно DIC полагается на нахождение максимума массива корреляции между подмножествами массива интенсивности пикселей на двух или более соответствующих изображениях, что дает целочисленный трансляционный сдвиг между ними. Также возможно оценить сдвиги с более высоким разрешением, чем разрешение исходных изображений, что часто называется «субпиксельной» регистрацией, поскольку измеренный сдвиг меньше целочисленной единицы пикселя. Для субпиксельной интерполяции сдвига другие методы просто не максимизируют коэффициент корреляции. Итеративный подход также может быть использован для максимизации интерполированного коэффициента корреляции с использованием нелинейных методов оптимизации. ^[7] Нелинейный подход к оптимизации, как правило, концептуально проще и может обрабатывать большие деформации более точно, но, как и большинство нелинейных методов оптимизации ^{[ требуется ссылка ]} , он медленнее.

Двумерную дискретную взаимную корреляцию можно определить несколькими способами, один из которых: ${\displaystyle r_{ij}}$

${\displaystyle r_{ij}={\frac {\sum _{m}\sum _{n}[f(m+i,n+j)-{\bar {f}}][g(m,n)-{\bar {g}}]}{\sqrt {\sum _{m}\sum _{n}{[f(m,n)-{\bar {f}}]^{2}}\sum _{m}\sum _{n}{[g(m,n)-{\bar {g}}]^{2}}}}}.}$

Здесь f ( m , n ) — интенсивность пикселя или значение шкалы серого в точке ( m , n ) исходного изображения, g ( m , n ) — значение шкалы серого в точке ( m , n ) преобразованного изображения, а — средние значения матриц интенсивности f и g соответственно. ${\displaystyle {\bar {f}}}$ ${\displaystyle {\bar {g}}}$

Однако в практических приложениях корреляционный массив обычно вычисляется с использованием методов преобразования Фурье, поскольку быстрое преобразование Фурье является гораздо более быстрым методом, чем прямое вычисление корреляции.

${\displaystyle \mathbf {F} ={\mathcal {F}}\{f\},\quad \mathbf {G} ={\mathcal {F}}\{g\}.}$

Затем, взяв комплексное сопряжение второго результата и умножив преобразования Фурье поэлементно, мы получаем преобразование Фурье коррелограммы : ${\displaystyle \ R}$

${\displaystyle R=\mathbf {F} \circ \mathbf {G} ^{*},}$

где — произведение Адамара (произведение по входу). Также довольно часто в этой точке нормализуют величины до единицы, что приводит к изменению, называемому фазовой корреляцией . ${\displaystyle \circ }$

Затем кросс-корреляция получается путем применения обратного преобразования Фурье:

${\displaystyle \ r={\mathcal {F}}^{-1}\{R\}.}$

В этой точке координаты максимума дают целочисленный сдвиг: ${\displaystyle r_{ij}}$

${\displaystyle (\Delta x,\Delta y)=\arg \max _{(i,j)}\{r\}.}$

Картографирование деформации

Для отображения деформации функция отображения, которая связывает изображения, может быть получена путем сравнения набора пар подокна по всем изображениям. (Рисунок 1). Координаты или точки сетки ( x _i , y _j ) и ( x _i ^* , y _j ^* ) связаны с помощью переносов, которые происходят между двумя изображениями. Если деформация мала и перпендикулярна оптической оси камеры, то связь между ( x _i , y _j ) и ( x _i ^* , y _j ^* ) может быть аппроксимирована двумерным аффинным преобразованием, таким как:

${\displaystyle x^{*}=x+u+{\frac {\partial u}{\partial x}}\Delta x+{\frac {\partial u}{\partial y}}\Delta y,}$

${\displaystyle y^{*}=y+v+{\frac {\partial v}{\partial x}}\Delta x+{\frac {\partial v}{\partial y}}\Delta y.}$

Здесь u и v — перемещения центра подизображения в направлениях X и Y соответственно. Расстояния от центра подизображения до точки ( x , y ) обозначаются как и . Таким образом, коэффициент корреляции r _ij является функцией компонент смещения ( u , v ) и градиентов смещения ${\displaystyle \Delta x}$ ${\displaystyle \Delta y}$

${\displaystyle {\frac {\partial u}{\partial x}},{\frac {\partial u}{\partial y}},{\frac {\partial v}{\partial x}},{\frac {\partial v}{\partial y}}.}$

Базовая концепция картирования деформаций с помощью DIC

DIC оказался очень эффективным при картировании деформации в макроскопических механических испытаниях, где нанесение зеркальных маркеров (например, краски, порошка тонера) или поверхностных покрытий от обработки и полировки обеспечивает необходимый контраст для хорошей корреляции изображений. Однако эти методы нанесения поверхностного контраста не распространяются на нанесение отдельно стоящих тонких пленок по нескольким причинам. Во-первых, осаждение из паровой фазы при нормальных температурах на подложки полупроводникового класса приводит к получению пленок зеркального качества с шероховатостью RMS , которая обычно составляет порядка нескольких нанометров. Последующие этапы полировки или отделки не требуются, и если не используются методы электронной визуализации, которые могут разрешить микроструктурные особенности, пленки не обладают достаточным полезным поверхностным контрастом для адекватной корреляции изображений. Обычно эту проблему можно обойти, нанося краску, которая приводит к случайному узору пятен на поверхности, хотя большие и турбулентные силы, возникающие либо при распылении, либо при нанесении краски на поверхность отдельно стоящей тонкой пленки, слишком велики и могут разрушить образцы. Кроме того, размеры отдельных частиц краски составляют порядка микрометров, тогда как толщина пленки составляет всего несколько сотен нанометров, что было бы аналогично размещению большого валуна на тонком листе бумаги.

μDIC

Достижения в нанесении и осаждении шаблонов в масштабах уменьшенной длины использовали методы мелкомасштабного синтеза, включая химическую реструктуризацию поверхности в наномасштабе и фотолитографию компьютерно-генерируемых случайных зеркальных шаблонов для получения подходящего контраста поверхности для DIC. Нанесение очень мелких частиц порошка, которые электростатически прилипают к поверхности образца и могут отслеживаться в цифровом виде, является одним из подходов. Для тонких пленок Al первоначально использовался мелкодисперсный абразивный полирующий порошок оксида алюминия, поскольку размеры частиц относительно хорошо контролируются, хотя адгезия к пленкам Al была не очень хорошей, и частицы имели тенденцию к чрезмерной агломерации. Кандидатом, который работал наиболее эффективно, был порошок кремния, разработанный для высокотемпературного адгезионного состава (Aremco, inc.), который наносился через пластиковый шприц.

Легкий слой порошка покроет измерительную секцию образца для растяжения, а более крупные частицы можно будет аккуратно сдуть. Оставшиеся частицы будут иметь лучшую адгезию к поверхности. Хотя полученный поверхностный контраст не идеален для DIC, высокое соотношение интенсивности между частицами и фоном обеспечивает уникальную возможность отслеживать частицы между последовательными цифровыми изображениями, полученными во время деформации. Этого можно добиться довольно просто, используя методы цифровой обработки изображений. Субпиксельное отслеживание может быть достигнуто с помощью ряда методов корреляции или путем подгонки под известные профили интенсивности частиц.

Фотолитография и электронно-лучевая литография могут использоваться для создания микроинструментария для микроспекл-штампов, а штампы могут печатать спекл-шаблоны на поверхности образца. Можно выбрать чернила для штампа, подходящие для оптических DIC, SEM-DIC и одновременных SEM-DIC/ EBSD исследований (чернила могут быть прозрачными для EBSD). ^[8]

Цифровая корреляция объема

Цифровая корреляция объема (DVC, иногда называемая Volumetric-DIC) расширяет алгоритмы 2D-DIC в трех измерениях для расчета полномасштабной 3D-деформации из пары 3D-изображений. Эта техника отличается от 3D-DIC, которая вычисляет только 3D-деформацию внешней поверхности с использованием обычных оптических изображений. Алгоритм DVC способен отслеживать информацию о смещении полного поля в форме вокселей вместо пикселей. Теория похожа на вышеприведенную, за исключением того, что добавляется еще одно измерение: z-измерение. Смещение вычисляется из корреляции 3D-подмножеств опорных и деформированных объемных изображений, что аналогично корреляции 2D-подмножеств, описанной выше. ^[9]

DVC может быть выполнен с использованием объемных наборов данных изображений. Эти изображения могут быть получены с использованием конфокальной микроскопии , рентгеновской компьютерной томографии , магнитно-резонансной томографии или других методов. Подобно другим методам DIC, изображения должны демонстрировать отчетливый, высококонтрастный 3D «шаблон пятен» для обеспечения точного измерения смещения. ^[10]

DVC был впервые разработан в 1999 году для изучения деформации трабекулярной кости с использованием рентгеновских компьютерных томографических изображений. ^[9] С тех пор применение DVC расширилось и теперь включает гранулированные материалы, металлы, пены, композиты и биологические материалы. На сегодняшний день он используется с изображениями, полученными с помощью МРТ , компьютерной томографии (КТ), микро-КТ , конфокальной микроскопии , ^[11] и микроскопии светового листа. ^[12] В настоящее время DVC считается идеальным в мире исследований для трехмерной количественной оценки локальных смещений, деформаций и напряжений в биологических образцах. Он предпочтителен из-за неинвазивности метода по сравнению с традиционными экспериментальными методами. ^[10]

Две из основных проблем — это повышение скорости и надежности измерения DVC. Методы 3D-визуализации создают более шумные изображения, чем обычные 2D-оптические изображения, что снижает качество измерения смещения. Скорость вычислений ограничена размерами файлов 3D-изображений, которые значительно больше, чем 2D-изображений. Например, 8-битное (1024x1024) пиксельное 2D-изображение имеет размер файла 1 МБ, в то время как 8-битное (1024x1024x1024) воксельное 3D-изображение имеет размер файла 1 ГБ. Это можно частично компенсировать с помощью параллельных вычислений . ^{[13] [14]}

Приложения

Цифровая корреляция изображений продемонстрировала применение в следующих отраслях: ^[15]

• Автомобильный
• Аэрокосмическая промышленность
• Биологический
• Промышленный
• Исследования и образование
• Правительство и армия
• Биомеханика
• Робототехника
• Электроника

Он также использовался для картирования деформаций землетрясений. ^[16]

Стандартизация DIC

Международное общество цифровой корреляции изображений (iDICs) — это организация, состоящая из представителей академических кругов, правительства и промышленности, которая занимается обучением и просвещением конечных пользователей о системах DIC и стандартизацией практики DIC для общих приложений. ^[17] Созданное в 2015 году, iDIC ^[18] было сосредоточено на создании стандартизации для пользователей DIC. ^[19]

Смотрите также

• Оптический поток
• Стресс
• Напряжение
• Вектор смещения
• Измерение скорости изображения частиц
• Цифровая корреляция изображений для электроники

Ссылки

1. PE Anuta, «Пространственная регистрация многоспектральных и многовременных цифровых изображений с использованием методов быстрого преобразования Фурье», IEEE Trans. Geosci. Electron., т. GE-8, стр. 353–368, октябрь 1970 г.
2. TJ Keating, PR Wolf и FL Scarpace, «Улучшенный метод цифровой корреляции изображений», Photogrammetric Engineering and Remote Sensing 41(8): 993–1002, (1975).
3. TC Chu, WF Ranson, MA Sutton, WH Peters, Exp. Mech. 25 (1985), 232.
4. HA Bruck, SR McNeill, MA Sutton, WH Peters III, Exp. Mech. 29 (1989), 261.
5. WH Peters, WF Ranson, Opt. Eng. 21 (1982), 427.
6. EgMA Sutton, J.-J. Orteu, HW Schreier, Книга - Корреляция изображений для измерений формы, движения и деформации, Твердый переплет ISBN  978-0-387-78746-6 .
7. J. Yang, K. Bhattacharya, "Расширенная лагранжева цифровая корреляция изображений", Exp. Mech. 59 (2019), 187-205. Код Matlab: https://www.mathworks.com/matlabcentral/fileexchange/70499-augmented-lagrangian-digital-image-correlation-and-tracking
8. Рагглз Т.Дж., Бомарито Г.Ф., Кэннон А.Х. и Хоххальтер Дж.Д., «Избирательная электронно-прозрачная микроштамповка с целью одновременной цифровой корреляции изображений и анализа дифракции обратно рассеянных электронов (EBSD) с высоким угловым разрешением», Микроскопия и микроанализ, 2017.
9. Bay BK, Smith TS, Fyhrie DP, Saad M (1999) Цифровая объемная корреляция: трехмерное картирование деформации с использованием рентгеновской томографии. Exp Mech 39(3):217–226.
10. Jianyong Huang, Xiaochang Pan, Shanshan Li, Xiaoling Peng, Chunyang Xiong и Jing Fang (2011) Метод цифровой объемной корреляции для трехмерных измерений деформации мягких гелей. Международный журнал прикладной механики 3(2) 335-354.
11. Jaiswal, Devina; Moscato, Zoe; Tomizawa, Yuji; Claffey, Kevin P.; Hoshino, Kazunori (2019-05-01). «Эластография многоклеточных сфероидов с использованием 3D световой микроскопии». Biomedical Optics Express . 10 (5): 2409–2418. doi :10.1364/BOE.10.002409. ISSN  2156-7085. PMC 6524572. PMID 31143496.  Получено 18 июля 2024 г. 
12. Томизава, Юджи; Вали, Хадиджа Х.; Сурти, Манав; Сухаил, Ясир; Кшитиз; Хошино, Казунори (2024). «Микроскопия Lightsheet объединяет оптическую вискоэластографию отдельных клеток и флуоресцентную цитометрию трехмерных живых тканей». bioRxiv . doi :10.1101/2024.04.20.590392. PMC 11100606 . PMID  38766194. 
13. М. Гейтс, Дж. Ламброс и М. Т. Хит (2011) На пути к высокопроизводительной цифровой корреляции объема. 51 491–507
14. Дж. Янг, Л. Хэзлетт, А. К. Ландауэр, К. Франк, «Расширенная лагранжева цифровая корреляция объема». Эксп. Мех. (2020). Код Matlab: https://www.mathworks.com/matlabcentral/fileexchange/77019-augmented-lagrangian-digital-volume-correlation-aldvc
15. "Correlated Solutions – Applications". Correlatedsolutions.com . Получено 19 октября 2017 г. .
16. Ван Пюмбруек, Надеж; Мишель, Реми; Бине, Рено; Авуак, Жан-Филипп; Табури, Жан (2000). «Измерение землетрясений по оптическим спутниковым снимкам». Прикладная оптика . 39 (20): 3486–3494. Bibcode : 2000ApOpt..39.3486V. doi : 10.1364/AO.39.003486. PMID  18349918.
17. "Миссия". Архивировано из оригинала 2020-03-12.
18. "Общество экспериментальной механики". sem.org . Получено 2021-07-25 .
19. iDICs. "Руководство · iDICs". iDICs . Получено 2022-11-02 .

Внешние ссылки

• Функция Mathematica ImageCorrelate
• Использование цифровой корреляции изображений для измерения деформации лопасти трубы
• Системы изображения DIC
• DIC в электронном проектировании
• Применение DIC в аэрокосмической отрасли
• 3D оптические измерения деформации
• Международное общество цифровой корреляции изображений (iDICs)