Вычислительная визуализация — это процесс косвенного формирования изображений на основе измерений с использованием алгоритмов, требующих значительного объема вычислений. В отличие от традиционной визуализации, системы компьютерной визуализации предполагают тесную интеграцию сенсорной системы и вычислений для формирования интересующих изображений. Повсеместная доступность быстрых вычислительных платформ (таких как многоядерные процессоры и графические процессоры ), достижения в области алгоритмов и современного сенсорного оборудования приводят к созданию систем визуализации со значительно расширенными возможностями. Системы вычислительной визуализации охватывают широкий спектр приложений, включая вычислительную микроскопию , [1] томографическую визуализацию , МРТ , ультразвуковую визуализацию , компьютерную фотографию , радар с синтезированной апертурой (SAR), сейсмическую визуализацию и т. д. Интеграция зондирования и вычислений в системах вычислительной визуализации позволяет получить доступ к информации, которая в противном случае была бы невозможна. Например:
Системы вычислительной визуализации также позволяют разработчикам систем преодолеть некоторые аппаратные ограничения оптики и датчиков (разрешение, шум и т. д.), преодолевая проблемы в вычислительной области. Некоторые примеры таких систем включают когерентную дифракционную визуализацию , визуализацию с кодированной апертурой и изображения сверхразрешения .
Вычислительная обработка изображений отличается от обработки изображений в том смысле, что основной целью первой является реконструкция распознаваемых человеком изображений на основе измеренных данных с помощью алгоритмов, а второй – обработка уже распознаваемых изображений (которые могут быть недостаточными по качеству) для улучшения качества изображения. качества или получить из них некоторую информацию.
Системы вычислительной визуализации охватывают широкий спектр приложений. Хотя такие приложения, как SAR , компьютерная томография , сейсмическая инверсия , хорошо известны, они претерпели значительные улучшения (более быстрое, более высокое разрешение, более низкие дозы облучения [3] ) благодаря достижениям в алгоритмах обработки сигналов и изображений (включая методы сжатого зондирования ), и более быстрые вычислительные платформы. Фотография превратилась из чисто химической обработки в возможность захвата и вычислительного объединения нескольких цифровых изображений ( вычислительная фотография ) [4], что сделало такие методы, как HDR и панорамное изображение, доступными для большинства пользователей мобильных телефонов. В компьютерной визуализации также появились методы, которые изменяют источник света, падающий на объект, используя известные структуры/шаблоны, а затем восстанавливают изображение на основе полученного изображения (например: визуализация с кодированной апертурой , микроскопия сверхвысокого разрешения , фурье-птихография ). Достижения в разработке мощных параллельных вычислительных платформ сыграли жизненно важную роль в достижении прогресса в области компьютерной визуализации.
Визуализация обычно осуществляется на оптических длинах волн с помощью линз и зеркал. Однако для рентгеновских и гамма-лучей линзы и зеркала непрактичны, поэтому вместо них часто используются модулирующие апертуры. Камера-обскура является самой базовой формой такого модуляционного формирователя изображения, но ее недостатком является низкая пропускная способность, поскольку ее маленькая апертура пропускает мало излучения. Поскольку через точечное отверстие проходит лишь небольшая часть света, что приводит к низкому соотношению сигнал/шум, получение изображений через точечные отверстия требует неприемлемо длительной выдержки. Эту проблему можно в некоторой степени преодолеть, увеличив отверстие, что, к сожалению, приводит к снижению разрешения. Камеры-обскуры имеют несколько преимуществ перед объективами — они имеют бесконечную глубину резкости и не страдают хроматической аберрацией, которую в рефракционной системе можно исправить только с помощью многоэлементного объектива. Наименьшая деталь, которую можно разрешить с помощью точечного отверстия, примерно того же размера, что и само точечное отверстие. Чем больше отверстие, тем более размытым становится изображение. Использование нескольких маленьких точечных отверстий может показаться способом обойти эту проблему, но это приводит к запутанному монтажу перекрывающихся изображений. Тем не менее, если расположение отверстий тщательно выбрано, можно восстановить исходное изображение с разрешением, равным разрешению одного отверстия.
В последние годы была проделана большая работа по использованию шаблонов отверстий из прозрачных и непрозрачных областей, составляющих так называемую кодированную апертуру. Мотивацией использования методов визуализации с кодированной апертурой является повышение эффективности сбора фотонов при сохранении высокого углового разрешения одиночной точечной дыры. Визуализация с кодированной апертурой (CAI) представляет собой двухэтапный процесс визуализации. Кодированное изображение получается путем свертки объекта с функцией рассеяния точки интенсивности (PSF) кодированной апертуры. Как только кодированное изображение сформировано, его необходимо декодировать, чтобы получить изображение. Это декодирование может быть выполнено тремя способами, а именно корреляцией, дифракцией Френеля или деконволюцией. Оценка исходного изображения достигается путем свертки кодированного изображения с исходной кодированной апертурой. В общем, восстановленное изображение будет представлять собой свертку объекта с автокорреляцией кодированной апертуры и будет содержать артефакты, если только его автокорреляция не является дельта-функцией.
Некоторые примеры кодированных апертур включают, среди прочего, зональную пластину Френеля (FZP), случайные матрицы (RA), неизбыточные матрицы (NRA), равномерно избыточные матрицы (URA), модифицированные равномерно избыточные матрицы (MURA). Зонные пластины Френеля, названные в честь Огюстена-Жана Френеля, вообще не могут считаться кодированными апертурами, поскольку они состоят из набора радиально-симметричных колец, известных как зоны Френеля, которые чередуются между непрозрачными и прозрачными. Они используют дифракцию вместо преломления или отражения, чтобы сфокусировать свет. Свет, попадающий на ФЗП, будет дифрагировать вокруг непрозрачных зон, поэтому при возникновении конструктивной интерференции будет создаваться изображение. Непрозрачные и прозрачные зоны могут быть расположены так, чтобы изображение происходило в разных фокусах.
В ранних работах над кодированными апертурами точечные отверстия были случайным образом распределены по маске и помещены перед источником для анализа. Однако случайные закономерности создают трудности с реконструкцией изображения из-за неравномерности распределения точечных отверстий. Собственный шум появляется в результате присутствия малых членов в преобразовании Фурье случайных двоичных массивов большого размера. Эта проблема была решена путем разработки равномерно избыточных массивов (URA). Если распределение прозрачных и непрозрачных элементов апертуры можно представить в виде двоичного массива кодирования A, а массива декодирования — в виде G, то A и G можно выбрать так, чтобы восстановленное изображение (корреляция A и G с добавлением некоторый шумовой сигнал N) аппроксимирует дельта-функцию. Экспериментально было показано, что URA обеспечивают значительные улучшения отношения сигнал/шум по сравнению со случайно распределенными массивами, однако алгоритм, используемый для построения URA, ограничивает форму апертуры прямоугольником. Поэтому модифицированный равномерно избыточный массив (MURA) был представлен вместе с изменением алгоритма кодирования URA, что позволяет создавать новые массивы в линейной, шестиугольной и квадратной конфигурациях. Метод проектирования URA был изменен таким образом, чтобы новые массивы основывались на квадратичных остатках, а не на псевдошумовых (PN) последовательностях.
Обычные методы спектральной визуализации обычно сканируют соседние зоны нижележащей спектральной сцены, а затем объединяют результаты для построения куба спектральных данных. Напротив, сжатая спектральная визуализация (CSI), которая естественным образом воплощает в себе принципы сжатого зондирования (CS), предполагает получение пространственно-спектральной информации в двумерных наборах мультиплексированных проекций. Замечательным преимуществом компрессионной спектральной визуализации является то, что весь куб данных считывается с помощью всего лишь нескольких измерений, а в некоторых случаях всего лишь с помощью одного снимка FPA, так что весь набор данных может быть получен в течение одного периода интеграции детектора.
В общем, системы компрессионной спектральной визуализации используют различные оптические явления, такие как пространственное, спектральное или пространственно-спектральное кодирование и дисперсия, для получения компрессионных измерений. Существенным преимуществом CSI является то, что можно разрабатывать протоколы измерения, которые собирают важную информацию из разреженных сигналов с меньшим количеством измерений. Поскольку количество захваченных проекций меньше количества вокселей в кубе спектральных данных, процесс реконструкции выполняется с помощью алгоритмов численной оптимизации. На этом этапе ключевую роль играет вычислительная визуализация, поскольку мощь вычислительных алгоритмов и математики используется для восстановления базового куба данных.
В литературе CSI можно встретить различные стратегии достижения закодированных прогнозов. [5] [6] [7] Спектральный формирователь моментальных снимков с кодированной апертурой (CASSI) был первым спектральным формирователем изображений, разработанным с использованием преимуществ теории компрессионного зондирования. [8] CASSI использует апертуры двоичного кодирования, которые создают шаблон передачи в каждом столбце, так что эти шаблоны ортогональны по отношению ко всем другим столбцам. Пространственно-спектральная проекция на матрице детекторов модулируется бинарной маской таким образом, что на каждую длину волны куба данных влияет сдвинутый код модуляции. Более поздние системы CSI включают CASSI, использующую апертуры с цветной кодировкой (C-CASSI) вместо черно-белых масок; компактная версия цветного CASSI, называемая цветным компрессионным спектральным формирователем изображений (SCCSI), и разновидность последнего, в которой используется черно-белая кодированная апертура в сверточной плоскости, известная как гиперспектральный формирователь изображений с пространственно-спектральным кодированием (SSCSI). ). Общие характеристики систем CSI такого типа включают использование дисперсионного элемента для разделения спектральной информации и кодирующего элемента для кодирования входящих данных.
Хотя компьютерная обработка изображений охватывает широкий спектр приложений, алгоритмы, используемые в системах вычислительной визуализации, часто связаны с решением математической обратной задачи . Алгоритмы обычно делятся на методы прямой инверсии, которые часто являются «быстрыми», и методы итеративной реконструкции , которые требуют больших вычислительных затрат, но способны моделировать более сложные физические процессы. Типичные шаги по разработке алгоритмов для систем вычислительной визуализации:
Достижения в области исследований компьютерных изображений представлены на нескольких площадках, включая публикации SIGGRAPH и IEEE Transactions on Computational Imaging.