Гиперспектральная визуализация собирает и обрабатывает информацию со всего электромагнитного спектра . [1] Целью гиперспектральной визуализации является получение спектра для каждого пикселя на изображении сцены с целью поиска объектов, идентификации материалов или обнаружения процессов. [2] [3] Существует три основных типа спектральных формирователей изображений. Существуют сканеры push broom и связанные с ними сканеры whip broom (пространственное сканирование), которые считывают изображения с течением времени, последовательные сканеры band (спектральное сканирование), которые получают изображения области на разных длинах волн, и моментальные гиперспектральные формирователи изображений , которые используют матрицу для мгновенного создания изображения.
В то время как человеческий глаз видит цвет видимого света в основном в трех диапазонах (длинные волны, воспринимаемые как красный; средние волны, воспринимаемые как зеленый; и короткие волны, воспринимаемые как синий), спектральная визуализация делит спектр на гораздо большее количество диапазонов. Этот метод разделения изображений на диапазоны может быть расширен за пределы видимого диапазона. В гиперспектральной визуализации записанные спектры имеют высокое разрешение по длине волны и охватывают широкий диапазон длин волн. Гиперспектральная визуализация измеряет непрерывные спектральные диапазоны, в отличие от многополосной визуализации , которая измеряет разнесенные спектральные диапазоны. [4]
Инженеры создают гиперспектральные датчики и системы обработки для приложений в астрономии, сельском хозяйстве, молекулярной биологии, биомедицинской визуализации, науках о Земле, физике и наблюдении. Гиперспектральные датчики исследуют объекты, используя обширную часть электромагнитного спектра. Некоторые объекты оставляют уникальные «отпечатки пальцев» в электромагнитном спектре. Известные как спектральные сигнатуры, эти «отпечатки пальцев» позволяют идентифицировать материалы, из которых состоит сканируемый объект. Например, спектральная сигнатура для нефти помогает геологам находить новые нефтяные месторождения . [5]
Образно говоря, гиперспектральные датчики собирают информацию как набор «изображений». Каждое изображение представляет собой узкий диапазон длин волн электромагнитного спектра, также известный как спектральная полоса. Эти «изображения» объединяются для формирования трехмерного ( x , y , λ ) гиперспектрального куба данных для обработки и анализа, где x и y представляют собой два пространственных измерения сцены, а λ представляет собой спектральное измерение (включающее диапазон длин волн). [6]
С технической точки зрения существует четыре способа, с помощью которых датчики могут производить выборку гиперспектрального куба: пространственное сканирование, спектральное сканирование, моментальное сканирование [5] [7] и пространственно-спектральное сканирование [8] .
Гиперспектральные кубы генерируются с помощью бортовых датчиков, таких как бортовой спектрометр видимого и инфракрасного излучения НАСА (AVIRIS), или со спутников, таких как EO-1 НАСА с его гиперспектральным инструментом Hyperion. [9] [10] Однако для многих исследований по разработке и проверке используются портативные датчики. [11]
Точность этих датчиков обычно измеряется в спектральном разрешении, которое представляет собой ширину каждой полосы спектра, которая захватывается. Если сканер обнаруживает большое количество довольно узких частотных полос, можно идентифицировать объекты, даже если они захватываются только несколькими пикселями. Однако пространственное разрешение является фактором в дополнение к спектральному разрешению. Если пиксели слишком большие, то несколько объектов захватываются в одном пикселе и их становится трудно идентифицировать. Если пиксели слишком маленькие, то интенсивность, захватываемая каждой ячейкой датчика, низкая, а уменьшенное отношение сигнал/шум снижает надежность измеренных характеристик.
Получение и обработка гиперспектральных изображений также называется спектроскопией изображений или, применительно к гиперспектральному кубу, 3D-спектроскопией.
Существует четыре основных метода получения трехмерного ( x , y , λ ) набора данных гиперспектрального куба. Выбор метода зависит от конкретного приложения, поскольку каждый метод имеет зависящие от контекста преимущества и недостатки.
При пространственном сканировании каждый двумерный (2D) выходной сигнал датчика представляет собой полный щелевой спектр ( x , λ ). Устройства гиперспектральной визуализации (HSI) для пространственного сканирования получают щелевые спектры, проецируя полосу сцены на щель и рассеивая щелевое изображение призмой или решеткой. Недостатком этих систем является то, что изображение анализируется по строкам (с помощью сканера Push Broom ), а также некоторые механические части интегрированы в оптический поезд. С помощью этих камер линейного сканирования пространственное измерение собирается посредством перемещения платформы или сканирования. Для этого требуются стабилизированные крепления или точная информация о наведении для «реконструкции» изображения. Тем не менее, системы линейного сканирования особенно распространены в дистанционном зондировании , где разумно использовать мобильные платформы. Системы линейного сканирования также используются для сканирования материалов, перемещающихся по конвейерной ленте. Частным случаем линейного сканирования является точечное сканирование (с помощью сканера с метелкой ), где вместо щели используется точечная апертура, а датчик по сути является одномерным, а не двумерным. [7] [12]
При спектральном сканировании каждый выходной сигнал 2D-датчика представляет собой монохроматическую (т. е. одну длину волны), пространственную ( x , y )-карту сцены. Устройства HSI для спектрального сканирования обычно основаны на оптических полосовых фильтрах (настраиваемых или фиксированных). Сцена спектрально сканируется путем замены одного фильтра за другим, пока платформа остается неподвижной. В таких «пристальных» системах сканирования длины волны может возникнуть спектральное размывание, если в пределах сцены есть движение, что делает недействительной спектральную корреляцию/обнаружение. Тем не менее, есть преимущество в возможности выбора спектральных полос и наличия прямого представления двух пространственных измерений сцены. [6] [7] [12] Если система визуализации используется на движущейся платформе, такой как самолет, полученные изображения на разных длинах волн соответствуют разным областям сцены. Пространственные особенности на каждом из изображений могут использоваться для перевыравнивания пикселей.
При отсутствии сканирования один выходной сигнал 2D-датчика содержит все пространственные ( x , y ) и спектральные ( λ ) данные. Устройства HSI для отсутствия сканирования выдают полный куб данных сразу, без какого-либо сканирования. Образно говоря, один снимок представляет собой перспективную проекцию куба данных, из которой может быть реконструирована его трехмерная структура. [7] [13] Наиболее заметными преимуществами этих систем гиперспектральной визуализации снимка являются преимущество снимка (более высокая светопропускаемость) и более короткое время получения. Было разработано несколько систем, включая спектрометрию компьютерной томографической визуализации (CTIS), спектрометрию визуализации с переформатированием волокон (FRIS), интегральную полевую спектроскопию с линзовыми матрицами (IFS-L), многоапертурный интегральный полевой спектрометр (Hyperpixel Array), интегральную полевую спектроскопию с зеркалами для нарезки изображений (IFS-S), спектрометрию визуализации с репликацией изображений (IRIS), спектральную декомпозицию стека фильтров (FSSD), спектральную визуализацию с кодированной апертурой (CASSI), спектрометрию картирования изображений (IMS) и многоспектральную интерферометрию Саньяка (MSI). [14] Однако вычислительные усилия и производственные затраты высоки. В попытке снизить вычислительные требования и потенциально высокую стоимость несканирующего гиперспектрального оборудования были продемонстрированы прототипы устройств на основе многомерных оптических вычислений . Эти устройства были основаны на спектральном вычислительном движке Multivariate Optical Element [15] [16] или спектральном вычислительном движке Spatial Light Modulator [17] . В этих платформах химическая информация вычисляется в оптической области до получения изображения, так что химическое изображение полагается на обычные системы камер без дополнительных вычислений. Недостатком этих систем является то, что спектральная информация никогда не приобретается, т. е. только химическая информация, поэтому постобработка или повторный анализ невозможны.
При пространственно-спектральном сканировании каждый выходной сигнал 2D-датчика представляет собой кодированную по длине волны («радужно-окрашенную», λ = λ ( y )), пространственную ( x , y )-карту сцены. Прототип для этой техники, представленный в 2014 году, состоит из камеры на некотором ненулевом расстоянии позади базового щелевого спектроскопа (щель + дисперсионный элемент). [8] [18] Усовершенствованные системы пространственно-спектрального сканирования могут быть получены путем размещения дисперсионного элемента перед пространственной сканирующей системой. Сканирование может быть достигнуто путем перемещения всей системы относительно сцены, путем перемещения только камеры или путем перемещения только щели. Пространственно-спектральное сканирование объединяет некоторые преимущества пространственного и спектрального сканирования, тем самым устраняя некоторые из их недостатков. [8]
Гиперспектральная визуализация является частью класса методов, обычно называемых спектральной визуализацией или спектральным анализом . Термин «гиперспектральная визуализация» происходит от разработки NASA Airborne Imaging Spectrometer (AIS) и AVIRIS в середине 1980-х годов. Хотя NASA предпочитает более ранний термин «визуализирующая спектроскопия» вместо «гиперспектральной визуализации», использование последнего термина стало более распространенным в научном и ненаучном языке. В рецензируемом письме эксперты рекомендуют использовать термины «визуализирующая спектроскопия» или «спектральная визуализация» и избегать преувеличенных префиксов, таких как «гипер-», «супер-» и «ультра-», чтобы предотвратить неправильные термины в обсуждении. [19]
Гиперспектральная визуализация связана с многоспектральной визуализацией . Различие между гипер- и многополосной иногда неправильно основано на произвольном «числе полос» или на типе измерения. Гиперспектральная визуализация (HSI) использует непрерывные и смежные диапазоны длин волн (например, 400 - 1100 нм с шагом 1 нм), тогда как многополосная визуализация (MSI) использует подмножество целевых длин волн в выбранных местах (например, 400 - 1100 нм с шагом 20 нм). [20]
Многополосная съемка имеет дело с несколькими изображениями в дискретных и несколько узких полосах. «Дискретность и несколько узость» — вот что отличает многоспектральную съемку в видимой длине волны от цветной фотографии . Многоспектральный датчик может иметь много полос, охватывающих спектр от видимого до длинноволнового инфракрасного. Многоспектральные изображения не создают «спектр» объекта. Landsat — яркий практический пример многоспектральной съемки.
Гиперспектральный метод имеет дело с визуализацией узких спектральных полос в непрерывном спектральном диапазоне, создавая спектры всех пикселей в сцене. Датчик с 20 полосами также может быть гиперспектральным, если он охватывает диапазон от 500 до 700 нм с 20 полосами шириной 10 нм каждая, в то время как датчик с 20 дискретными полосами, охватывающими видимый, ближний, коротковолновый, средневолновый и длинноволновый инфракрасный диапазон, будет считаться мультиспектральным.
Ультраспектральный может быть зарезервирован для датчиков изображения интерферометрического типа с очень высоким спектральным разрешением. Эти датчики часто имеют (но не обязательно) низкое пространственное разрешение всего в несколько пикселей , ограничение, налагаемое высокой скоростью передачи данных.
Гиперспектральное дистанционное зондирование используется в широком спектре приложений. Хотя изначально оно было разработано для горнодобывающей промышленности и геологии (способность гиперспектральной визуализации идентифицировать различные минералы делает его идеальным для горнодобывающей и нефтяной промышленности, где его можно использовать для поиска руды и нефти), [11] [21] теперь оно распространилось в таких распространенных областях, как экология и наблюдение, а также исторические исследования рукописей, такие как визуализация палимпсеста Архимеда . Эта технология постоянно становится все более доступной для общественности. Такие организации, как NASA и USGS, имеют каталоги различных минералов и их спектральных сигнатур и разместили их в Интернете, чтобы сделать их легкодоступными для исследователей. В меньшем масштабе гиперспектральную визуализацию NIR можно использовать для быстрого мониторинга применения пестицидов к отдельным семенам для контроля качества оптимальной дозы и однородного покрытия.
Хотя стоимость получения гиперспектральных изображений обычно высока для определенных культур и в определенных климатических условиях, гиперспектральное дистанционное зондирование используется все чаще для мониторинга развития и здоровья культур. В Австралии ведутся работы по использованию спектрометров изображений для определения сортов винограда и разработки системы раннего оповещения о вспышках заболеваний. [22] Кроме того, ведутся работы по использованию гиперспектральных данных для определения химического состава растений, [23] которые могут быть использованы для определения уровня питательных веществ и воды в пшенице в орошаемых системах. [24] В меньших масштабах гиперспектральное изображение в ближнем инфракрасном диапазоне может использоваться для быстрого мониторинга применения пестицидов к отдельным семенам для контроля качества оптимальной дозы и однородного покрытия. [25]
Другим применением в сельском хозяйстве является обнаружение животных белков в комбикормах для предотвращения губчатой энцефалопатии крупного рогатого скота (ГЭКРС) , также известной как коровье бешенство. Были проведены различные исследования, чтобы предложить альтернативные инструменты для эталонного метода обнаружения (классическая микроскопия ). Одной из первых альтернатив является ближняя инфракрасная микроскопия (БИК), которая сочетает в себе преимущества микроскопии и БИК. В 2004 году было опубликовано первое исследование, связывающее эту проблему с гиперспектральной визуализацией. [26] Были созданы гиперспектральные библиотеки, которые являются репрезентативными для разнообразия ингредиентов, обычно присутствующих при приготовлении комбикормов. Эти библиотеки можно использовать вместе с хемометрическими инструментами для исследования предела обнаружения, специфичности и воспроизводимости метода гиперспектральной визуализации БИК для обнаружения и количественной оценки животных ингредиентов в кормах.
Камеры HSI также могут использоваться для обнаружения стресса, вызванного тяжелыми металлами, в растениях и стать более ранней и быстрой альтернативой методам влажной химической обработки после сбора урожая. [27] [28]
Гиперспектральная визуализация также используется в зоологии; она используется для исследования пространственного распределения окраски и ее распространения в ближний инфракрасный и SWIR-диапазон спектра. [29] Некоторые животные, например, некоторые тропические лягушки и некоторые насекомые, сидящие на листьях, обладают высокой отражательной способностью в ближнем инфракрасном диапазоне. [29] [30]
Гиперспектральная визуализация может предоставить информацию о химических компонентах материалов, что делает ее полезной для сортировки и переработки отходов . [31] Она применялась для различения веществ с различными тканями и для идентификации натуральных, животных и синтетических волокон. [32] Камеры HSI могут быть интегрированы с системами машинного зрения и, посредством упрощения платформ, позволяют конечным потребителям создавать новые приложения для сортировки отходов и другие приложения для сортировки/идентификации. [33] Система машинного обучения и гиперспектральной камеры может различать 12 различных типов пластика, таких как ПЭТ и ПП, для автоматизированного разделения отходов, по состоянию на 2020 год, крайне нестандартизированных [34] [ необходимы дополнительные ссылки ] пластиковых изделий и упаковки . [35] [36]
Исследователи из Монреальского университета работают с Photon и др. и Optina Diagnostics [37] для проверки использования гиперспектральной фотографии в диагностике ретинопатии и макулярного отека до того, как произойдет повреждение глаза. Метаболическая гиперспектральная камера обнаружит падение потребления кислорода в сетчатке, что указывает на потенциальное заболевание. Затем офтальмолог сможет лечить сетчатку инъекциями, чтобы предотвратить любое потенциальное повреждение. [38]
В пищевой промышленности гиперспектральная съемка в сочетании с интеллектуальным программным обеспечением позволяет цифровым сортировщикам (также называемым оптическими сортировщиками ) выявлять и удалять дефекты и посторонние материалы (ПМ), которые невидимы для традиционных камер и лазерных сортировщиков. [39] [40] За счет повышения точности удаления дефектов и ПМ цель предприятия по переработке пищевых продуктов состоит в повышении качества продукции и увеличении выхода продукции.
Использование гиперспектральной визуализации на цифровых сортировщиках позволяет достичь неразрушающего 100-процентного контроля на линии при полных объемах производства. Программное обеспечение сортировщика сравнивает полученные гиперспектральные изображения с заданными пользователем пороговыми значениями приема/отбраковки, а система выброса автоматически удаляет дефекты и посторонние материалы.
Недавнее коммерческое внедрение сортировщиков пищевых продуктов на основе гиперспектральных датчиков наиболее продвинуто в ореховой промышленности, где установленные системы максимально удаляют камни, скорлупу и другие инородные материалы (FM) и посторонние растительные вещества (EVM) из грецких орехов, пекана, миндаля, фисташек, арахиса и других орехов. Здесь улучшенное качество продукции, низкий уровень ложных отбраковок и способность обрабатывать большое количество входящих дефектных грузов часто оправдывают стоимость технологии.
Коммерческое внедрение гиперспектральных сортировщиков также продвигается быстрыми темпами в отрасли переработки картофеля, где эта технология обещает решить ряд выдающихся проблем с качеством продукции. Ведутся работы по использованию гиперспектральной визуализации для обнаружения «сахарных концов», [41] «полого сердца» [42] и «парши обыкновенной», [43] состояний, которые досаждают переработчикам картофеля.
Геологические образцы, такие как керны буровых скважин , могут быть быстро нанесены на карту для почти всех минералов, представляющих коммерческий интерес, с помощью гиперспектральной визуализации. Слияние спектральных изображений SWIR и LWIR является стандартным для обнаружения минералов в группах полевого шпата , кремния , кальцита , граната и оливина , поскольку эти минералы имеют свою наиболее отличительную и сильную спектральную сигнатуру в областях LWIR. [44]
Гиперспектральное дистанционное зондирование минералов хорошо развито. Многие минералы можно идентифицировать по аэрофотоснимкам, и их связь с наличием ценных минералов, таких как золото и алмазы, хорошо изучена. В настоящее время прогресс направлен на понимание связи между утечками нефти и газа из трубопроводов и природных скважин, а также их воздействием на растительность и спектральные сигнатуры. Недавние работы включают докторские диссертации Верффа [45] и Ноомена. [46]
Гиперспектральное наблюдение — это реализация технологии гиперспектрального сканирования для целей наблюдения . Гиперспектральное изображение особенно полезно в военном наблюдении из-за контрмер , которые военные организации теперь принимают, чтобы избежать наблюдения с воздуха. Идея, которая движет гиперспектральным наблюдением, заключается в том, что гиперспектральное сканирование извлекает информацию из такой большой части светового спектра, что любой заданный объект должен иметь уникальную спектральную сигнатуру по крайней мере в нескольких из многих сканируемых диапазонов. Гиперспектральное изображение также показало потенциал для использования в целях распознавания лиц . Было показано, что алгоритмы распознавания лиц, использующие гиперспектральное изображение, работают лучше, чем алгоритмы, использующие традиционное изображение. [47]
Традиционно, коммерчески доступные тепловые инфракрасные гиперспектральные системы визуализации требовали охлаждения жидким азотом или гелием , что делало их непрактичными для большинства приложений наблюдения. В 2010 году Specim представила тепловую инфракрасную гиперспектральную камеру, которая может использоваться для наружного наблюдения и приложений БПЛА без внешнего источника света, такого как солнце или луна. [48] [49]
В астрономии гиперспектральная визуализация используется для определения пространственно-разрешенного спектрального изображения. Поскольку спектр является важной диагностикой, наличие спектра для каждого пикселя позволяет решать больше научных задач. В астрономии этот метод обычно называют интегральной полевой спектроскопией , и примерами этого метода являются FLAMES [50] и SINFONI [51] на Очень Большом Телескопе , а также Advanced CCD Imaging Spectrometer на рентгеновской обсерватории Chandra, использующий этот метод.
Солдаты могут подвергаться воздействию широкого спектра химических опасностей. Эти угрозы в основном невидимы, но их можно обнаружить с помощью технологии гиперспектральной визуализации. Камера Telops Hyper-Cam, представленная в 2005 году, продемонстрировала это на расстоянии до 5 км. [53]
Большинство стран требуют постоянного мониторинга выбросов, производимых угольными и нефтяными электростанциями, муниципальными и опасными мусоросжигательными заводами, цементными заводами, а также многими другими типами промышленных источников. Этот мониторинг обычно выполняется с использованием систем отбора проб в сочетании с методами инфракрасной спектроскопии. Некоторые недавние измерения с выносом позволили оценить качество воздуха, но не многие дистанционные независимые методы позволяют проводить измерения с низкой неопределенностью.
Недавние исследования показывают, что гиперспектральная съемка может быть полезна для обнаружения развития трещин в тротуарах [55] , которые трудно обнаружить с помощью изображений, полученных с помощью камер видимого спектра. [55]
Гиперспектральная визуализация также использовалась для обнаружения рака, идентификации нервов и анализа синяков. [56]
Основное преимущество гиперспектральной визуализации заключается в том, что, поскольку весь спектр получается в каждой точке, оператору не нужны предварительные знания об образце, а постобработка позволяет извлекать всю доступную информацию из набора данных. Гиперспектральная визуализация также может использовать пространственные отношения между различными спектрами в окрестности, что позволяет использовать более сложные спектрально-пространственные модели для более точной сегментации и классификации изображения. [57] [58]
Основными недостатками являются стоимость и сложность. Для анализа гиперспектральных данных необходимы быстрые компьютеры, чувствительные детекторы и большие емкости для хранения данных. Необходима значительная емкость для хранения данных, поскольку несжатые гиперспектральные кубы представляют собой большие многомерные наборы данных, потенциально превышающие сотни мегабайт . Все эти факторы значительно увеличивают стоимость получения и обработки гиперспектральных данных. Кроме того, одним из препятствий, с которыми пришлось столкнуться исследователям, является поиск способов программирования гиперспектральных спутников для самостоятельной сортировки данных и передачи только самых важных изображений, поскольку как передача, так и хранение такого большого количества данных может оказаться сложным и дорогостоящим. [9] Как относительно новый аналитический метод, полный потенциал гиперспектральной визуализации еще не реализован.
{{cite journal}}
: CS1 maint: DOI неактивен по состоянию на сентябрь 2024 г. ( ссылка ){{cite journal}}
: CS1 maint: DOI неактивен по состоянию на сентябрь 2024 г. ( ссылка ){{citation}}
: CS1 maint: несколько имен: список авторов ( ссылка ){{cite journal}}
: Цитировать журнал требует |journal=
( помощь )