Цифровая обработка изображений — это использование цифрового компьютера для обработки цифровых изображений с помощью алгоритма . [1] [2] Как подкатегория или область цифровой обработки сигналов , цифровая обработка изображений имеет много преимуществ по сравнению с аналоговой обработкой изображений . Она позволяет применять гораздо более широкий спектр алгоритмов к входным данным и позволяет избежать таких проблем, как накопление шума и искажений во время обработки. Поскольку изображения определяются в двух измерениях (возможно, больше), цифровая обработка изображений может быть смоделирована в виде многомерных систем . На создание и развитие цифровой обработки изображений в основном влияют три фактора: во-первых, развитие компьютеров; [3] во-вторых, развитие математики (особенно создание и совершенствование теории дискретной математики); [4] в-третьих, возрос спрос на широкий спектр приложений в области охраны окружающей среды, сельского хозяйства, военной промышленности и медицинской науки. [5]
Многие из методов цифровой обработки изображений, или цифровой обработки изображений, как ее часто называли, были разработаны в 1960-х годах в Bell Laboratories , Jet Propulsion Laboratory , Massachusetts Institute of Technology , University of Maryland и нескольких других исследовательских учреждениях с применением к спутниковым снимкам , преобразованию стандартов проводного фото , медицинской визуализации , видеотелефонии , распознаванию символов и улучшению фотографий. [6] Целью ранней обработки изображений было улучшение качества изображения. Она была направлена на то, чтобы люди улучшали визуальный эффект людей. При обработке изображений входными данными является изображение низкого качества, а выходными данными является изображение с улучшенным качеством. Распространенная обработка изображений включает улучшение изображения, восстановление, кодирование и сжатие. Первым успешным приложением была Американская лаборатория реактивного движения (JPL). Они использовали методы обработки изображений, такие как геометрическая коррекция, градационное преобразование, удаление шума и т. д. на тысячах лунных фотографий, отправленных космическим детектором Ranger 7 в 1964 году, принимая во внимание положение Солнца и окружающую среду Луны. Влияние успешного картирования карты поверхности Луны компьютером было успешным. Позже была выполнена более сложная обработка изображений на почти 100 000 фотографий, отправленных космическим аппаратом, так что были получены топографическая карта, цветовая карта и панорамная мозаика Луны, что позволило достичь исключительных результатов и заложить прочную основу для высадки человека на Луну. [7]
Однако стоимость обработки была довольно высокой с вычислительным оборудованием той эпохи. Это изменилось в 1970-х годах, когда цифровая обработка изображений распространилась по мере того, как стали доступны более дешевые компьютеры и специализированное оборудование. Это привело к тому, что изображения обрабатывались в реальном времени для некоторых специализированных задач, таких как преобразование телевизионных стандартов . Поскольку компьютеры общего назначения становились быстрее, они начали брать на себя роль специализированного оборудования для всех операций, кроме самых специализированных и ресурсоемких. С появлением быстрых компьютеров и сигнальных процессоров в 2000-х годах цифровая обработка изображений стала наиболее распространенной формой обработки изображений и обычно используется, потому что это не только самый универсальный метод, но и самый дешевый.
Основой современных датчиков изображения является технология металл-оксид-полупроводник (МОП), [8] изобретенная в Bell Labs между 1955 и 1960 годами, [9] [10] [11] [12] [13] [14] Это привело к разработке цифровых полупроводниковых датчиков изображения, включая прибор с зарядовой связью (ПЗС), а позднее и датчик КМОП . [8]
Устройство с зарядовой связью было изобретено Уиллардом С. Бойлом и Джорджем Э. Смитом в Bell Labs в 1969 году. [15] Исследуя технологию МОП, они поняли, что электрический заряд является аналогом магнитного пузыря и что он может храниться на крошечном МОП-конденсаторе . Поскольку было довольно просто изготовить ряд МОП-конденсаторов в ряд, они подключили к ним подходящее напряжение, чтобы заряд мог передаваться от одного к другому. [8] ПЗС — это полупроводниковая схема, которая позже использовалась в первых цифровых видеокамерах для телевизионного вещания . [16]
Датчик с активными пикселями NMOS (APS) был изобретен компанией Olympus в Японии в середине 1980-х годов. Это стало возможным благодаря достижениям в производстве полупроводниковых приборов MOS , при этом масштабирование MOSFET достигло микронных , а затем и субмикронных уровней. [17] [18] Датчик с активными пикселями NMOS был изготовлен командой Цутому Накамуры в Olympus в 1985 году. [19] Датчик с активными пикселями CMOS (CMOS-датчик) был позже разработан командой Эрика Фоссума в Лаборатории реактивного движения NASA в 1993 году. [20] К 2007 году продажи датчиков CMOS превзошли продажи датчиков CCD. [21]
Датчики изображения MOS широко используются в технологии оптических мышей . Первая оптическая мышь, изобретенная Ричардом Ф. Лионом в Xerox в 1980 году, использовала чип датчика интегральной схемы NMOS размером 5 мкм . [22] [23] С момента появления первой коммерческой оптической мыши IntelliMouse в 1999 году большинство устройств оптических мышей используют датчики CMOS. [24] [25]
Важным достижением в технологии сжатия цифровых изображений стало дискретное косинусное преобразование (DCT), метод сжатия с потерями, впервые предложенный Насиром Ахмедом в 1972 году. [26] Сжатие DCT стало основой для JPEG , который был представлен Объединенной группой экспертов по фотографии в 1992 году. [27] JPEG сжимает изображения до гораздо меньших размеров файлов и стал наиболее широко используемым форматом файлов изображений в Интернете . [ 28] Его высокоэффективный алгоритм сжатия DCT в значительной степени ответственен за широкое распространение цифровых изображений и цифровых фотографий , [29] при этом по состоянию на 2015 год ежедневно производилось несколько миллиардов изображений JPEG [обновлять]. [30]
Медицинские методы визуализации производят очень большие объемы данных, особенно с помощью КТ, МРТ и ПЭТ. В результате хранение и передача электронных данных изображений невозможны без использования сжатия. [31] [32] Сжатие изображений JPEG 2000 используется стандартом DICOM для хранения и передачи медицинских изображений. Стоимость и осуществимость доступа к большим наборам данных изображений через низкие или различные полосы пропускания дополнительно решаются с помощью другого стандарта DICOM, называемого JPIP , для обеспечения эффективной потоковой передачи сжатых данных изображений JPEG 2000. [33]
Электронная обработка сигналов была революционизирована широким внедрением технологии МОП в 1970-х годах. [34] Технология интегральных схем МОП стала основой для первых однокристальных микропроцессоров и микроконтроллеров в начале 1970-х годов, [35] а затем и первых однокристальных цифровых сигнальных процессоров (DSP) в конце 1970-х годов. [36] [37] С тех пор DSP-чипы широко используются в цифровой обработке изображений. [36]
Алгоритм сжатия изображений с дискретным косинусным преобразованием (DCT) широко применяется в чипах DSP, и многие компании разрабатывают чипы DSP на основе технологии DCT. DCT широко используются для кодирования , декодирования, видеокодирования , аудиокодирования , мультиплексирования , сигналов управления, сигнализации , аналого-цифрового преобразования , форматирования яркости и цветовых различий, а также цветовых форматов, таких как YUV444 и YUV411 . DCT также используются для операций кодирования, таких как оценка движения , компенсация движения , межкадровое предсказание, квантование , перцепционное взвешивание, энтропийное кодирование , переменное кодирование и векторы движения , а также операций декодирования, таких как обратная операция между различными цветовыми форматами ( YIQ , YUV и RGB ) для отображения. DCT также широко используются для чипов кодера/декодера телевидения высокой четкости (HDTV). [38]
В 1972 году инженер британской компании EMI Хаусфилд изобрел рентгеновский компьютерный томограф для диагностики головы, который обычно называют КТ (компьютерная томография). Метод ядра КТ основан на проекции сечения головы человека и обрабатывается компьютером для реконструкции поперечного изображения, которое называется реконструкцией изображения. В 1975 году EMI успешно разработала КТ-устройство для всего тела, которое получило четкое томографическое изображение различных частей человеческого тела. В 1979 году эта диагностическая методика получила Нобелевскую премию. [7] Технология цифровой обработки изображений для медицинских приложений была включена в Зал славы космических технологий Космического фонда в 1994 году. [39]
По состоянию на 2010 год во всем мире было проведено 5 миллиардов исследований медицинской визуализации. [40] [41] Радиационное воздействие от медицинской визуализации в 2006 году составило около 50% от общего воздействия ионизирующего излучения в Соединенных Штатах. [42] Медицинское оборудование для визуализации производится с использованием технологий полупроводниковой промышленности , включая интегральные микросхемы КМОП , силовые полупроводниковые приборы , датчики, такие как датчики изображения (в частности, датчики КМОП ) и биосенсоры , а также процессоры, такие как микроконтроллеры , микропроцессоры , цифровые сигнальные процессоры , медиапроцессоры и устройства на кристалле . По состоянию на 2015 год ежегодные поставки чипов медицинской визуализации составляют 46 миллионов единиц и 1,1 миллиарда долларов . [43] [44][обновлять]
Цифровая обработка изображений позволяет использовать гораздо более сложные алгоритмы и, следовательно, может предложить как более совершенную производительность при выполнении простых задач, так и реализацию методов, которые были бы невозможны аналоговыми средствами.
В частности, цифровая обработка изображений представляет собой конкретное применение и практическую технологию, основанную на:
Некоторые методы, используемые при цифровой обработке изображений, включают в себя:
Цифровые фильтры используются для размытия и повышения резкости цифровых изображений. Фильтрация может быть выполнена:
В следующих примерах показаны оба метода: [46]
Изображения обычно дополняются перед преобразованием в пространство Фурье. Представленные ниже изображения, прошедшие высокочастотную фильтрацию, иллюстрируют последствия различных методов дополнения:
Обратите внимание, что фильтр верхних частот показывает дополнительные края при заполнении нулями по сравнению с повторным заполнением краев.
Пример MATLAB для высокочастотной фильтрации в пространственной области.
img = checkerboard ( 20 ); % сгенерировать шахматную доску % ************************** ПРОСТРАНСТВЕННАЯ ОБЛАСТЬ ***************************** klaplace =[ 0 - 1 0 ; - 1 5 - 1 ; 0 - 1 0 ]; % Ядро фильтра Лапласа X = conv2 ( img , klaplace ); % Тестовый свертываемый img с % ядром Лапласа 3x3 figure () imshow ( X ,[]) % показать заголовок, отфильтрованный Лапласом ( 'Обнаружение края Лапласа' )
Аффинные преобразования позволяют выполнять базовые преобразования изображений, включая масштабирование, поворот, перенос, зеркальное отображение и сдвиг, как показано в следующих примерах: [46]
Чтобы применить аффинную матрицу к изображению, изображение преобразуется в матрицу, в которой каждая запись соответствует интенсивности пикселя в этом месте. Затем местоположение каждого пикселя может быть представлено как вектор, указывающий координаты этого пикселя в изображении, [x, y], где x и y — строка и столбец пикселя в матрице изображения. Это позволяет умножить координату на матрицу аффинного преобразования, которая дает позицию, в которую будет скопировано значение пикселя в выходном изображении.
Однако, чтобы разрешить преобразования, требующие преобразований переноса, необходимы 3-мерные однородные координаты . Третье измерение обычно устанавливается на ненулевую константу, обычно 1, так что новая координата равна [x, y, 1]. Это позволяет умножить вектор координат на матрицу 3 на 3, что позволяет выполнять сдвиги переноса. Таким образом, третье измерение, которое является константой 1, допускает перенос.
Поскольку умножение матриц ассоциативно, несколько аффинных преобразований можно объединить в одно аффинное преобразование, умножив матрицу каждого отдельного преобразования в том порядке, в котором эти преобразования выполняются. Это приводит к одной матрице, которая при применении к точечному вектору дает тот же результат, что и все отдельные преобразования, выполненные последовательно над вектором [x, y, 1]. Таким образом, последовательность матриц аффинного преобразования можно свести к одной матрице аффинного преобразования.
Например, 2-мерные координаты допускают только вращение вокруг начала координат (0, 0). Но 3-мерные однородные координаты можно использовать для того, чтобы сначала перевести любую точку в (0, 0), затем выполнить вращение и, наконец, перевести начало координат (0, 0) обратно в исходную точку (противоположность первому перемещению). Эти 3 аффинных преобразования можно объединить в одну матрицу, тем самым допуская вращение вокруг любой точки на изображении. [47]
Математическая морфология подходит для шумоподавления изображений. Структурные элементы важны в математической морфологии .
Следующие примеры относятся к структурным элементам. Функция шумоподавления, изображение как I и структурный элемент как B показаны ниже и в таблице.
например
Определим Dilation(I, B)(i,j) = . Пусть Dilation(I,B) = D(I,B)
D(I', B)(1,1) =
Определим Erosion(I, B)(i,j) = . Пусть Erosion(I,B) = E(I,B)
Е(I', В)(1,1) =
После расширения После эрозии
Метод открытия — это просто сначала эрозия, а затем расширение, тогда как метод закрытия — наоборот. В действительности D(I,B) и E(I,B) могут быть реализованы с помощью Convolution
Цифровые камеры обычно включают специализированное цифровое оборудование для обработки изображений — либо выделенные чипы, либо дополнительные схемы на других чипах — для преобразования необработанных данных с их датчика изображения в скорректированное по цвету изображение в стандартном формате файла изображения . Дополнительные методы постобработки повышают резкость краев или насыщенность цвета для создания более естественно выглядящих изображений.
«Мир Дикого Запада» (1973) был первым художественным фильмом, в котором использовалась цифровая обработка изображений для пикселизации фотографии с целью имитации точки зрения андроида. [48] Обработка изображений также широко используется для создания эффекта хромакея , который заменяет фон актеров естественными или художественными пейзажами.
Распознавание лиц можно реализовать с помощью математической морфологии , дискретного косинусного преобразования , которое обычно называют DCT, и горизонтальной проекции (математики) .
Общий метод с методом на основе признаков
Метод обнаружения лиц на основе признаков использует тон кожи, определение контуров, форму лица и особенности лица (например, глаза, рот и т. д.) для обнаружения лиц. Тон кожи, форма лица и все уникальные элементы, которые есть только у человеческого лица, можно описать как черты.
Объяснение процесса
На качество изображения могут влиять вибрация камеры, передержка, слишком централизованное распределение уровней серого, шум и т. д. Например, проблему шума можно решить с помощью метода сглаживания, а проблему распределения уровней серого можно улучшить с помощью выравнивания гистограммы .
Метод сглаживания
В рисовании, если есть какой-то неудовлетворительный цвет, берется некоторый цвет вокруг неудовлетворительного цвета и усредняется. Это простой способ думать о методе сглаживания.
Метод сглаживания может быть реализован с помощью маски и свертки . Возьмем для примера небольшое изображение и маску, как показано ниже.
изображение есть
маска это
После свертки и сглаживания изображение
Наблюдение за изображением[1, 1], изображением[1, 2], изображением[2, 1] и изображением[2, 2].
Исходный пиксель изображения — 1, 4, 28, 30. После сглаживания маски пиксель становится 9, 10, 9, 9 соответственно.
новое изображение[1, 1] = * (изображение[0,0]+изображение[0,1]+изображение[0,2]+изображение[1,0]+изображение[1,1]+изображение[1,2]+изображение[2,0]+изображение[2,1]+изображение[2,2])
новое изображение[1, 1] = пол( * (2+5+6+3+1+4+1+28+30)) = 9
новое изображение[1, 2] = пол({ * (5+6+5+1+4+6+28+30+2)) = 10
новое изображение[2, 1] = пол( * (3+1+4+1+28+30+7+3+2)) = 9
новое изображение[2, 2] = пол( * (1+4+6+28+30+2+3+2+2)) = 9
Метод гистограммы уровня серого
Обычно, если гистограмма уровня серого получена из изображения, как показано ниже. Изменение гистограммы на равномерное распределение из изображения обычно называется выравниванием гистограммы .
В дискретном времени площадь гистограммы уровня серого равна (см. рисунок 1), а площадь равномерного распределения равна (см. рисунок 2). Очевидно, что площадь не изменится, поэтому .
Из равномерного распределения вероятность равна , в то время как
В непрерывном времени уравнение имеет вид .
Более того, основываясь на определении функции, метод гистограммы уровней серого подобен поиску функции , которая удовлетворяет условию f(p)=q.
Cyclops был первой цифровой камерой
системы визуализации создают все более точные изображения с улучшенным качеством, используя более высокие пространственные разрешения и цветовую битовую глубину. Такие улучшения увеличивают объем информации, которую необходимо хранить, обрабатывать и передавать.
Из-за большого объема данных медицинских изображений процесс передачи усложняется в приложениях телемедицины. Таким образом, для адаптации потоков битов данных к ограничениям, связанным с ограничением полосы пропускания, необходимо уменьшить размер данных путем сжатия изображений.
Полевой транзистор металл-оксид-полупроводник (MOSFET) является наиболее часто используемым активным устройством в сверхбольшой интеграции цифровых интегральных схем (VLSI). В 1970-х годах эти компоненты произвели революцию в электронной обработке сигналов, системах управления и компьютерах.
{{cite book}}
: |website=
проигнорировано ( помощь ){{cite book}}
: CS1 maint: location missing publisher (link)