Нормализация цвета

Тема компьютерного зрения, касающаяся искусственного цветового зрения и распознавания объектов.

Нормализация цвета — это тема компьютерного зрения , связанная с искусственным цветовым зрением и распознаванием объектов. В целом распределение значений цвета на изображении зависит от освещенности, которая может меняться в зависимости от условий освещения, камеры и других факторов. Нормализация цвета позволяет использовать методы распознавания объектов на основе цвета, чтобы компенсировать эти различия.

Основные понятия

Постоянство цвета

Постоянство цвета — особенность внутренней модели восприятия человека, которая обеспечивает человеку возможность присваивать объектам относительно постоянный цвет даже при различных условиях освещенности. Это полезно для распознавания объектов, а также для идентификации источников света в окружающей среде. Например, люди видят объект примерно одного и того же цвета, когда солнце яркое или когда солнце тусклое.

Приложения

Нормализация цвета использовалась для распознавания объектов на цветных изображениях в области робототехники , биоинформатики и общего искусственного интеллекта , когда важно удалить из изображения все значения интенсивности, сохранив при этом значения цвета. Одним из примеров является сцена, снятая камерой наблюдения в течение дня, когда важно удалить тени или изменения освещения на пикселях одного цвета и распознать прошедших людей. ^[1] Другим примером являются автоматизированные инструменты скрининга, используемые для выявления диабетической ретинопатии ^[2] , а также молекулярной диагностики состояний рака, ^[3] где важно включать цветовую информацию во время классификации.

Известные вопросы

Основная проблема некоторых применений нормализации цвета заключается в том, что результат выглядит неестественно или слишком далеко от исходных цветов. ^[4] В случаях, когда между важными аспектами существуют тонкие различия, это может стать проблематичным. Более конкретно, побочным эффектом может быть то, что пиксели расходятся и не отражают фактическое значение цвета изображения. Способ решения этой проблемы — использовать нормализацию цвета в сочетании с пороговой коррекцией для правильной и последовательной сегментации цветного изображения. ^[5]

Преобразования и алгоритмы

Существует огромное количество различных преобразований и алгоритмов для достижения нормализации цвета, и здесь представлен ограниченный список. Производительность алгоритма зависит от задачи, и один алгоритм, который работает лучше другого в одной задаче, может работать хуже в другой ( нет теоремы о бесплатном обеде ). Кроме того, выбор алгоритма зависит от предпочтений пользователя в отношении конечного результата, например, ему может потребоваться более естественное цветное изображение.

Серый мир

Нормализация серого мира предполагает, что изменения в спектре освещения можно смоделировать с помощью трех постоянных факторов, применяемых к красному, зеленому и синему каналам цвета. ^[6] Более конкретно, изменение цвета освещения можно смоделировать как масштабирование α, β и γ в цветовых каналах R, G и B, и поэтому алгоритм серого мира инвариантен к изменениям цвета освещения. Таким образом, решение постоянства может быть достигнуто путем деления каждого цветового канала на его среднее значение, как показано в следующей формуле:

${\displaystyle \left(\alpha R,\beta G,\gamma B\right)\rightarrow \left({\frac {\alpha R}{{\frac {\alpha }{n}}\sum _{i}R}},{\frac {\beta G}{{\frac {\beta }{n}}\sum _{i}G}},{\frac {\gamma B}{{\frac {\gamma }{n}}\sum _{i}B}}\right)}$

Как упоминалось выше, нормализация цвета серого мира инвариантна к вариациям освещенного цвета α, β и γ, однако у нее есть одна важная проблема: она не учитывает все изменения интенсивности освещения и не является динамической; когда в сцене появляются новые объекты, происходит сбой. ^[6] Для решения этой проблемы существует несколько вариантов алгоритма серого мира. ^[6] Кроме того, существует итеративный вариант нормализации серого мира, однако не было обнаружено, что он работает значительно лучше. ^[7]

Выравнивание гистограммы

Выравнивание гистограммы — это нелинейное преобразование, которое поддерживает ранг пикселей и способно нормализовать любую монотонно возрастающую функцию преобразования цвета. Считается, что это более мощное преобразование нормализации, чем метод серого мира. Результаты выравнивания гистограмм имеют тенденцию иметь преувеличенный синий канал и выглядеть неестественно из-за того, что в большинстве изображений распределение значений пикселей обычно больше похоже на распределение Гаусса , а не на равномерное . ^[5]

Спецификация гистограммы

Спецификация гистограммы преобразует красную, зеленую и синюю гистограммы, чтобы они соответствовали формам трех конкретных гистограмм, а не просто уравнивали их. Это относится к классу преобразований изображений, целью которого является получение изображений, гистограммы которых имеют желаемую форму. ^[2] Как указано, сначала необходимо преобразовать изображение так, чтобы оно имело определенную гистограмму. Предположим, изображение x. Следующая формула представляет собой преобразование выравнивания этого изображения:

${\displaystyle y=f(x)=\int \limits _{0}^{x}p_{x}(u)du}$

Затем предположим, что искомое изображение z. Преобразование выравнивания этого изображения:

${\displaystyle y'=g(z)=\int \limits _{0}^{z}p_{z}(u)du}$

Конечно, это гистограмма выходного изображения. Формула для нахождения обратного вышеприведенного преобразования: ${\displaystyle p_{z}(u)}$

${\displaystyle z=g^{-1}(y')}$

Следовательно, поскольку изображения y и y' имеют одну и ту же выровненную гистограмму, они на самом деле являются одним и тем же изображением, что означает y = y', и преобразование данного изображения x в желаемое изображение z равно:

${\displaystyle z=g^{-1}(y')=g^{-1}(y)=g^{-1}(f(x))}$

Преимущество спецификации гистограммы заключается в создании более реалистичных изображений ^[8] , поскольку она не преувеличивает синий канал, как при выравнивании гистограммы .

Комплексная нормализация цвета

Показано, что комплексная нормализация цвета повышает результаты локализации и классификации объектов в сочетании с индексацией цвета. ^[7] Это итерационный алгоритм, который работает в два этапа. Первый этап — использовать красное, зеленое и синее цветовое пространство с нормализованной интенсивностью для нормализации каждого пикселя. Второй этап — нормализовать каждый цветовой канал отдельно так, чтобы сумма компонентов цвета была равна одной трети количества пикселей. Итерации продолжаются до тех пор, пока не произойдет сходимость, что означает отсутствие дополнительных изменений. Формально:

Нормализовать цветное изображение

${\displaystyle f^{(t)}=[f_{ij}^{(t)}]_{i=1...N,j=1...M}}$

который состоит из цветовых векторов

${\displaystyle f_{ij}^{(t)}=(r_{ij}^{(t)},g_{ij}^{(t)},b_{ij}^{(t)})^{T}.}$

Для первого шага, описанного выше, вычислите:

${\displaystyle S_{ij}:=r_{ij}^{(t)}+g_{ij}^{(t)}+b_{ij}^{(t)}}$

что приводит к

${\displaystyle r_{ij}^{(t+1)}={\frac {r_{ij}^{(t)}}{S_{ij}}},g_{ij}^{(t+1)}={\frac {g_{ij}^{(t)}}{S_{ij}}}}$

и

${\displaystyle b_{ij}^{(t+1)}={\frac {b_{ij}^{(t)}}{S_{ij}}}.}$

Для второго шага, описанного выше, вычислите:

${\displaystyle r'={\frac {3}{NM}}\sum _{i=1}^{N}\sum _{j=1}^{M}r_{ij}^{(t+1)}}$

и нормализовать

${\displaystyle r_{ij}^{(t+2)}={\frac {r_{ij}^{(t+1)}}{r'}}.}$

Конечно, тот же процесс проделывается для b' и g'. Затем эти два шага повторяются до тех пор, пока изменения между итерацией t и t+2 не станут меньше некоторого установленного порога.

Комплексная нормализация цвета, как и упомянутый ранее метод выравнивания гистограммы , дает результаты, которые могут выглядеть менее естественными из-за уменьшения количества значений цвета. ^[4]

Рекомендации

1. Мария Ванрелл; Фелипе Лумбрерас; Альберт Пужоль; Рамон Болдрич; Хосеп Льядос; Джей Джей Вильянуэва (2001). «Нормализация цвета на основе фоновой информации». Материалы Международной конференции по обработке изображений 2001 г. (Кат. № 01CH37205) . Том. 1. Салоники, Греция. стр. 874–877. дои : 10.1109/icip.2001.959185. ISBN 978-0-7803-6725-8. S2CID  206810375. INSPEC 7210999.{{cite book}}: CS1 maint: location missing publisher (link)
2. Кейт А. Гоутман; А. Дэвид Уитвам; А. Маниваннан; Джон А. Олсон; Питер Ф. Шарп. Нормализация цвета изображений сетчатки (PDF) (Отчет).
3. Марк А. Рубин; Мацей П. Зерковский; Робест Л. Кэмп; Райнер Куфер; Маттиас Д. Хофер; Арул М. Чиннаян; Дэвид Л. Римм (март 2004 г.). «Количественное определение экспрессии белка рака простаты - рацемазы -метилацил-КоА с использованием автоматизированного количественного анализа (AQUA)». Американский журнал патологии . 164 (3): 831–840. дои : 10.1016/s0002-9440(10)63171-9. ПМЦ 1613273 . ПМИД  14982837. 
4. Л.Чинк; Д. Паулюс; У. Альрикс; Б. Хейгл (24 сентября 1990 г.). Нормализация цвета и локализация объектов (PDF) (Отчет).
5. Бургер, Вильгельм; Марк Дж. Бердж (2008). Цифровая обработка изображений: введение в алгоритмы с использованием Java . Спрингер . ISBN 978-1846283796.
6. Хосе М. Буэнапосада; Луис Баумела. Вариации Gray World для отслеживания лиц (PDF) (Отчет).
7. Финлейсон, Грэм Д.; Шиле, Бернт; Кроули, Джеймс Л. (1998). «Комплексная нормализация цветного изображения» (PDF) . Буркхард и Нойман : 475–490. OCLC  849180213. INSPEC 7210999. Архивировано из оригинала (PDF) 4 марта 2016 г .. Проверено 10 марта 2012 г.
8. А. Осаре; М. Мирмехди; Б. Томас; и другие. (2002). Классификация и локализация диабетических заболеваний глаз. ЕСКВ '02. стр. 502–516. ISBN 9783540437482. {{cite book}}: |journal=игнорируется ( помощь )

Библиография

• Л.Чинк; Д. Паулюс; У. Альрикс; Б. Хейгл (24 сентября 1990 г.). Нормализация цвета и локализация объектов (PDF) (Отчет).

• Марк А. Рубин; Мацей П. Зерковский; Робест Л. Кэмп; Райнер Куфер; Маттиас Д. Хофер; Арул М. Чиннаян; Дэвид Л. Римм (март 2004 г.). «Количественное определение экспрессии белка рака простаты - рацемазы -метилацил-КоА с использованием автоматизированного количественного анализа (AQUA)». Американский журнал патологии . 164 (3): 831–840. дои : 10.1016/s0002-9440(10)63171-9. ПМЦ  1613273 . ПМИД  14982837.

• Мария Ванрелл; Фелипе Лумбрерас; Альберт Пужоль; Рамон Болдрич; Хосеп Льядос; Джей Джей Вильянуэва (7 октября 2001 г.). «Нормализация цвета на основе фоновой информации». Материалы Международной конференции по обработке изображений 2001 г. (Кат. № 01CH37205) . Том. 1. Салоники, Греция. стр. 874–877. дои : 10.1109/icip.2001.959185. ISBN 978-0-7803-6725-8. S2CID  206810375. INSPEC 7210999. {{cite book}}: |journal=игнорируется ( помощь )CS1 maint: location missing publisher (link)

• Бургер, Вильгельм; Марк Дж. Бердж (2008). Цифровая обработка изображений: введение в алгоритмы с использованием Java . Спрингер . ISBN 978-1846283796.

• Г. Д. Финлейсон; Б. Шиле; Дж. Л. Кроули (1998). «Комплексная нормализация цветного изображения» (PDF) . Буркхард и Нойман : 475–490. INSPEC 7210999. Архивировано из оригинала (PDF) 4 марта 2016 года . Проверено 10 марта 2012 г.

• А. Осаре; М. Мирмехди; Б. Томас; и другие. (2002). Классификация и локализация диабетических заболеваний глаз. ЕСКВ '02. стр. 502–516. ISBN 9783540437482. {{cite book}}: |journal=игнорируется ( помощь )

• Хуан Санчес; Ксавье Бинефа (200). Лаурини, Роберт (ред.). Нормализация цвета для цифровой обработки видео . Конспекты лекций по информатике. Том. 2929. Спрингер . стр. 125–139. дои : 10.1007/3-540-40053-2_17. ISBN 978-3-540-41177-2.
• Хосе М. Буэнапосада; Луис Баумела. Вариации Gray World для отслеживания лиц (PDF) (Отчет).
• Кейт А. Гоутман; А. Дэвид Уитвам; А. Маниваннан; Джон А. Олсон; Питер Ф. Шарп. Нормализация цвета изображений сетчатки (PDF) (Отчет).

Внешние ссылки

• Улучшение изображения с помощью контрастного преобразования. Архивировано 18 января 2012 г. в Wayback Machine.
• Постоянство цвета MIT