Inpainting — это процесс консервации , при котором поврежденные, испорченные или отсутствующие части произведения искусства заполняются для представления полного изображения. [1] Этот процесс обычно используется при реставрации изображений . Его можно применять как к физическим, так и к цифровым художественным носителям, таким как масляные или акриловые картины, химические фотоотпечатки , скульптуры или цифровые изображения и видео .
Традиционная роспись, корни которой лежат в физическом искусстве, таком как живопись и скульптура, выполняется опытным реставратором , который тщательно изучает произведение искусства, чтобы определить используемые в нем материалы и методы, потенциальные риски обработки и этическую целесообразность обработки.
Современное использование inpainting можно проследить до Пьетро Эдвардса (1744–1821), директора реставрации публичных картин в Венеции , Италия . Используя научный подход, Эдвардс сосредоточил свои усилия по реставрации на намерениях художника. [2]
Именно во время Международной конференции по изучению научных методов экспертизы и сохранения произведений искусства 1930 года был установлен современный подход к подрисовке. Хельмут Руэманн (1891–1973), немецкий реставратор и консерватор, возглавил дискуссии об использовании подрисовки в реставрации. Хельмут Руэманн был ведущей фигурой в модернизации реставрации и консервации. [3] Его величайшим вкладом в область консервации «было его настойчивое стремление точно следовать методам оригинального художника и понимать художественный замысел художника». [4] После более чем 40 лет работы реставратором, Руэманн опубликовал свой трактат «Очистка картин: проблемы и возможности» в 1968 году. Описывая свой метод, Руэманн утверждает, что «Поверхность [заливки] должна быть немного ниже, чем окружающая краска, чтобы обеспечить толщину подрисовываемого материала... Подрисовываемый материал должен выглядеть и вести себя как исходный материал, но не должен темнеть со временем». [5] Чезаре Бранди (1906–1988) разработал теорию реставрации , подход к подрисовыванию, сочетающий эстетику и психологию. Однако этот подход использовался в основном итальянскими реставраторами и консерваторами, и эта терминология стала широко распространенной в 1990-х годах. [6]
Технологические достижения привели к новым применениям inpainting. Широкое использование цифровых методов варьируется от полностью автоматизированной компьютеризированной inpainting до инструментов, используемых для ручного моделирования процесса. [7] С середины 1990-х годов процесс inpainting эволюционировал, включив в себя цифровые медиа . Более известная как интерполяция изображений или видео, форма оценки, цифровая inpainting включает использование компьютерного программного обеспечения , которое полагается на сложные алгоритмы для замены потерянных или поврежденных частей данных изображения.
Чтобы сохранить целостность оригинального произведения искусства, любая техника или обработка, применяемая к физическому или цифровому произведению, должна быть обратимой или отличимой от оригинального содержания произведения искусства. [8] Перед любой обработкой реставраторы действуют в соответствии с Американским институтом консервации исторических и художественных произведений. [9]
Существует несколько этических соображений, прежде чем Inpainting может быть оправдан. Различные решения по поводу этической целесообразности объема и типа выполненной inpainting зависят от многих факторов. Как и большинство методов консервации, этические вопросы inpainting в основном касаются подлинности , обратимости и документирования .
Любое вмешательство для компенсации потери должно быть задокументировано в записях и отчетах по лечению и должно быть обнаружено с помощью обычных методов обследования. Такая компенсация должна быть обратимой и не должна ложно изменять известные эстетические, концептуальные и физические характеристики культурной собственности, особенно путем удаления или сокрытия оригинального материала. [10]
Новые технологии и эстетический спрос на идеальные изображения без изъянов бросают вызов этическим практикам реставраторов по защите целостности оригиналов. [11]
Методы и приемы Inpainting зависят от желаемой цели и типа обрабатываемого изображения. Обработки для заполнения пробелов различаются в физическом и цифровом искусстве. В inpainting подробные записи начального состояния изображений могут помочь в обработке и повторении оригинала.
Inpainting основан на консервации и реставрации картин . Inpainting может быть направлен на визуальное улучшение всего произведения искусства путем восстановления отсутствующих или поврежденных частей с использованием методов и материалов, эквивалентных оригинальной работе художника. [12]
Изучая методы живописи разных художников и исторически используемый состав красок, реставраторы способны восстанавливать работы очень близко к их первоначальному внешнему виду. Картина в целом определяет, как заполнить пробел.
Методы ин-картин Хельмута Рухеманна, разработанные Джесселлом, позволяют «сохранить» качество масляной и темперной живописи . [13]
Многие программы способны восстанавливать отсутствующие или поврежденные области цифровых фотографий и видео. Наиболее широко известной программой для работы с цифровыми изображениями является Adobe Photoshop . Учитывая различные возможности цифровой камеры и оцифровку старых фотографий, inpainting стал автоматическим процессом, который можно выполнять на цифровых изображениях. Методы inpainting можно применять для удаления объектов, удаления текста и других автоматических изменений изображений и видео.
В видеоспециальных эффектах inpainting обычно выполняется после видеоматирования . Их также можно наблюдать в таких приложениях, как сжатие изображений и сверхвысокое разрешение . В фотографии и кино он используется для восстановления пленки, чтобы обратить вспять, исправить или смягчить ухудшение (например, физическое повреждение, такое как трещины на фотографиях, царапины и пятна пыли на пленке, или химическое повреждение, приводящее к потере изображения; выполняется инфракрасная очистка ). Его также можно использовать для удаления эффекта красных глаз , проштампованной даты с фотографий и объектов для творческого эффекта. Этот метод можно использовать для замены любых потерянных блоков при кодировании и передаче изображений, например, в потоковом видео . Его также можно использовать для удаления логотипов или водяных знаков в видео.
Глубокое обучение нейронной сети -inpainting может использоваться для децензурирования изображений. [14] Глубокие методы, основанные на априорном изображении, могут использоваться для цифрового inpainting изображения, когда обученная модель глубокого обучения либо недоступна, либо невыполнима.
В литературе можно найти три основные группы алгоритмов 2D-изображений-inpainting. Первая, которую следует отметить, — это структурная (или геометрическая) inpainting, вторая — текстурная inpainting, последняя — это комбинация этих двух методов. Они используют информацию известных или неразрушенных областей изображения для заполнения пробелов, подобно тому, как восстанавливаются физические изображения.
Структурная или геометрическая инкартировка используется для гладких изображений, которые имеют четкие, определенные границы. [15] Существует много различных подходов к геометрической инкартировке, но все они исходят из идеи, что геометрию можно восстановить из похожих областей или доменов. Бертальмио [15] предложил метод структурной инкартировки, который имитирует то, как консерваторы подходят к реставрации живописи. Бертальмио предположил, что путем постепенного переноса похожей информации от границ области инкартировки внутрь можно заполнить пробел. [16]
В то время как структурная/геометрическая инрисовка работает для восстановления гладких изображений, текстурная инрисовка лучше всего работает с изображениями, которые сильно текстурированы. [17] Текстура имеет повторяющийся рисунок, что означает, что недостающую часть нельзя восстановить, продолжив линии уровня в зазор; линии уровня обеспечивают полное, стабильное представление изображения. [16] Чтобы восстановить текстуру на изображении, можно объединить частотную и пространственную информацию, чтобы заполнить выбранную область желаемой текстурой. Этот метод, хотя и самый простой и очень эффективный, хорошо работает при выборе текстуры для инрисовки. Для текстуры, которая покрывает более широкую область или больший кадр, нужно будет пройти по изображению, сегментируя области для инрисовки и выбирая соответствующие текстуры по всему изображению; существуют программы, которые могут помочь найти соответствующие области, которые работают аналогично тому, как «найти и заменить» работает в текстовом процессоре. [18]
Комбинированные структурные и текстурные подходы к закрашиванию одновременно пытаются выполнить текстурное и структурное заполнение областей с отсутствующей информацией изображения. Большинство частей изображения состоят из текстуры и структуры, а границы между областями изображения содержат большой объем структурной информации. Это результат смешивания различных текстур вместе. Вот почему некоторые современные методы пытаются объединить структурное и текстурное закрашивание.
Более традиционный метод заключается в использовании дифференциальных уравнений (например, уравнения Лапласа ) с граничными условиями Дирихле для непрерывности, чтобы создать, казалось бы, бесшовную подгонку. Это хорошо работает, если недостающая информация лежит в однородной части области объекта. [19]
Другие методы следуют изофотным направлениям (на изображении контур одинаковой яркости) для выполнения зарисовки. [20]
Модель на основе inpainting следует байесовскому подходу , для которого недостающая информация наилучшим образом подгоняется или оценивается из комбинации моделей базовых изображений, а также фактически наблюдаемых данных изображения. На детерминированном языке это привело к различным вариационным моделям inpainting. [21]
Ручные компьютерные методы включают использование инструмента клонирования для копирования существующих частей изображения для восстановления поврежденной текстуры. Также может использоваться синтез текстуры . [22]
Образцовая инрисовка изображений пытается автоматизировать процесс инструмента клонирования. Она заполняет «дыры» в изображении, ища похожие участки в близлежащей исходной области изображения и копируя пиксели из наиболее похожего участка в отверстие. Выполняя заливку на уровне участков, а не на уровне пикселей, алгоритм уменьшает артефакты размытия, вызванные предыдущими методами. [23] [24]