Inpainting — это процесс консервации , при котором поврежденные, испорченные или недостающие части произведения искусства заполняются, чтобы представить законченное изображение. [1] Этот процесс обычно используется при восстановлении изображений . Его можно применять как к физическим, так и к цифровым художественным средам , таким как картины маслом или акрилом , химические фотографические отпечатки , скульптуры или цифровые изображения и видео .
Традиционная живопись, основанная на физических произведениях искусства, таких как живопись и скульптура, выполняется обученным реставратором, который тщательно изучил произведение искусства, чтобы определить средства и методы, используемые в произведении, потенциальные риски лечения и этическую приемлемость лечения.
Современное использование живописи восходит к Пьетро Эдвардсу (1744–1821), директору по реставрации общественных картин в Венеции , Италия . Используя научный подход, Эдвардс сосредоточил свои реставрационные усилия на намерениях художника. [2]
Именно во время Международной конференции 1930 года по изучению научных методов исследования и сохранения произведений искусства был установлен современный подход к живописи. Гельмут Руэманн (1891–1973), немецкий реставратор и реставратор, возглавил дискуссии об использовании живописи в консервации. Гельмут Руэманн был ведущей фигурой в модернизации реставрации и консервации. [3] Его величайшим вкладом в область консервации «было его настойчивое стремление точно следовать методам оригинального художника и понимать художественный замысел художника». [4] После своей более чем 40-летней карьеры реставратора Руэманн опубликовал в 1968 году свой трактат « Очистка картин: проблемы и возможности». Описывая свой метод, Руэманн утверждает, что «поверхность [заливки] должна быть немного ниже, чем толщина окружающей краски, чтобы обеспечить толщину рисунка... Материал для рисования должен выглядеть и вести себя как исходный материал, но не должен темнеть с возрастом». [5] Чезаре Бранди (1906–1988) разработал теорию восстановления , подход к живописи, сочетающий эстетику и психологию. Однако этот подход использовали в первую очередь итальянские реставраторы и реставраторы, а в 1990-е годы эта терминология получила широкое распространение. [6]
Технологические достижения привели к новым применениям живописи. Широкое использование цифровых технологий варьируется от полностью автоматического компьютеризированного рисования до инструментов, используемых для моделирования процесса вручную. [7] С середины 1990-х годов процесс рисования стал включать в себя цифровые медиа . Цифровое рисование, более известное как интерполяция изображения или видео, форма оценки, включает использование компьютерного программного обеспечения , которое использует сложные алгоритмы для замены потерянных или поврежденных частей данных изображения.
Чтобы сохранить целостность оригинального произведения искусства, любая техника или обработка живописи, применяемая к физическому или цифровому произведению, должна быть обратимой или отличаться от исходного содержания произведения искусства. [8] Прежде чем приступать к какой-либо обработке, реставраторы действуют в соответствии с рекомендациями Американского института консервации исторических и художественных произведений. [9]
Прежде чем Inpainting может быть оправдан, необходимо учитывать несколько этических соображений. Различные решения по обсуждению этической целесообразности количества и типа выполненной живописи зависят от многих факторов. Как и большинство методов консервации, этические вопросы живописи связаны главным образом с аутентичностью , обратимостью и документацией .
«Любое вмешательство, направленное на компенсацию утраты, должно быть задокументировано в записях и отчетах об обработке и должно выявляться с помощью обычных методов обследования. Такая компенсация должна быть обратимой и не должна ложно изменять известные эстетические, концептуальные и физические характеристики культурных ценностей, особенно путем удаление или скрытие исходного материала». [10]
В эпоху музейного туризма новые технологии и эстетический спрос на идеальные изображения без недостатков продолжают бросать вызов этическим практикам реставраторов по защите целостности оригиналов. [11]
Техника метода рисования зависит от желаемой цели и типа обрабатываемого изображения. Методы заполнения пробелов в физическом и цифровом искусстве сильно различаются.
При всех применениях живописи важно вести подробные записи об исходном состоянии изображений, выполненных обработках и обосновании обработки, а также оригинальных копий, когда это применимо (например, оригинальных цифровых изображений).
Инписьйство основано на реставрации нарисованных изображений. При консервации и реставрации картин «термин «живопись» относится к компенсации потерь краски, направленной на восстановление композиции недостающих частей изображения с целью улучшить его восприятие, сделав повреждения менее заметными». [12] Другими словами, рисование направлено на визуальное улучшение произведения искусства в целом путем ремонта недостающих или поврежденных частей с использованием методов и материалов, эквивалентных оригинальной работе художника.
Изучая методы рисования различных художников, состав красок, использовавшихся исторически, и уделяя время тщательному изучению среды, с которой работает художник, реставраторы могут, используя целый ряд методологий, очень точно восстановить произведения до их первоначального визуального вида. .
Другие советы по рисованию:
Книга Джесселла «Техники рисования» Хельмута Рухемана наполнена выбором техник и процедур, позволяющих «сохранить» качество масляных и ранних картин, написанных темперой. [13]
Многие программы способны восстанавливать отсутствующие или поврежденные участки цифровых фотографий и видео. Наиболее широко известен для использования с цифровыми изображениями Adobe Photoshop . Поскольку цифровые файлы можно дублировать, любые восстановительные изменения следует вносить в дубликат файла, сохраняя при этом исходные файлы в архиве. Учитывая различные возможности цифровой камеры и оцифровку старых фотографий, рисование стало автоматическим процессом, который можно выполнять на цифровых изображениях. Техники рисования можно применять не только для простого удаления царапин, но и для удаления объектов, текста и других автоматических модификаций изображений и видео. В видео спецэффектах раскраска обычно выполняется после матирования видео . Кроме того, их также можно наблюдать в таких приложениях, как сжатие изображений и суперразрешение .
В фотографии и кино он используется для восстановления пленки с целью обратить вспять, исправить или смягчить износ (например, физические повреждения, такие как трещины на фотографиях или царапины и пятна пыли на пленке, или химическое повреждение, приводящее к потере изображения; см. инфракрасную очистку ). Его также можно использовать для устранения эффекта красных глаз , отметки даты на фотографиях и удаления объектов для создания творческого эффекта.
Данную методику можно использовать для замены любых потерянных блоков при кодировании и передаче изображений, например, в потоковом видео . Его также можно использовать для удаления логотипов в видео.
Inpainting на основе нейронных сетей глубокого обучения можно использовать для децензурирования изображений. [14]
Методы, основанные на Deep Image Prior, могут использоваться для рисования цифровых изображений, когда обученная модель глубокого обучения либо недоступна, либо неосуществима.
В литературе можно найти три основные группы алгоритмов рисования 2D-изображений. В первую очередь следует отметить структурную (или геометрическую) роспись, вторую – текстурную роспись, а последнюю – комбинацию этих двух техник. У всех этих методов зарисовки есть одна общая черта: они используют информацию об известных или неразрушенных областях изображения, чтобы заполнить пробел, аналогично тому, как восстанавливаются физические изображения.
Структурная или геометрическая роспись используется для плавных изображений с четкими и четкими границами. [15] Существует много разных подходов к геометрическому рисованию, но все они основаны на одной и той же идее, что геометрию можно восстановить из аналогичных областей или областей. Бертальмио [15] предложил метод структурной живописи, который имитирует то, как реставраторы занимаются реставрацией живописи. Бертальмио предположил, что, постепенно передавая подобную информацию от границ области рисования внутрь, этот пробел можно заполнить. [16]
В то время как структурная/геометрическая прорисовка помогает восстановить гладкие изображения, текстурная прорисовка лучше всего работает с изображениями с сильной текстурой. [17] Текстура имеет повторяющийся рисунок, что означает, что недостающую часть нельзя восстановить, продолжая линии уровня в зазор; Линии уровня обеспечивают полное и стабильное представление изображения. [18] Чтобы восстановить текстуру изображения, можно объединить информацию о частоте и пространственной области, чтобы заполнить выбранную область желаемой текстурой. Этот метод, хотя и самый простой и очень эффективный, хорошо работает при выборе текстуры для прорисовки. Для текстуры, которая покрывает более широкую область или больший кадр, придется пройти через изображение, сегментировав области, которые нужно закрасить, и выбрать соответствующие текстуры по всему изображению; существуют программы, которые могут помочь найти соответствующие области, которые работают аналогично тому, как «найти и заменить» работает в текстовом процессоре. [19]
Комбинированные подходы к структурной и текстурной прорисовке одновременно пытаются выполнить текстурное и структурное заполнение областей с отсутствующей информацией изображения. Большая часть изображения состоит из текстуры и структуры, а границы между областями изображения содержат большое количество структурной информации. Это результат смешивания разных текстур вместе. Вот почему современные методы пытаются объединить структурную и текстурную роспись.
Более традиционный метод — использовать дифференциальные уравнения (такие как уравнение Лапласа ) с граничными условиями Дирихле для непрерывности, чтобы создать кажущуюся плавную подгонку. Это хорошо работает, если недостающая информация находится в пределах однородной части области объекта. [20]
Другие методы следуют изофотным направлениям (на изображении контур равной яркости) для рисования. [21]
Закрашивание на основе модели следует байесовскому подходу , при котором недостающая информация лучше всего подбирается или оценивается на основе комбинации моделей базовых изображений, а также фактически наблюдаемых данных изображения. Говоря детерминистским языком, это привело к появлению различных вариационных моделей рисования. [22]
Ручные компьютерные методы включают использование инструмента клонирования для копирования существующих частей изображения для восстановления поврежденной текстуры. Также может быть использован синтез текстур . [23]
Закрашивание изображений на основе образцов пытается автоматизировать процесс клонирования. Он заполняет «дыры» в изображении, ища похожие участки в ближайшей исходной области изображения и копируя пиксели из наиболее похожего участка в дыру. Выполняя заливку на уровне патча, а не на уровне пикселей, алгоритм уменьшает артефакты размытия, вызванные предыдущими методами. [24] [25]