В информационных технологиях сжатие с потерями или необратимое сжатие — это класс методов сжатия данных , который использует неточную аппроксимацию и частичное удаление данных для представления контента. Эти методы используются для уменьшения размера данных для хранения, обработки и передачи контента. Различные версии фотографии кота на этой странице показывают, как более высокие степени приближения создают более грубые изображения по мере удаления большего количества деталей. Это противоположно сжатию данных без потерь (обратимому сжатию данных), которое не ухудшает качество данных. Степень сжатия данных, возможная при использовании сжатия с потерями, намного выше, чем при использовании методов без потерь.
Хорошо разработанная технология сжатия с потерями часто значительно уменьшает размер файлов до того, как конечный пользователь заметит ухудшение качества. Даже если это заметно пользователю, может быть желательно дальнейшее сокращение объема данных (например, для связи в реальном времени или для сокращения времени передачи или потребностей в хранении). Наиболее широко используемый алгоритм сжатия с потерями — это дискретное косинусное преобразование (DCT), впервые опубликованное Насиром Ахмедом , Т. Натараджаном и К. Р. Рао в 1974 году.
Сжатие с потерями чаще всего используется для сжатия мультимедийных данных ( аудио , видео и изображений ), особенно в таких приложениях, как потоковое мультимедиа и интернет-телефония . Напротив, сжатие без потерь обычно требуется для текстовых файлов и файлов данных, таких как банковские записи и текстовые статьи. Может оказаться выгодным создать мастер-файл без потерь , который затем можно будет использовать для создания дополнительных копий. Это позволяет избежать создания новых сжатых копий на основе исходного файла с потерями, что может привести к дополнительным артефактам и дальнейшей ненужной потере информации.
Многие типы цифровых данных можно сжимать таким образом, чтобы уменьшить размер компьютерного файла, необходимого для их хранения, или полосу пропускания , необходимую для их передачи, без потери полной информации, содержащейся в исходном файле. Например, изображение преобразуется в цифровой файл, рассматривая его как массив точек и определяя цвет и яркость каждой точки. Если картинка содержит область одного цвета, ее можно сжать без потерь, сказав «200 красных точек» вместо «красная точка, красная точка,...(еще 197 раз)..., красная точка».
Исходные данные содержат определенный объем информации, и существует нижний предел размера файла, который может содержать всю информацию. Базовая теория информации утверждает, что существует абсолютный предел уменьшения размера этих данных. Когда данные сжимаются, их энтропия увеличивается, и она не может увеличиваться бесконечно. Например, сжатый ZIP- файл меньше исходного, но повторное сжатие одного и того же файла не уменьшит его размер до нуля. Большинство алгоритмов сжатия могут распознать, когда дальнейшее сжатие будет бессмысленным и фактически приведет к увеличению размера данных.
Во многих случаях файлы или потоки данных содержат больше информации, чем необходимо. Например, изображение может содержать больше деталей, чем может различить глаз при воспроизведении в максимально возможном размере; Аналогично, аудиофайлу не требуется много мелких деталей во время очень громкого отрывка. Разработка методов сжатия с потерями, максимально соответствующих человеческому восприятию, является сложной задачей. Иногда идеалом является файл, который обеспечивает точно такое же восприятие, что и оригинал, но с удаленным как можно большим количеством цифровой информации; в других случаях ощутимая потеря качества считается допустимым компромиссом.
Термины «необратимый» и «обратимый» предпочтительнее «с потерями» и «без потерь» соответственно для некоторых приложений, таких как сжатие медицинских изображений, чтобы обойти негативные последствия «потери». Тип и объем потерь могут повлиять на полезность изображений. Артефакты или нежелательные эффекты сжатия могут быть четко различимы, но результат по-прежнему будет полезен для намеченной цели. Либо изображения, сжатые с потерями, могут быть « без визуальных потерь », либо, в случае медицинских изображений, может быть применено так называемое диагностически приемлемое необратимое сжатие (DAIC) [1] .
Некоторые формы сжатия с потерями можно рассматривать как применение кодирования с преобразованием , которое представляет собой тип сжатия данных, используемый для цифровых изображений , цифровых аудиосигналов и цифрового видео . Преобразование обычно используется для обеспечения лучшего (более целенаправленного) квантования . Знания приложения используются для выбора информации, которую следует отбросить, тем самым снижая пропускную способность . Оставшуюся информацию затем можно сжать различными методами. Когда выходные данные декодируются, результат может не быть идентичен исходному входному, но ожидается, что он будет достаточно близок для целей приложения.
Наиболее распространенной формой сжатия с потерями является метод кодирования с преобразованием, дискретное косинусное преобразование (DCT), [2] которое было впервые опубликовано Насиром Ахмедом , Т. Натараджаном и К. Р. Рао в 1974 году. [3] DCT является наиболее широко используемым. форма сжатия с потерями для популярных форматов сжатия изображений (таких как JPEG ), [4] стандартов кодирования видео (таких как MPEG и H.264/AVC ) и форматов сжатия звука (таких как MP3 и AAC ).
В случае аудиоданных популярной формой кодирования с преобразованием является перцепционное кодирование , которое преобразует необработанные данные в область, более точно отражающую информационное содержание. Например, вместо того, чтобы выражать звуковой файл как уровни амплитуды с течением времени, его можно выразить как частотный спектр с течением времени, что более точно соответствует восприятию звука человеком. Хотя сокращение данных (сжатие с потерями или без потерь) является основной целью кодирования с преобразованием, оно также позволяет достичь и других целей: можно более точно представить данные для исходного объема пространства [5] – например, в принципе, если начинается с аналогового или цифрового мастера высокого разрешения , файл MP3 заданного размера должен обеспечивать лучшее представление, чем необработанный несжатый звук в файле WAV или AIFF того же размера. Это связано с тем, что несжатый звук может уменьшить размер файла только за счет снижения скорости передачи данных или глубины, тогда как сжатие звука может уменьшить размер, сохраняя при этом скорость передачи данных и глубину. Такое сжатие приводит к выборочной потере наименее значимых данных, а не к потере данных по всем направлениям. Кроме того, кодирование с преобразованием может обеспечить лучшую область для манипулирования или иного редактирования данных — например, выравнивание звука наиболее естественно выражается в частотной области (например, усиление басов), а не в необработанной временной области.
С этой точки зрения, перцепционное кодирование по существу заключается не в отбрасывании данных, а, скорее, в их лучшем представлении . Другое использование - для обратной совместимости и плавного ухудшения : в цветном телевидении кодирование цвета через домен преобразования яркость - цветность (например, YUV ) означает, что черно-белые наборы отображают яркость, игнорируя при этом информацию о цвете. Другим примером является субдискретизация цветности : использование цветовых пространств , таких как YIQ , используемых в NTSC , позволяет уменьшить разрешение компонентов в соответствии с человеческим восприятием — люди имеют самое высокое разрешение для черно-белых изображений (яркость), более низкое разрешение. для цветов среднего спектра, таких как желтый и зеленый, и самого низкого для красного и синего — таким образом, NTSC отображает примерно 350 пикселей яркости на строку сканирования , 150 пикселей желтого по сравнению с зеленым и 50 пикселей синего по сравнению с красным, что пропорционально человеческому цвету. чувствительность к каждому компоненту.
Форматы сжатия с потерями страдают от потерь при генерации : многократное сжатие и распаковка файла приведет к постепенной потере его качества. В этом отличие от сжатия данных без потерь , при котором данные не будут потеряны при использовании такой процедуры. Теоретико-информационные основы сжатия данных с потерями обеспечиваются теорией искажения скорости . Подобно использованию вероятности в теории оптимального кодирования, теория искажения скорости в значительной степени опирается на байесовскую теорию оценки и теории принятия решений для моделирования искажений восприятия и даже эстетических суждений.
Существует две основные схемы сжатия с потерями:
В некоторых системах эти два метода комбинируются, при этом кодеки преобразования используются для сжатия сигналов ошибок, генерируемых на этапе прогнозирования.
Преимущество методов с потерями перед методами без потерь заключается в том, что в некоторых случаях метод с потерями может создать сжатый файл гораздо меньшего размера, чем любой метод без потерь, при этом удовлетворяя требованиям приложения. Методы с потерями чаще всего используются для сжатия звука, изображений или видео. Это связано с тем, что эти типы данных предназначены для интерпретации человеком, где разум может легко «заполнить пробелы» или увидеть прошлые очень незначительные ошибки или несоответствия — в идеале сжатие с потерями является прозрачным (незаметным), что можно проверить с помощью теста ABX . Файлы данных, использующие сжатие с потерями, имеют меньший размер и, следовательно, требуют меньше затрат на хранение и передачу через Интернет, что является решающим фактором для служб потокового видео, таких как Netflix , и служб потокового аудио , таких как Spotify .
Исследование, проведенное Библиотекой аудиотехники, пришло к выводу, что форматы сжатия с потерями с более низкой скоростью передачи данных (112 кбит/с), такие как MP3, оказывают отчетливое влияние на тембральные и эмоциональные характеристики, имея тенденцию усиливать отрицательные эмоциональные качества и ослаблять положительные. [6] Исследование также отметило, что труба является инструментом, больше всего подверженным компрессии, а валторна — меньше всего.
Когда пользователь получает файл, сжатый с потерями (например, для сокращения времени загрузки), полученный файл может сильно отличаться от оригинала на битовом уровне , но для большинства практических целей он неотличим для человеческого уха или глаза. Многие методы сжатия ориентированы на особенности физиологии человека , принимая во внимание, например, что человеческий глаз может видеть только определенные длины волн света. Психоакустическая модель описывает, как звук может быть сильно сжат без ухудшения воспринимаемого качества. Дефекты, вызванные сжатием с потерями и заметные человеческому глазу или уху, известны как артефакты сжатия .
Степень сжатия (то есть размер сжатого файла по сравнению с размером несжатого файла) видеокодеков с потерями почти всегда намного превосходит аналогичный показатель для аудио и неподвижных изображений.
Важным предостережением относительно сжатия с потерями (формально перекодирования) является то, что редактирование файлов, сжатых с потерями, приводит к потере цифрового поколения из-за перекодирования. Этого можно избежать, создавая файлы с потерями только из оригиналов (без потерь) и редактируя только (копии) исходных файлов, таких как изображения в формате RAW вместо JPEG . Если данные, сжатые с потерями, декодируются и сжимаются без потерь, размер результата может быть сопоставим с размером данных до сжатия с потерями, но уже потерянные данные не могут быть восстановлены. Если вы решите использовать преобразование с потерями без сохранения оригинала, в будущем может потребоваться преобразование формата для достижения совместимости с программным обеспечением или устройствами ( сдвиг формата ) или для того, чтобы избежать уплаты патентных отчислений за декодирование или распространение сжатых файлов.
Путем непосредственного изменения сжатых данных без декодирования и повторного кодирования возможно некоторое редактирование файлов, сжатых с потерями, без ухудшения качества. Иногда также возможно редактирование, уменьшающее размер файла, как если бы он был сжат в большей степени, но без больших потерь.
Основными программами для редактирования файлов JPEG без потерь являются jpegtran, а также производные программы exiftran(которые также сохраняют информацию Exif ) и Jpegcrop (который предоставляет интерфейс Windows).
Они позволяют обрезать , вращать, переворачивать и переворачивать изображение или даже преобразовывать его в оттенки серого (путем удаления канала цветности ). Хотя нежелательная информация уничтожается, качество оставшейся части остается неизменным.
В некоторой степени возможны и другие преобразования, такие как объединение изображений с одинаковой кодировкой (составление рядом, как в сетке) или вставка изображений, таких как логотипы, в существующие изображения (оба через Jpegjoin) или масштабирование. [7]
Некоторые изменения можно внести в сжатие без перекодирования:
Бесплатная программа IrfanView, предназначенная только для Windows, имеет в своем JPG_TRANSFORM плагине некоторые операции с JPEG без потерь .
Метаданные, такие как теги ID3 , комментарии Vorbis или информация Exif , обычно можно изменить или удалить без изменения базовых данных.
Можно пожелать понизить дискретизацию или иным образом уменьшить разрешение представленного исходного сигнала и количество данных, используемых для его сжатого представления без повторного кодирования, как при очистке битрейта , но эта функция поддерживается не во всех конструкциях, поскольку не все кодеки кодируют данные в такой форме, которая позволяет просто исключить менее важные детали. Некоторые известные разработки, обладающие такой возможностью, включают JPEG 2000 для неподвижных изображений и масштабируемое кодирование видео на основе H.264/MPEG-4 AVC для видео. Такие схемы также были стандартизированы и для более старых проектов, таких как изображения JPEG с прогрессивным кодированием и видео MPEG-2 и MPEG-4 Part 2 , хотя эти предыдущие схемы имели ограниченный успех с точки зрения внедрения в обычное реальное использование. Без этой возможности, которая часто имеет место на практике, для создания представления с более низким разрешением или меньшей точностью, чем заданное, нужно начинать с исходного исходного сигнала и кодировать, или начинать со сжатого представления, а затем распаковывать и повторно -кодировать его ( транскодирование ), хотя последнее имеет тенденцию вызывать потерю цифрового поколения .
Другой подход заключается в кодировании исходного сигнала с несколькими разными битрейтами, а затем либо выборе того, какой из них использовать (как при потоковой передаче через Интернет – как в «SureStream» RealNetworks – или предложении различных загрузок, как в iTunes Store от Apple ), либо в широковещательном режиме. несколько, где используется лучшее, что успешно получено, как в различных реализациях иерархической модуляции . Подобные методы используются в MIP-картах , пирамидальных представлениях и более сложных методах масштабного пространства . Некоторые аудиоформаты представляют собой комбинацию формата с потерями и коррекции без потерь, которые при объединении воспроизводят исходный сигнал; исправление можно удалить, оставив файл меньшего размера, сжатый с потерями. К таким форматам относятся MPEG-4 SLS (Scalable to Lossless), WavPack , OptimFROG DualStream и DTS-HD Master Audio в режиме без потерь (XLL) .
Исследователи выполнили сжатие текста с потерями, используя тезаурус для замены длинных слов короткими или методы генеративного текста , [15] , хотя они иногда попадают в соответствующую категорию преобразования данных с потерями .
Общий вид сжатия с потерями заключается в понижении разрешения изображения, как при масштабировании изображения , в частности, прореживании . Также можно удалить менее «нижние информационные» части изображения, например, путем вырезания шва . Многие медиапреобразования, такие как размытие по Гауссу , как и сжатие с потерями, необратимы: исходный сигнал невозможно восстановить из преобразованного сигнала. Однако в целом они будут иметь тот же размер, что и оригинал, и не являются формой сжатия. Понижение разрешения имеет практическое применение, поскольку корабль НАСА «Новые горизонты» передал миниатюры своей встречи с Плутоном-Хароном, прежде чем отправить изображения с более высоким разрешением. Другим решением для медленных соединений является использование чересстрочной развертки изображений , которая постепенно определяет изображение. Таким образом, частичной передачи достаточно для предварительного просмотра окончательного изображения в версии с более низким разрешением без создания масштабированной и полной версии. [ нужна цитата ]