stringtranslate.com

Частота кадров

Частота кадров (обычно выражается вкадров в секунду илиFPS) — это обычночастота(скорость), с которойзахватываются или отображаютсяизображения(кадрыЭто определение применимо ккино-ивидеокамерам,компьютерной анимацииизахвата движения. В этих контекстах частота кадров может использоваться взаимозаменяемо счастота кадров ичастота обновления, которые выражаются вгерцах. Кроме того, в контексте производительности компьютерной графики FPS — это скорость, с которой система, особенно графическийпроцессор, способна генерировать кадры, а частота обновления — это частота, с которой дисплей показывает завершенные кадры. [1]В спецификациях электронных камер под частотой кадров понимается максимально возможная частота кадров, но на практике другие настройки (например, время экспозиции) могут уменьшить фактическую частоту до меньшего числа, чем частота кадров.

Человеческое видение

Временная чувствительность и разрешающая способность человеческого зрения варьируются в зависимости от типа и характеристик зрительного стимула и различаются у разных людей. Зрительная система человека может обрабатывать от 10 до 12 изображений в секунду и воспринимать их индивидуально, тогда как более высокие скорости воспринимаются как движение. [2] Модулированный свет (например, от монитора компьютера ) большинство участников исследований воспринимает как стабильный, если его частота превышает 50 Гц. Такое восприятие модулированного света как устойчивого известно как порог слияния мерцаний . Однако, когда модулированный свет неоднороден и содержит изображение, порог слияния мельканий может быть намного выше — сотни герц. [3] Что касается распознавания изображений , было обнаружено, что люди узнают конкретное изображение в непрерывной серии различных изображений, каждое из которых длится всего 13 миллисекунд. [4] Стойкость зрения иногда объясняется очень короткими зрительными стимулами длительностью в одну миллисекунду, имеющим воспринимаемую продолжительность от 100 до 400 мс. Множественные очень короткие стимулы иногда воспринимаются как один стимул, например, зеленая вспышка света длительностью 10 мс, за которой сразу же следует красная вспышка света длительностью 10 мс, воспринимаемая как одиночная желтая вспышка света. [5]

Фильм и видео

Немое кино

В ранних немых фильмах частота кадров составляла от 16 до 24 кадров в секунду (fps), [6] но, поскольку камеры приводились вручную, частота часто менялась во время сцены, чтобы соответствовать настроению. Киномеханики также могли изменять частоту кадров в кинотеатре, регулируя реостат, управляющий напряжением, питающим механизм подачи пленки в проекторе . [7] Кинокомпании часто хотели, чтобы в кинотеатрах показывали немые фильмы с более высокой частотой кадров, чем при их съемке. [8] Такой частоты кадров было достаточно для ощущения движения, но оно воспринималось как прерывистое движение. Чтобы свести к минимуму воспринимаемое мерцание, в проекторах использовались двух- и трехлепестковые затворы , поэтому каждый кадр отображался два или три раза, что увеличивало частоту мерцания до 48 или 72 герц и снижало нагрузку на глаза. Томас Эдисон сказал, что 46 кадров в секунду — это минимум, необходимый глазу для восприятия движения: «Все, что меньше, будет напрягать глаз». [9] [10] В середине-конце 1920-х годов частота кадров в немом кино увеличилась до 20–26 кадров в секунду. [9]

Звуковой фильм

Когда в 1926 году была представлена ​​звуковая пленка , изменения светочувствительности пленки больше не допускались, поскольку человеческое ухо более чувствительно, чем глаз, к изменениям частоты. Многие кинотеатры показывали немое кино со скоростью от 22 до 26 кадров в секунду, поэтому индустрия в качестве компромисса выбрала 24 кадра в секунду для звукового кино. [11] С 1927 по 1930 год, когда различные студии обновляли оборудование, скорость 24 кадра в секунду стала стандартной для 35-мм звукового фильма. [2] При скорости 24 кадра в секунду фильм проходит через проектор со скоростью 456 миллиметров (18,0 дюймов) в секунду. Это позволило простым двухлопастным ставням давать проецируемую серию изображений со скоростью 48 в секунду, что соответствовало рекомендации Эдисона. Многие современные 35-мм кинопроекторы используют трехлепестковые затворы, обеспечивающие скорость 72 изображения в секунду — каждый кадр отображается на экране трижды. [9]

Анимация

Этот мультипликационный мультфильм о скачущей лошади отображается со скоростью 12 рисунков в секунду, а быстрое движение почти недопустимо дергается.

В рисованной анимации движущиеся персонажи часто снимаются «по двое», то есть на каждые два кадра фильма показывается один рисунок (который обычно идет со скоростью 24 кадра в секунду), то есть в секунду происходит всего 12 рисунков. [12] Несмотря на низкую скорость обновления изображения, плавность изображения является удовлетворительной для большинства объектов. Однако, когда персонажу требуется выполнить быстрое движение, обычно необходимо вернуться к анимации «на единицах», поскольку «двойки» слишком медленны, чтобы адекватно передать движение. Сочетание этих двух технологий обманывает глаз без ненужных производственных затрат. [13]

Анимация для большинства « субботних утренних мультфильмов » производилась максимально дешево и чаще всего снималась на «тройки» или даже «четверки», т. е. три-четыре кадра на рисунок. Это означает всего 8 или 6 рисунков в секунду соответственно. Аниме также обычно рисуется на тройках или двойках. [14] [15]

Современные стандарты видео

Из-за частоты сети электросетей аналоговое телевещание было развито с частотой кадров 50 Гц (большая часть мира) или 60 Гц (Канада, США, Япония, Южная Корея). Частота электросети была чрезвычайно стабильной и поэтому ее было логично использовать для синхронизации.

Внедрение технологии цветного телевидения привело к необходимости снизить частоту 60 кадров в секунду на 0,1%, чтобы избежать « ползания точек » — артефакта отображения, появляющегося на устаревших черно-белых дисплеях и проявляющегося на поверхностях с высокой насыщенностью цвета. Было установлено, что за счет снижения частоты кадров на 0,1% нежелательный эффект был сведен к минимуму. [ оригинальное исследование? ]

По состоянию на 2021 год стандарты передачи видео в Северной Америке, Японии и Южной Корее по-прежнему основаны на 60/1,001 ≈ 59,94 изображения в секунду. Обычно используются изображения двух размеров: 1920×1080 («1080i/p») и 1280×720 («720p»). Как ни странно, для чересстрочных форматов обычно указывается половина их частоты изображения, 29,97/25 кадров в секунду, а также удвоенная высота изображения, но эти утверждения являются чисто пользовательскими; в каждом формате создается 60 изображений в секунду. Разрешение 1080i дает 59,94 или 50 изображений 1920×540, каждое из которых сжимается до половины высоты в процессе фотографирования и растягивается обратно, чтобы заполнить экран при воспроизведении на телевизоре. Формат 720p создает 59,94/50 или 29,97/25 изображений 1280×720p без сжатия, поэтому расширение или сжатие изображения не требуется. Эта путаница была широко распространена в отрасли на заре программного обеспечения для цифрового видео: большая часть программного обеспечения была написана неправильно, а разработчики полагали, что каждую секунду ожидалось только 29,97 изображений, что было неверно. Хотя это было правдой, каждый элемент изображения опрашивался и отправлялся только 29,97 раз в секунду, местоположение пикселя непосредственно под ним было опрошено на 1/60 секунды позже, являясь частью совершенно отдельного изображения для следующего кадра длительностью 1/60 секунды. . [ оригинальное исследование? ]

При исходной частоте 24 кадра в секунду фильм не мог отображаться на видео с частотой 60 Гц без необходимого процесса преобразования , что часто приводило к «дрожанию»: чтобы преобразовать 24 кадра в секунду в 60 кадров в секунду, каждый нечетный кадр повторяется, воспроизводясь дважды. при этом каждый четный кадр увеличивается втрое. Это создает неравномерное движение, которое выглядит стробоскопическим. Другие преобразования имеют аналогичное неравномерное удвоение кадров. Новые стандарты видео поддерживают частоту 120, 240 или 300 кадров в секунду, поэтому кадры могут быть равномерно дискретизированы для стандартных частот кадров, таких как фильм с частотой 24, 48 и 60 кадров в секунду или видео с частотой 25, 30, 50 или 60 кадров в секунду. Конечно, эти более высокие частоты кадров также могут отображаться с их исходной частотой. [16] [17]

Технические характеристики электронной камеры

В спецификациях электронных камер под частотой кадров понимается максимально возможная частота кадров, которую можно захватить (например, если время экспозиции было установлено близко к нулю), но на практике другие настройки (например, время экспозиции) могут снизить фактическую частоту до меньшее число, чем частота кадров. [18]

Повышение частоты кадров

Повышение частоты кадров (FRC) — это процесс увеличения временного разрешения видеопоследовательности путем синтеза одного или нескольких промежуточных кадров между двумя последовательными кадрами. Низкая частота кадров приводит к искажениям изображений , резким артефактам движения и ухудшает качество видео. Следовательно, временное разрешение является важным фактором, влияющим на качество видео. Алгоритмы FRC широко используются в приложениях, включая улучшение визуального качества, сжатие видео и создание замедленного видео. [ нужна цитата ]

Видео с низкой частотой кадров
Видео с увеличенной в 4 раза частотой кадров

Методы

Большинство методов FRC можно разделить на методы на основе оптического потока или ядра [19] [20] и методы на основе пиксельных галлюцинаций. [21] [22]

FRC на основе потока

Методы на основе потоков линейно комбинируют предсказанные оптические потоки между двумя входными кадрами для аппроксимации потоков от целевого промежуточного кадра к входным кадрам. Они также предлагают реверс потока (проекцию) для более точного искажения изображения . Более того, существуют алгоритмы, которые дают разные веса перекрывающимся векторам потока в зависимости от глубины объекта сцены через слой проекции потока.

FRC на основе пиксельных галлюцинаций

Методы, основанные на пиксельных галлюцинациях, используют деформируемую свертку с генератором центрального кадра, заменяя оптические потоки векторами смещения. Существуют алгоритмы, которые также интерполируют средние кадры с помощью деформируемой свертки в области признаков. Однако, поскольку эти методы непосредственно галлюцинируют пиксели, в отличие от методов FRC, основанных на потоке, прогнозируемые кадры имеют тенденцию быть размытыми при наличии быстродвижущихся объектов.

Инструменты

Фильтр преобразования частоты кадров AviSynth MSU
Фильтр преобразования частоты кадров AviSynth MSU — это инструмент с открытым исходным кодом , предназначенный для повышения частоты кадров видео. Это увеличивает частоту кадров на целочисленный коэффициент. Он позволяет, например, конвертировать видео с частотой 15 кадров в секунду в видео с частотой 30 кадров в секунду.
Adobe Премьера Про
Adobe Premiere Pro — это коммерческая программа для редактирования видео, которая позволяет замедлять видео с помощью эффектов оптического потока и перераспределения времени для традиционно снятых материалов, чтобы создать более красивое и плавное замедленное движение.
Вегас Про
Vegas Pro также является коммерческой программой для редактирования видео. Также есть способ сделать замедленное видео. Для этого вам нужно выбрать величину движения в вашем видео и проценты скорости воспроизведения.
Топаз Видео Улучшение AI
Topaz Video Enhance AI имеет модель Chronos AI, которая использует глубокое обучение для увеличения частоты кадров видео без артефактов. Этот алгоритм генерирует новые кадры, которые часто неотличимы от кадров, снятых камерой.
Усовершенствованный преобразователь частоты кадров (AFRC)
Основным преимуществом алгоритма AFRC является использование нескольких методов повышения качества, таких как адаптивное маскирование артефактов, обработка черных полос и отслеживание окклюзии:
  • технология адаптивной маскировки артефактов позволяет сделать артефакты менее заметными для глаз, тем самым повышая целостное качество обрабатываемого видео;
  • обработка черных полос позволяет избежать артефактов, которые обычно появляются в интерполированных кадрах, если черные полосы присутствуют вблизи краев кадра;
  • отслеживание окклюзии выполняет качественное восстановление интерполированных кадров вблизи краев в случае наличия движения с направлением к/от края кадра.

Смотрите также

Рекомендации

  1. ↑ Тамаси, Тони (3 декабря 2019 г.). «Что такое частота кадров и почему она важна для компьютерных игр?» . Проверено 12 февраля 2023 г.
  2. ^ ab Рид, Пол; Мейер, Марк-Пол; Группа компаний «Гамма» (2000). Реставрация кинопленки. Реставрация и музеология. Баттерворт-Хайнеманн. стр. 24–26. ISBN 978-0-7506-2793-1.
  3. ^ Джеймс Дэвис (1986), «Люди воспринимают артефакты мерцания на частоте 500 Гц», Sci. Rep. , 5 : 7861, doi : 10.1038/srep07861, PMC 4314649 , PMID  25644611 
  4. ↑ Поттер, Мэри К. (28 декабря 2013 г.). «Определение смысла в RSVP со скоростью 13 мс на изображение» (PDF) . Внимание, восприятие и психофизика . 76 (2): 270–279. дои : 10.3758/s13414-013-0605-z. hdl : 1721.1/107157 . PMID  24374558. S2CID  180862. Архивировано (PDF) из оригинала 9 октября 2022 г.
  5. ^ Роберт Эфрон (1973). «Сохранение временной информации системами восприятия». Восприятие и психофизика . 14 (3): 518–530. дои : 10.3758/bf03211193 .
  6. ^ Браун, Джули (2014). «Аудиовизуальные палимпсесты: ресинхронизация немых фильмов с «особой» музыкой». Дэвид Ноймайер (ред.). Оксфордский справочник по изучению музыки в кино . Издательство Оксфордского университета. п. 588. ИСБН 978-0195328493.
  7. ^ Керр, Уолтер (1975). Тихие клоуны . Кнопф. п. 36. ISBN 978-0394469072.
  8. ^ Кард, Джеймс (1994). Соблазнительное кино: искусство немого кино . Кнопф. п. 53. ИСБН 978-0394572185.
  9. ^ abc Браунлоу, Кевин (лето 1980 г.). «Немое кино: какая была правильная скорость?». Вид и звук . 49 (3): 164–167. Архивировано из оригинала 8 июля 2011 года . Проверено 2 мая 2012 г.
  10. ^ Эльзессер, Томас; Баркер, Адам (1990). Раннее кино: пространство, кадр, повествование . Издательство БФИ. п. 284. ИСБН 978-0-85170-244-5.
  11. ^ TWiT Netcast Network (30 марта 2017 г.), Как 24 кадра в секунду стали стандартными , заархивировано из оригинала 04 ноября 2021 г. , получено 31 марта 2017 г.
  12. ^ Чу, Джонни. «Что такое единицы, двойки и тройки в анимации?». Жизненный провод . Проверено 8 августа 2018 г.
  13. ^ Уитакер, Гарольд; Сито, Джон Халас; обновлено Тимом (2009 г.). Время для анимации (2-е изд.). Амстердам: Elsevier/Focal Press. п. 52. ИСБН 978-0240521602. Проверено 8 августа 2018 г.{{cite book}}: CS1 maint: multiple names: authors list (link)
  14. ^ «Выстрел по тройкам (единицам, двойкам и т. д.)». Сеть новостей аниме .
  15. ↑ CLIP STUDIO (12 февраля 2016 г.). «CLIP STUDIO PAINT アニメーション機能の使い方». Архивировано из оригинала 4 ноября 2021 г. - на YouTube.
  16. ^ Телевидение с высокой частотой кадров, Белая книга BBC WHP 169, сентябрь 2008 г., М. Армстронг, Д. Флинн, М. Хаммонд, ПАВАН Джахаджпурия С. Джолли, Р. Салмон.
  17. ↑ Джон Фингас (27 ноября 2014 г.), «Продолжения Джеймса Кэмерона «Аватар» будут придерживаться 48 кадров в секунду», Engadget , получено 15 апреля 2017 г.
  18. ↑ Уэйли, Шон (21 ноября 2018 г.). «Что такое частота кадров и почему она важна для компьютерных игр?» . Проверено 5 августа 2021 г.
  19. ^ Саймон, Никлаус; Лонг, Мэй; Фэн, Лю (2017). Интерполяция видеокадров посредством адаптивной разделимой свертки . ICCV. arXiv : 1708.01692 .
  20. ^ Хуайцзу, Цзян; Дэцин, Сунь; Варун, Джампани; Мин-Сюань, Ян; Эрик, Лирд-Миллер; Ян, Кауц (2018). Супер замедление: высококачественная оценка нескольких промежуточных кадров для интерполяции видео . ICCV. arXiv : 1712.00080 .
  21. ^ Шуруи, Гуй; Чаоюэ, Ван; Цихуа, Чен; Даченг, Тао (2020). «Поток функций: надежная интерполяция видео посредством генерации структуры в текстуру». Конференция IEEE/CVF 2020 года по компьютерному зрению и распознаванию образов (CVPR) . IEEE. стр. 14001–14010. дои : 10.1109/CVPR42600.2020.01402. ISBN 978-1-7281-7169-2.
  22. ^ Мёнсуб, Чхве; Хивон, Ким; Бохён, Хан; Нин, Сюй; Кён, Му Ли (2020). «Внимание к каналу — это все, что вам нужно для интерполяции видеокадров». Материалы конференции AAAI по искусственному интеллекту . АААИ. 34 (7): 10663–10671. дои : 10.1609/aaai.v34i07.6693 .

Внешние ссылки

( копия Wayback Machine )