stringtranslate.com

Частота кадров

Частота кадров , чаще всего выражаемая вКадров в секунду илиFPS, как правило,частота(скорость), с которой последовательныеизображения(кадры) захватываются или отображаются. Это определение применимо ккино-ивидеокамерам,компьютерной анимацииизахвата движения. В этих контекстах частота кадров может использоваться взаимозаменяемо сЧастота кадров ичастота обновления, которые выражаются вгерцах. Кроме того, в контексте производительности компьютерной графики FPS — это скорость, с которой система, в частностиграфический процессор, способна генерировать кадры, а частота обновления — это частота, с которой дисплей отображает готовые кадры.[1]В технических характеристиках электронных камер частота кадров относится к максимально возможной частоте, с которой могут быть захвачены кадры, но на практике другие настройки (например, время экспозиции) могут снизить фактическую частоту до более низкого значения, чем частота кадров.

Человеческое зрение

Временная чувствительность и разрешение человеческого зрения варьируются в зависимости от типа и характеристик зрительного стимула и различаются у разных людей. Зрительная система человека может обрабатывать от 10 до 12 изображений в секунду и воспринимать их по отдельности, в то время как более высокие скорости воспринимаются как движение. [2] Модулированный свет (например, компьютерный дисплей ) воспринимается как стабильный большинством участников исследований, когда частота превышает 50 Гц. Это восприятие модулированного света как устойчивого известно как порог слияния мельканий . Однако, когда модулированный свет неоднороден и содержит изображение, порог слияния мельканий может быть намного выше, в сотни герц. [3] Что касается распознавания изображений , было обнаружено, что люди распознают определенное изображение в непрерывной серии различных изображений, каждое из которых длится всего 13 миллисекунд. [4] Инерционность зрения иногда объясняет очень короткий одномиллисекундный визуальный стимул, имеющий воспринимаемую длительность от 100 мс до 400 мс. Несколько очень коротких стимулов иногда воспринимаются как один стимул, например, зеленая вспышка света длительностью 10 мс, за которой сразу следует красная вспышка света длительностью 10 мс, воспринимается как одна желтая вспышка света. [5]

Кино и видео

Немое кино

Ранние немые фильмы имели заявленную частоту кадров от 16 до 24 кадров в секунду (fps), [6] но поскольку камеры приводились в действие вручную, частота часто менялась во время сцены, чтобы соответствовать настроению. Киномеханики также могли изменять частоту кадров в кинотеатре, регулируя реостат , управляющий напряжением, питающим механизм подачи пленки в проекторе . [7] Кинокомпании часто хотели, чтобы кинотеатры показывали свои немые фильмы с более высокой частотой кадров, чем те, с которыми они снимались. [8] Такая частота кадров была достаточна для ощущения движения, но оно воспринималось как прерывистое движение. Чтобы минимизировать воспринимаемое мерцание, проекторы использовали двух- и трехлопастные затворы , поэтому каждый кадр отображался два или три раза, увеличивая частоту мерцания до 48 или 72 герц и снижая нагрузку на глаза. Томас Эдисон сказал, что 46 кадров в секунду — это минимум, необходимый глазу для восприятия движения: «Все, что меньше, будет напрягать глаза». [9] [10] В середине и конце 1920-х годов частота кадров немого кино увеличилась до 20–26 кадров в секунду. [9]

Звуковой фильм

Когда в 1926 году появился звуковой фильм , изменения в скорости пленки больше не допускались, так как человеческое ухо более чувствительно к изменениям частоты, чем глаз. Многие кинотеатры показывали немые фильмы со скоростью от 22 до 26 кадров в секунду, поэтому индустрия выбрала 24 кадра в секунду для звукового фильма в качестве компромисса. [11] С 1927 по 1930 год, когда различные студии обновляли оборудование, скорость 24 кадра в секунду стала стандартной для 35-мм звукового фильма. [2] При 24 кадрах в секунду пленка проходит через проектор со скоростью 456 миллиметров (18,0 дюймов) в секунду. Это позволило простым двухлопастным затворам давать проецируемую серию изображений со скоростью 48 в секунду, что удовлетворяло рекомендации Эдисона. Многие современные 35-мм кинопроекторы используют трехлопастные затворы, чтобы давать 72 изображения в секунду — каждый кадр мелькает на экране три раза. [9]

Анимация

Этот анимированный мультфильм о скачущей лошади демонстрируется со скоростью 12 кадров в секунду, а быстрота движения граничит с неприятными рывками.

В рисованной анимации движущиеся персонажи часто снимаются «по двое», то есть один рисунок показывается на каждые два кадра фильма (который обычно идет со скоростью 24 кадра в секунду), то есть в секунду всего 12 рисунков. [12] Несмотря на то, что скорость обновления изображения низкая, текучесть удовлетворительна для большинства объектов. Однако, когда персонажу требуется выполнить быстрое движение, обычно необходимо вернуться к анимации «по одному», так как «по двое» слишком медленно, чтобы адекватно передать движение. Сочетание двух техник обманывает глаз без лишних производственных затрат. [13]

Анимация для большинства « мультфильмов субботнего утра » производилась как можно дешевле и чаще всего снималась на «тройках» или даже «четверках», т. е. три или четыре кадра на рисунок. Это означает всего 8 или 6 рисунков в секунду соответственно. Аниме также обычно рисуется на тройках или двойках. [14] [15]

Современные стандарты видео

Из-за частоты электросетей аналоговое телевещание развивалось с частотой кадров 50 Гц (большая часть мира) или 60 Гц (Канада, США, Мексика, Филиппины, Япония, Южная Корея). Частота электросети была чрезвычайно стабильна и поэтому ее было логично использовать для синхронизации.

Внедрение технологии цветного телевидения потребовало снизить частоту 60 FPS на 0,1%, чтобы избежать « ползания точек », артефакта отображения, появляющегося на устаревших черно-белых дисплеях, проявляющегося на поверхностях с высокой цветовой насыщенностью. Было обнаружено, что при снижении частоты кадров на 0,1% нежелательный эффект был минимизирован.

По состоянию на 2021 год стандарты передачи видео в Северной Америке, Японии и Южной Корее по-прежнему основаны на 60 / 1,001 ≈ 59,94 изображений в секунду. Обычно используются два размера изображений: 1920×1080 («1080i/p») и 1280×720 («720p»). Как ни странно, чересстрочные форматы обычно указываются как 1/2 их частоты изображения, 29,97/25 кадров в секунду и удвоенная высота изображения, но эти утверждения являются чисто индивидуальными; в каждом формате создается 60 изображений в секунду. Разрешение 1080i создает 59,94 или 50 изображений 1920×540, каждое из которых сжимается до половины высоты в процессе фотографирования и растягивается, чтобы заполнить экран при воспроизведении на телевизоре. Формат 720p создает 59,94/50 или 29,97/25 изображений 1280×720p, не сжатых, так что нет необходимости в расширении или сжатии изображения. Эта путаница была общеотраслевой на заре программного обеспечения для цифрового видео, при этом большая часть программного обеспечения была написана неправильно, разработчики считали, что каждую секунду ожидается только 29,97 изображений, что было неверно. Хотя было правдой, что каждый элемент изображения опрашивался и отправлялся только 29,97 раз в секунду, местоположение пикселя непосредственно под ним опрашивалось на 1/60 секунды позже, являясь частью совершенно отдельного изображения для следующего кадра длительностью 1/60 секунды.

При своей исходной частоте 24 кадра в секунду фильм не может быть отображен на видео 60 Гц без необходимого процесса pulldown , что часто приводит к «дрожанию»: чтобы преобразовать 24 кадра в секунду в 60 кадров в секунду, каждый нечетный кадр повторяется, воспроизводясь дважды, в то время как каждый четный кадр утраивается. Это создает неравномерное движение, кажущееся стробоскопическим. Другие преобразования имеют похожее неравномерное удвоение кадров. Более новые видеостандарты поддерживают 120, 240 или 300 кадров в секунду, поэтому кадры могут быть равномерно отобраны для стандартных частот кадров, таких как 24, 48 и 60 кадров в секунду для фильма или 25, 30, 50 или 60 кадров в секунду для видео. Конечно, эти более высокие частоты кадров также могут отображаться с их исходной частотой. [16] [17]

Технические характеристики электронной камеры

В технических характеристиках электронных камер частота кадров относится к максимально возможной частоте кадров, которые могут быть захвачены (например, если время экспозиции установлено близким к нулю), но на практике другие настройки (например, время экспозиции) могут снизить фактическую частоту до более низкого значения, чем частота кадров. [18]

Компьютерные игры

В компьютерных видеоиграх частота кадров играет важную роль в опыте, поскольку, в отличие от фильмов, игры визуализируются в реальном времени . 60 кадров в секунду долгое время считались «оптимальной» частотой кадров для плавно анимированного игрового процесса. [19] Видеоигры, разработанные для рынков PAL , до шестого поколения игровых консолей , имели более низкую частоту кадров по умолчанию из-за выхода 50 Гц. Это заметно замедлило работу динамичных игр, таких как гонки или файтинги. [20]

Повышение частоты кадров

Преобразование частоты кадров (FRC) — это процесс увеличения временного разрешения видеопоследовательности путем синтеза одного или нескольких промежуточных кадров между двумя последовательными кадрами. Низкая частота кадров приводит к наложению спектров , появлению резких артефактов движения и ухудшению качества видео. Следовательно, временное разрешение является важным фактором, влияющим на качество видео. Алгоритмы для FRC широко используются в приложениях, включая визуальное улучшение качества, сжатие видео и генерацию замедленного видео.

Видео с низкой частотой кадров
Видео с увеличенной в 4 раза частотой кадров

Методы

Большинство методов FRC можно разделить на методы, основанные на оптическом потоке или ядре [21] [22], и методы, основанные на пиксельных галлюцинациях. [23] [24]

FRC на основе потока

Методы на основе потока линейно объединяют предсказанные оптические потоки между двумя входными кадрами для аппроксимации потоков от целевого промежуточного кадра к входным кадрам. Они также предлагают реверсирование потока (проекцию) для более точного искажения изображения . Более того, существуют алгоритмы, которые дают различные веса перекрывающихся векторов потока в зависимости от глубины объекта сцены через слой проекции потока.

FRC на основе пиксельных галлюцинаций

Методы на основе галлюцинации пикселей используют деформируемую свертку к генератору центрального кадра, заменяя оптические потоки векторами смещения. Существуют алгоритмы, которые также интерполируют средние кадры с помощью деформируемой свертки в области признаков. Однако, поскольку эти методы напрямую галлюцинируют пиксели в отличие от методов FRC на основе потоков, предсказанные кадры имеют тенденцию быть размытыми при наличии быстро движущихся объектов.

Смотрите также

Ссылки

  1. ^ Тамаси, Тони (3 декабря 2019 г.). «Что такое частота кадров и почему она важна для компьютерных игр?» . Получено 12 февраля 2023 г.
  2. ^ ab Read, Paul; Meyer, Mark-Paul; Gamma Group (2000). Реставрация кинопленки. Консервация и музеология. Butterworth-Heinemann. С. 24–26. ISBN 978-0-7506-2793-1.
  3. ^ Джеймс Дэвис (1986), «Люди воспринимают артефакты мерцания на частоте 500 Гц», Sci. Rep. , 5 : 7861, doi : 10.1038/srep07861, PMC 4314649 , PMID  25644611 
  4. ^ Поттер, Мэри К. (28 декабря 2013 г.). «Обнаружение смысла в RSVP при 13 мс на картинку» (PDF) . Внимание, восприятие и психофизика . 76 (2): 270–279. doi :10.3758/s13414-013-0605-z. hdl : 1721.1/107157 . PMID  24374558. S2CID  180862. Архивировано (PDF) из оригинала 2022-10-09.
  5. ^ Роберт Эфрон (1973). «Сохранение временной информации перцептивными системами». Восприятие и психофизика . 14 (3): 518–530. doi : 10.3758/bf03211193 .
  6. ^ Браун, Джули (2014). «Аудиовизуальные палимпсесты: ресинхронизация немых фильмов с «специальной» музыкой». В Дэвид Ноймейер (ред.). Оксфордский справочник по изучению музыки к фильмам . Oxford University Press. стр. 588. ISBN 978-0195328493.
  7. ^ Керр, Уолтер (1975). Silent Clowns . Кнопф. стр. 36. ISBN 978-0394469072.
  8. ^ Кард, Джеймс (1994). Соблазнительное кино: искусство немого кино . Кнопф. С. 53. ISBN 978-0394572185.
  9. ^ abc Brownlow, Kevin (лето 1980). «Немое кино: какова была правильная скорость?». Sight & Sound . 49 (3): 164–167. Архивировано из оригинала 8 июля 2011 г. Получено 2 мая 2012 г.
  10. ^ Эльзессер, Томас; Баркер, Адам (1990). Раннее кино: пространство, кадр, повествование . BFI Publishing. стр. 284. ISBN 978-0-85170-244-5.
  11. ^ TWiT Netcast Network (30.03.2017), Как 24 FPS стали стандартом, заархивировано из оригинала 04.11.2021 , извлечено 31.03.2017
  12. ^ Чу, Джонни. «Что такое единицы, двойки и тройки в анимации?». Lifewire . Получено 8 августа 2018 г.
  13. ^ Уитакер, Гарольд; Сито, Джон Халас; обновлено Тимом (2009). Хронометраж анимации (2-е изд.). Амстердам: Elsevier/Focal Press. стр. 52. ISBN 978-0240521602. Получено 8 августа 2018 г. .{{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
  14. ^ "Выстрел по трое (по одному, по двое и т. д.)". Anime News Network .
  15. ^ КЛИП СТУДИЯ (12 февраля 2016 г.). «CLIP STUDIO PAINT アニメーション機能の使い方». Архивировано из оригинала 4 ноября 2021 г. - на YouTube.
  16. ^ Телевидение с высокой частотой кадров, Белая книга BBC WHP 169, сентябрь 2008 г., М. Армстронг, Д. Флинн, М. Хаммонд, ПАВАН Джахаджпурия С. Джолли, Р. Салмон.
  17. ↑ Джон Фингас (27 ноября 2014 г.), «Продолжения «Аватара» Джеймса Кэмерона будут придерживаться частоты 48 кадров в секунду», Engadget , получено 15 апреля 2017 г.
  18. ^ Уэйли, Шон (21 ноября 2018 г.). «Что такое частота кадров и почему она важна для компьютерных игр?» . Получено 5 августа 2021 г.
  19. ^ Энди Эдсер (2024-03-26). «Раньше я был снобом в отношении частоты кадров, но обладание Steam Deck заставило меня осознать ошибочность своих подходов». PC Gamer . Получено 2024-10-01 .
  20. ↑ Автор, Джон Линнеман, старший персонал; Foundry, Digital (2018-12-02). «Обзор PlayStation Classic: игры отличные, но эмуляция действительно плохая». Eurogamer.net . Получено 01.10.2024 .
  21. ^ Саймон, Никлаус; Лонг, Май; Фэн, Лю (2017). Интерполяция видеокадров с помощью адаптивной разделяемой свертки . ICCV. arXiv : 1708.01692 .
  22. ^ Хуайцзу, Цзян; Дэцин, Сан; Варун, Джампани; Мин-Сюань, Ян; Эрик, Лернед-Миллер; Ян, Каутц (2018). Super slomo: Высококачественная оценка нескольких промежуточных кадров для интерполяции видео . ICCV. arXiv : 1712.00080 .
  23. ^ Shurui, Gui; Chaoyue, Wang; Qihua, Chen; Dacheng, Tao (2020). «Featureflow: надежная интерполяция видео с помощью генерации структуры в текстуру». Конференция IEEE/CVF 2020 года по компьютерному зрению и распознаванию образов (CVPR) . IEEE. стр. 14001–14010. doi :10.1109/CVPR42600.2020.01402. ISBN 978-1-7281-7169-2.
  24. ^ Мёнсуб, Чой; Хивон, Ким; Бохён, Хан; Нин, Сюй; Кён, Му Ли (2020). «Внимание к каналу — это всё, что вам нужно для интерполяции видеокадров». Труды конференции AAAI по искусственному интеллекту . 34 (7). AAAI: 10663–10671. doi : 10.1609/aaai.v34i07.6693 .

Внешние ссылки

( копия Wayback Machine )