Pixel Camera — это приложение для камеры телефона, разработанное Google для операционной системы Android на устройствах Google Pixel . Разработка с зум-объективами для приложения началась в 2011 году в исследовательском инкубаторе Google X под руководством Марка Левоя , который разрабатывал технологию слияния изображений для Google Glass . [3] Оно было публично выпущено для Android 4.4+ в Google Play 16 апреля 2014 года. [4] Первоначально приложение было выпущено как Google Camera и поддерживалось на всех устройствах под управлением Android 4.4 KitKat и выше. Однако в октябре 2023 года, совпав с выпуском серии Pixel 8 , оно было переименовано в Pixel Camera и стало официально поддерживаться только на устройствах Google Pixel. [5]
Google Camera содержит ряд функций, которые можно активировать либо на странице настроек, либо с помощью ряда значков в верхней части приложения.
Начиная с устройств Pixel, приложение камеры получило помощь с аппаратными ускорителями , скрытым чипом обработки изображений, для выполнения обработки изображений. Первое поколение телефонов Pixel использовало цифровые сигнальные процессоры Hexagon компании Qualcomm и графические процессоры Adreno для ускорения обработки изображений. Pixel 2 и Pixel 3 (но не Pixel 3a ) включают Pixel Visual Core для помощи в обработке изображений. Pixel 4 представил Pixel Neural Core . [6] Обратите внимание, что основная функция Visual Core — перенос обработки изображений HDR+, которая символизирует камеру Pixel, в любое другое приложение, имеющее соответствующие API Google . Pixel Visual Core создан для выполнения интенсивной обработки изображений при экономии энергии, экономя заряд батареи.
В отличие от более ранних версий изображений с высоким динамическим диапазоном (HDR) , HDR+, также известный как HDR+, использует вычислительные методы фотографии для достижения более высокого динамического диапазона. HDR+ делает непрерывные серийные снимки с короткими выдержками. При нажатии затвора последние 5–15 кадров анализируются для выбора самых резких снимков (с использованием удачного изображения ), которые выборочно выравниваются и объединяются с усреднением изображения. HDR+ также использует семантическую сегментацию для обнаружения лиц, чтобы сделать их ярче с помощью синтетической заполняющей вспышки, а также затемнить и удалить шум с неба. HDR+ также снижает шум от снимков и улучшает цвета, избегая при этом засветки бликов и размытия движения . HDR+ был представлен на Nexus 6 и возвращен на Nexus 5. [7] [8] [9]
В отличие от HDR+/HDR+ On, режим «HDR+ Enhanced» не использует Zero Shutter Lag (ZSL). Как и Night Sight, HDR+ Enhanced имеет функцию positive-shutter-lag (PSL): он захватывает изображения после нажатия затвора. HDR+ Enhanced похож на HDR+ из Nexus 5, Nexus 6, Nexus 5X и Nexus 6P . Считается, что он использует недоэкспонированные и переэкспонированные кадры, как Smart HDR от Apple . HDR+ Enhanced увеличивает динамический диапазон по сравнению с HDR+ On. HDR+ Enhanced на Pixel 3 использует алгоритм AWB на основе обучения из Night Sight. [10] [11]
Начиная с Pixel 4, Live HDR+ заменил HDR+, представив видоискатель WYSIWYG с предварительным просмотром HDR+ в реальном времени. [12] HDR+ live использует алгоритм AWB на основе обучения от Night Sight и усредняет до девяти недоэкспонированных снимков. [13]
Режим «Live HDR+» использует двойное управление экспозицией с отдельными ползунками для яркости ( экспозиция захвата ) и для теней ( тональное отображение ). Эта функция была доступна для Pixel 4 и не была модернизирована на более старых устройствах Pixel из-за аппаратных ограничений. [13] [12]
В апреле 2021 года Google Camera v8.2 представила HDR+ с брекетингом, Night Sight с брекетингом и Portrait Mode с брекетингом. Google обновила свой алгоритм брекетинга экспозиции для HDR+, включив дополнительный кадр с длительной выдержкой, а Night Sight — 3 кадра с длительной выдержкой. Алгоритм пространственного слияния также был переработан для принятия решения о слиянии или нет попиксельно (например, Super Res Zoom) и обновлен для обработки длительных выдержек (обрезанные блики, больше размытия движения и различные характеристики шума). С брекетингом обеспечивается дополнительное снижение шума чтения , улучшение деталей/текстуры и более естественные цвета. С брекетингом автоматически включается в зависимости от динамического диапазона и движения. С брекетингом поддерживается во всех режимах для Pixel 4a (5G) и 5. С брекетингом поддерживается в Night Sight для Pixel 4 и 4a. [14]
Режим Motion photo в Google Camera похож на режим Zoe в HTC и Live Photo в iOS . При включении короткий, тихий видеоклип относительно низкого разрешения совмещается с исходной фотографией. Если включен режим RAW, создается только файл DNG с разрешением 0,8 МП, а не недвижимый файл DNG с разрешением 12,2 МП. Motion Photos был представлен на Pixel 2. Motion Photo отключен в улучшенном режиме HDR+. [15] [16] [17]
Fused Video Stabilization, технология, которая объединяет оптическую стабилизацию изображения и электронную/цифровую стабилизацию изображения , может быть включена для значительно более плавного видео. Эта технология также исправляет искажение Rolling Shutter и Focus breathing , среди прочих проблем. Fused Video Stabilization была представлена на Pixel 2. [18] [19]
Super Res Zoom — это многокадровая технология сверхвысокого разрешения, представленная в Pixel 3, которая сдвигает датчик изображения для достижения более высокого разрешения, что, по утверждению Google, эквивалентно 2-3-кратному оптическому зуму . Это похоже на обработку изображений моросящего дождя . Super Res Zoom также можно использовать с телеобъективом, например, Google утверждает, что Pixel 4 может захватывать 8-кратный зум с качеством, близким к оптическому. [20] [21]
Когда Motion Photos включен, Top Shot анализирует до 90 дополнительных кадров за 1,5 секунды до и после нажатия затвора. Pixel Visual Core используется для ускорения анализа с использованием методов компьютерного зрения и ранжирует их на основе движения объекта, размытия движения, автоматической экспозиции, автоматической фокусировки и автоматического баланса белого. Сохраняется около десяти дополнительных фотографий, включая дополнительную фотографию HDR+ до 3 МП. Top Shot был представлен на Pixel 3. [22]
Как и большинство приложений для камер, Google Camera предлагает различные режимы использования, позволяющие пользователю делать разные типы фотографий и видео. [24]
Замедленное видео можно снимать в Google Camera со скоростью 120 или, на поддерживаемых устройствах, 240 кадров в секунду. [25]
Панорамная фотография также возможна с Google Camera. Поддерживаются четыре типа панорамных фотографий: горизонтальные, вертикальные, широкоугольные и Fisheye . После выбора функции Panorama можно выбрать один из этих четырех режимов одновременно из ряда значков в верхней части экрана. [26]
Google Camera позволяет пользователю создавать «Фотосферу» — панорамную фотографию на 360 градусов , изначально добавленную в Android 4.2 в 2012 году. [27] Затем эти фотографии можно встроить в веб-страницу с помощью пользовательского HTML-кода или загрузить в различные службы Google. [28]
Pixel 8 был выпущен без этой функции, став первым телефоном Pixel без этой функции, что заставило многих поверить в то, что поддержка этой функции прекращена. [ необходима цитата ]
Режим портрета (до выпуска линейки Pixel назывался Lens Blur) предлагает пользователям простой способ делать «селфи» или портреты с эффектом боке , при котором объект фотографии находится в фокусе, а фон слегка размыт. Этот эффект достигается с помощью информации о параллаксе от двухпиксельных датчиков, если они доступны (например, Pixel 2 и Pixel 3), и применения машинного обучения для определения того, что должно оставаться в фокусе, а что должно быть размыто. Режим портрета был представлен в Pixel 2. [29] [30] [31]
Кроме того, можно активировать функцию «ретуши лица», которая убирает пятна и другие недостатки на коже объекта. [32]
Pixel 4 оснащен улучшенным режимом «Портрет», алгоритм машинного обучения использует информацию о параллаксе с телеобъектива и Dual Pixels, а также разницу между телеобъективом и широкоугольной камерой для создания более точных карт глубины. [33] Для фронтальной камеры он использует информацию о параллаксе с фронтальной камеры и ИК-камер. [34] Эффект размытия применяется на этапе Raw перед этапом тональной компрессии для более реалистичного эффекта боке, как у зеркальной камеры. [13] [33]
В конце 2017 года, с дебютом Pixel 2 и Pixel 2 XL , Google представила AR Stickers, функцию, которая, используя новую платформу Google ARCore , позволяла пользователю накладывать анимированные объекты дополненной реальности на свои фотографии и видео. С выпуском Pixel 3 AR Stickers были переименованы в Playground. [35] [36]
Камера предлагает функционал на базе Google Lens , который позволяет камере копировать текст, который она видит, идентифицировать продукты, книги и фильмы и искать похожие, идентифицировать животных и растения, а также сканировать штрих-коды и QR-коды и многое другое.
Режим Photobooth позволяет пользователю автоматизировать съемку селфи. ИИ способен распознавать улыбку пользователя или смешные лица и делать снимок в наилучшее время без каких-либо действий со стороны пользователя, аналогично Google Clips . Этот режим также имеет двухуровневую обработку ИИ лица объекта, которую можно включить или отключить, чтобы смягчить его кожу. Функциональность Motion Photos также доступна в этом режиме. Баланс белого также можно настроить в соответствии с определенными предустановками. [37] В октябре 2019 года Photobooth был удален как автономный режим, став опцией «Авто» в параметрах затвора, [38] позже был удален полностью. [ требуется разъяснение ]
Night Sight основан на принципе, похожем на стекирование экспозиции, используемое в астрофотографии . Night Sight использует модифицированные алгоритмы HDR+ или Super Res Zoom. После того, как пользователь нажимает на курок, делается несколько снимков с длительной выдержкой, до 15x 1/15 секунды экспозиции или 6x 1 секунды экспозиции, чтобы создать до 6 секунд экспозиции. Измерение движения и обработка изображения на основе плиток позволяют уменьшить, если не отменить, дрожание камеры, что приводит к четкому и правильно экспонированному снимку. Google утверждает, что может обрабатывать до ~8% смещения от кадра к кадру. И каждый кадр разбивается примерно на 12 000 плиток. Он также представил основанный на обучении алгоритм AWB для более точного баланса белого при слабом освещении. [39] [40] [13]
Night Sight также хорошо работает при дневном свете, улучшая баланс белого, детализацию и резкость. Как и улучшенный HDR+, Night Sight имеет функцию положительной задержки затвора (PSL). Night Sight также поддерживает таймер задержки, а также вспомогательный селектор для фокусировки с тремя вариантами (далеко, близко и автофокус). Night Sight был представлен с Pixel 3, все старые телефоны Pixel были обновлены с поддержкой. [41] [42] [43] [44]
Режим астрофотографии активируется автоматически, когда включен режим Night Sight, и телефон обнаруживает, что он находится на устойчивой опоре, например, на штативе. В этом режиме камера усредняет до пятнадцати 16-секундных экспозиций, чтобы создать 4-минутную экспозицию для значительного снижения шума кадра . Разделив снимок на несколько более коротких экспозиций, камере удается добиться легкого захвата длительной экспозиции без необходимости иметь дело со звездными следами , что в противном случае потребовало бы очень точного перемещения телефона во время экспозиции для компенсации вращения Земли. Режим астрофотографии также включает улучшенные алгоритмы для удаления горячих пикселей и теплых пикселей, вызванных темновым током , и сверточную нейронную сеть для обнаружения неба для снижения шума , специфичного для неба . [45] Режим астрофотографии был представлен в Pixel 4 и перенесен в Pixel 3 и Pixel 3a. [18] [46] [13]
Portrait Light — это функция постобработки , которая позволяет добавлять источник света к портретам. Она имитирует направленность и интенсивность, чтобы дополнить освещение исходной фотографии с помощью моделей машинного обучения . Portrait Light был представлен в Pixel 5 и перенесен в Pixel 4, Pixel 4a и Pixel 4a 5G. При использовании режима по умолчанию или режима Night Sight он автоматически применяется, если есть человек или люди. Portrait Light был совместной работой команд Google Research, Google Daydream , Google Pixel и Google Photos . [47]
С выпуском Pixel 8 Google объявила, что Pixel Camera получит поддержку Ultra HDR. Ultra HDR — это формат, который хранит дополнительный набор данных вместе с JPG, с дополнительной информацией о яркости для создания HDR-фотографии. [48] Вскоре после этого, с версией 9.2 приложения, Ultra HDR был перенесен на Pixel 7 и 6. [49]
Многие разработчики выпустили неофициальные порты , которые позволяют использовать их на телефонах, отличных от Google, или внедряют его премиум-функции на старых телефонах Google. Эти неофициальные приложения часто обходят отсутствие определенных аппаратных функций, присутствующих в топовых устройствах Google, и иногда даже заходят так далеко, что включают функции, не представленные официальной версией приложения. Существует множество различных версий, ориентированных на разные телефоны Android.
Хотя многие функции доступны в портированных версиях, нередки случаи, когда некоторые функции недоступны или не работают должным образом на телефонах без надлежащей поддержки API [50] или несовместимого оборудования. [51] Для работы приложения также требуются Google Play Services или его замена, например microG . [52]
В 2016 году модифицированная версия вернула HDR+ с функцией Zero Shutter Lag (ZSL) на Nexus 5X и Nexus 6P. [53] В середине 2017 года была создана модифицированная версия Google Camera для любого смартфона, оснащенного процессором Snapdragon 820, 821 или 835. [54] В 2018 году разработчики выпустили модифицированные версии, включающие Night Sight на телефонах, отличных от Pixel. [55] В августе 2020 года был представлен новый способ доступа к дополнительным камерам, [56] устраняющий необходимость использования root на телефонах, которые не предоставляют все камеры для сторонних приложений. [57]