stringtranslate.com

Камера событий

Камера событий Prophesee.
Камера событий Prophesee.

Камера событий , также известная как нейроморфная камера , [1] кремниевая сетчатка [2] или динамический датчик зрения , [3] — это датчик изображения , который реагирует на локальные изменения яркости. Камеры событий не захватывают изображения с помощью затвора , как это делают обычные (рамочные) камеры . Вместо этого каждый пиксель внутри камеры событий работает независимо и асинхронно, сообщая об изменениях яркости по мере их возникновения и оставаясь молчаливым в противном случае.

Функциональное описание

Пиксели событийной камеры независимо реагируют на изменения яркости по мере их возникновения. [4] Каждый пиксель хранит опорный уровень яркости и постоянно сравнивает его с текущим уровнем яркости. Если разница в яркости превышает пороговое значение, этот пиксель сбрасывает свой опорный уровень и генерирует событие: дискретный пакет, содержащий адрес пикселя и временную метку. События также могут содержать полярность (увеличение или уменьшение) изменения яркости или мгновенное измерение уровня освещенности [5] в зависимости от конкретной модели датчика. Таким образом, событийные камеры выводят асинхронный поток событий, вызванных изменениями освещенности сцены.

Сравнение данных, полученных с помощью событийной камеры и обычной камеры.

Камеры событий обычно сообщают временные метки с микросекундным временным разрешением, динамическим диапазоном 120 дБ и меньшим недо-/переэкспонированием и размытием движения [4] [6] , чем кадровые камеры. Это позволяет им точнее отслеживать движение объекта и камеры ( оптический поток ). Они выдают информацию в оттенках серого. Первоначально (2014 г.) разрешение было ограничено 100 пикселями. Более поздняя запись достигла разрешения 640x480 в 2019 г. Поскольку отдельные пиксели срабатывают независимо, камеры событий кажутся подходящими для интеграции с асинхронными вычислительными архитектурами, такими как нейроморфные вычисления . Независимость пикселей позволяет этим камерам справляться со сценами с ярко и тускло освещенными областями без необходимости усреднения по ним. [7] Важно отметить, что, хотя камера сообщает о событиях с микросекундным разрешением, фактическое временное разрешение (или, альтернативно, полоса пропускания для обнаружения) составляет порядка десятков микросекунд до нескольких миллисекунд — в зависимости от контрастности сигнала, условий освещения и конструкции датчика. [8]

* Указывает временное разрешение человеческого восприятия, включая время когнитивной обработки. **Относится к скорости распознавания изменений и варьируется в зависимости от сигнала и модели датчика.

Типы

Датчики временного контраста (такие как DVS [4] (Dynamic Vision Sensor) или sDVS [13] (sensitive-DVS)) производят события, которые указывают на полярность (увеличение или уменьшение яркости), в то время как датчики временного изображения [5] указывают мгновенную интенсивность с каждым событием. DAVIS [14] (Dynamic and Active-pixel Vision Sensor) содержит датчик активных пикселей с глобальным затвором (APS) в дополнение к датчику динамического зрения (DVS), который использует ту же матрицу фотодатчиков . Таким образом, он имеет возможность производить кадры изображения вместе с событиями. Многие камеры событий дополнительно несут инерциальный измерительный блок (IMU).

Ретиноморфные датчики

Слева: схема поперечного сечения фоточувствительного конденсатора. В центре: принципиальная схема ретиноморфного датчика с фоточувствительным конденсатором наверху. Справа: ожидаемый переходный отклик ретиноморфного датчика на приложение постоянного освещения.

Другой класс датчиков событий — это так называемые ретиноморфные датчики. Хотя термин «ретиноморфный» использовался для описания датчиков событий в целом, [15] [16] в 2020 году он был принят в качестве названия для конкретной конструкции датчика, основанной на резисторе и светочувствительном конденсаторе, соединенных последовательно. [17] Эти конденсаторы отличаются от фотоконденсаторов, которые используются для хранения солнечной энергии , [18] и вместо этого предназначены для изменения емкости при освещении. Они слегка заряжаются/разряжаются при изменении емкости, но в остальном остаются в равновесии. Когда светочувствительный конденсатор помещается последовательно с резистором , и входное напряжение подается на цепь, в результате получается датчик, который выдает напряжение при изменении интенсивности света, но в противном случае — нет.

В отличие от других датчиков событий (обычно фотодиод и некоторые другие элементы схемы), эти датчики производят сигнал по своей сути. Поэтому их можно считать единым устройством, которое производит тот же результат, что и небольшая схема в других камерах событий. Ретиноморфные датчики на сегодняшний день изучались только в исследовательской среде. [19] [20] [21] [22]

Алгоритмы

Ночная реконструкция бега
Пешеход бежит перед фарами автомобиля ночью. Слева: изображение, снятое обычной камерой, демонстрирует сильную размытость движения и недодержку. Справа: изображение, реконструированное путем объединения левого изображения с событиями с камеры событий. [23]

Реконструкция изображения

Реконструкция изображения из событий имеет потенциал для создания изображений и видео с высоким динамическим диапазоном, высоким временным разрешением и уменьшенной размытостью движения. Реконструкция изображения может быть достигнута с использованием временного сглаживания, например, высокочастотного или дополнительного фильтра. [23] Альтернативные методы включают оптимизацию [24] и оценку градиента [25] с последующей интеграцией Пуассона .

Пространственные свертки

Концепция пространственной событийно-управляемой свертки была постулирована в 1999 году [26] (до DVS), но позже обобщена в ходе проекта ЕС CAVIAR [27] (в ходе которого был изобретен DVS) путем проецирования произвольного ядра свертки событие за событием вокруг координаты события в массиве интегрируемых и активируемых пикселей. [28] Расширение до многоядерных событийно-управляемых сверток [29] позволяет создавать глубокие сверточные нейронные сети, управляемые событиями . [30]

Обнаружение и отслеживание движения

Сегментация и обнаружение движущихся объектов, наблюдаемых камерой событий, может показаться тривиальной задачей, поскольку она выполняется датчиком на чипе. Однако эти задачи сложны, поскольку события несут мало информации [31] и не содержат полезных визуальных характеристик, таких как текстура и цвет. [32] Эти задачи становятся еще более сложными при наличии движущейся камеры, [31] поскольку события запускаются повсюду на плоскости изображения, создаваемые движущимися объектами и статической сценой (чье видимое движение вызвано эго-движением камеры). Некоторые из последних подходов к решению этой проблемы включают включение моделей компенсации движения [33] [34] и традиционных алгоритмов кластеризации . [35] [36] [32] [37]

Потенциальные приложения

Потенциальные приложения включают большинство задач, классически соответствующих обычной камере, но с акцентом на задачи машинного зрения (такие как распознавание объектов, автономные транспортные средства и робототехника. [21] ). Военные США рассматривают инфракрасные и другие событийные камеры из-за их более низкого энергопотребления и пониженного тепловыделения. [7]

Учитывая преимущества, которыми обладает камера событий по сравнению с обычными датчиками изображения, она считается подходящей для приложений, требующих низкого энергопотребления, малой задержки и сложности стабилизации линии обзора камеры. Эти приложения включают вышеупомянутые автономные системы, а также космическую съемку, безопасность, оборону и промышленный мониторинг. Примечательно, что хотя исследования в области цветового зондирования с помощью камер событий ведутся, [38] она пока не удобна для использования в приложениях, требующих цветового зондирования.

Смотрите также

Ссылки

  1. ^ Ли, Хунминь; Лю, Ханчао; Цзи, Сянъян; Ли, Гоци; Ши, Лупин (2017). «CIFAR10-DVS: набор данных потока событий для классификации объектов». Frontiers in Neuroscience . 11 : 309. doi : 10.3389/fnins.2017.00309 . ISSN  1662-453X. PMC  5447775. PMID  28611582 .
  2. ^ Сармади, Хамид; Муньос-Салинас, Рафаэль; Оливарес-Мендес, Мигель А.; Медина-Карнисер, Рафаэль (2021). «Обнаружение бинарных квадратных опорных маркеров с использованием камеры событий». IEEE Access . 9 : 27813–27826. arXiv : 2012.06516 . Bibcode : 2021IEEEA...927813S. doi : 10.1109/ACCESS.2021.3058423. ISSN  2169-3536. S2CID  228375825.
  3. ^ Лю, Мин; Дельбрюк, Тоби (май 2017 г.). «Блочное сопоставление оптического потока для динамических датчиков зрения: алгоритм и реализация ПЛИС». Международный симпозиум IEEE по схемам и системам (ISCAS) 2017 г. стр. 1–4. arXiv : 1706.05415 . doi :10.1109/ISCAS.2017.8050295. ISBN 978-1-4673-6853-7. S2CID  2283149 . Получено 27 июня 2021 г. .
  4. ^ abc Lichtsteiner, P.; Posch, C.; Delbruck, T. (февраль 2008 г.). "A 128×128 120 dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor" (PDF) . IEEE Journal of Solid-State Circuits . 43 (2): 566–576. Bibcode :2008IJSSC..43..566L. doi :10.1109/JSSC.2007.914337. ISSN  0018-9200. S2CID  6119048. Архивировано из оригинала (PDF) 2021-05-03 . Получено 2019-12-06 .
  5. ^ ab Posch, C.; Matolin, D.; Wohlgenannt, R. (январь 2011 г.). "Датчик изображения QVGA 143 дБ с динамическим диапазоном и безрамочной ШИМ-матрицей, сжатием видео без потерь на уровне пикселей и CDS во временной области". IEEE Journal of Solid-State Circuits . 46 (1): 259–275. Bibcode : 2011IJSSC..46..259P. doi : 10.1109/JSSC.2010.2085952. ISSN  0018-9200. S2CID  21317717.
  6. ^ Лонгинотти, Лука. "Характеристики продукта". iniVation . Архивировано из оригинала 2019-04-02 . Получено 2019-04-21 .
  7. ^ ab "Новый тип камеры". The Economist . 2022-01-29. ISSN  0013-0613 . Получено 2022-02-02 .
  8. ^ Ху, Юхуан; Лю, Ши-Чи; Дельбрюк, Тоби (19.04.2021). «v2e: от видеокадров к реалистичным событиям DVS». arXiv : 2006.07722 [cs.CV].
  9. ^ Скорка, Орит (2011-07-01). «На пути к цифровой камере, способной конкурировать с человеческим глазом». Журнал электронных изображений . 20 (3): 033009–033009–18. Bibcode : 2011JEI....20c3009S. doi : 10.1117/1.3611015. ISSN  1017-9909. S2CID  9340738.
  10. ^ DxO. "Nikon D850: Тесты и обзоры | DxOMark". www.dxomark.com . Получено 22.04.2019 .
  11. ^ "Phantom v2640". www.phantomhighspeed.com . Получено 22.04.2019 .
  12. ^ Лонгинотти, Лука. "Характеристики продукта". iniVation . Архивировано из оригинала 2019-04-02 . Получено 2019-04-22 .
  13. ^ Serrano-Gotarredona, T.; Linares-Barranco, B. (март 2013 г.). "128x128 1,5% контрастность чувствительность 0,9% FPN 3 мкс задержка 4 мВт асинхронный безрамочный динамический датчик зрения с использованием трансимпедансных усилителей" (PDF) . IEEE Journal of Solid-State Circuits . 48 (3): 827–838. Bibcode :2013IJSSC..48..827S. doi :10.1109/JSSC.2012.2230553. ISSN  0018-9200. S2CID  6686013.
  14. ^ Брандли, К.; Бернер, Р.; Ян, М.; Лю, С.; Дельбрюк, Т. (октябрь 2014 г.). «Датчик пространственно-временного видения с глобальным затвором, 240 × 180, 130 дБ, задержка 3 мкс». Журнал IEEE твердотельных схем . 49 (10): 2333–2341. Бибкод : 2014IJSSC..49.2333B. дои : 10.1109/JSSC.2014.2342715 . ISSN  0018-9200.
  15. ^ Боахен, К. (1996). «Ретиноморфные системы зрения». Труды Пятой международной конференции по микроэлектронике для нейронных сетей . С. 2–14. doi :10.1109/MNNFS.1996.493766. ISBN 0-8186-7373-7. S2CID  62609792.
  16. ^ Пош, Кристоф; Серрано-Готарредона, Тереза; Линарес-Барранко, Бернабе; Дельбрук, Тоби (2014). «Ретиноморфные датчики зрения на основе событий: биоинспирированные камеры с пиковым выходом». Труды IEEE . 102 (10): 1470–1484. doi : 10.1109/JPROC.2014.2346153. hdl : 11441/102353 . ISSN  1558-2256. S2CID  11513955.
  17. ^ Трухильо Эррера, Синтия; Лабрам, Джон Г. (2020-12-07). "Перовскитный ретиноморфный датчик". Applied Physics Letters . 117 (23): 233501. Bibcode : 2020ApPhL.117w3501T. doi : 10.1063/5.0030097 . ISSN  0003-6951. S2CID  230546095.
  18. ^ Миясака, Цутому; Мураками, Такуроу Н. (2004-10-25). «Фотоконденсатор: эффективный самозаряжающийся конденсатор для прямого хранения солнечной энергии». Applied Physics Letters . 85 (17): 3932–3934. Bibcode : 2004ApPhL..85.3932M. doi : 10.1063/1.1810630. ISSN  0003-6951.
  19. ^ "Перовскитный датчик видит больше, чем человеческий глаз". Physics World . 2021-01-18 . Получено 2021-10-28 .
  20. ^ «Простые датчики, похожие на глаза, могут сделать системы искусственного интеллекта более эффективными». Inside Science . 8 декабря 2020 г. Получено 28 октября 2021 г.
  21. ^ ab Hambling, David. «Зрение ИИ можно улучшить с помощью датчиков, имитирующих человеческие глаза». New Scientist . Получено 28.10.2021 .
  22. ^ "Глаз для ИИ: оптическое устройство имитирует сетчатку человека". Журнал BBC Science Focus . Получено 28 октября 2021 г.
  23. ^ ab Scheerlinck, Cedric; Barnes, Nick; Mahony, Robert (2019). «Оценка интенсивности в непрерывном времени с использованием камер событий». Computer Vision – ACCV 2018. Lecture Notes in Computer Science. Vol. 11365. Springer International Publishing. pp. 308–324. arXiv : 1811.00386 . doi :10.1007/978-3-030-20873-8_20. ISBN 9783030208738. S2CID  53182986.
  24. ^ Пан, Лиюань; Шерлинк, Седрик; Ю, Синь; Хартли, Ричард; Лю, Мяомяо; Дай, Ючао (июнь 2019 г.). «Оживление размытого кадра с высокой частотой кадров с помощью камеры событий». Конференция IEEE/CVF 2019 г. по компьютерному зрению и распознаванию образов (CVPR). Лонг-Бич, Калифорния, США: IEEE. стр. 6813–6822. arXiv : 1811.10180 . doi : 10.1109/CVPR.2019.00698. ISBN 978-1-7281-3293-8. S2CID  53749928.
  25. ^ Шерлинк, Седрик; Барнс, Ник; Махони, Роберт (апрель 2019 г.). «Асинхронные пространственные свертки изображений для камер событий». IEEE Robotics and Automation Letters . 4 (2): 816–822. arXiv : 1812.00438 . doi : 10.1109/LRA.2019.2893427. ISSN  2377-3766. S2CID  59619729.
  26. ^ Serrano-Gotarredona, T.; Andreou, A.; Linares-Barranco, B. (сентябрь 1999 г.). «Архитектура фильтрации изображений AER для систем обработки изображений». Труды IEEE по схемам и системам I: фундаментальная теория и приложения . 46 (9): 1064–1071. doi : 10.1109/81.788808. hdl : 11441/76405 . ISSN  1057-7122.
  27. ^ Serrano-Gotarredona, R.; et, al (сентябрь 2009 г.). "CAVIAR: A 45k-Neuron, 5M-Synapse, 12G-connects/sec AER Hardware Sensory-Processing-Learning-Actuating System for High Speed ​​Visual Object Recognition and Tracking". IEEE Transactions on Neural Networks . 20 (9): 1417–1438. doi : 10.1109/TNN.2009.2023653. hdl : 10261/86527 . ISSN  1045-9227. PMID  19635693. S2CID  6537174.
  28. ^ Серрано-Готарредона, Р.; Серрано-Готарредона, Т.; Акоста-Хименес, А.; Линарес-Барранко, Б. (декабрь 2006 г.). «Нейроморфный микрочип кортикального слоя для систем обработки изображений на основе спайковых событий». Труды IEEE по схемам и системам I: Регулярные статьи . 53 (12): 2548–2566. doi : 10.1109/TCSI.2006.883843. hdl : 10261/7823 . ISSN  1549-8328. S2CID  8287877.
  29. ^ Камуньяс-Меса, Л.; и др. (февраль 2012 г.). «Модуль многоядерного процессора свертки, управляемый событиями, для датчиков технического зрения, управляемых событиями». Журнал IEEE твердотельных схем . 47 (2): 504–517. Бибкод : 2012IJSSC..47..504C. дои :10.1109/JSSC.2011.2167409. hdl : 11441/93004 . ISSN  0018-9200. S2CID  23238741.
  30. ^ Pérez-Carrasco, JA; Zhao, B.; Serrano, C.; Acha, B.; Serrano-Gotarredona, T.; Chen, S.; Linares-Barranco, B. (ноябрь 2013 г.). «Отображение от кадрово-управляемых к безкадровым событийно-управляемым системам зрения с помощью низкоскоростного кодирования скорости и обработки совпадений. Применение к сверточным сетям с прямой связью». Труды IEEE по анализу шаблонов и машинному интеллекту . 35 (11): 2706–2719. doi : 10.1109/TPAMI.2013.71. hdl : 11441/79657 . ISSN  0162-8828. PMID  24051730. S2CID  170040.
  31. ^ аб Гальего, Гильермо; Дельбрюк, Тоби; Орчард, Гаррик Майкл; Бартолоцци, Кьяра; Таба, Брайан; Ченси, Андреа; Лейтенеггер, Стефан; Дэвисон, Эндрю; Конрадт, Йорг; Данилидис, Костас; Скарамуцца, Давиде (2020). «Видение, основанное на событиях: опрос». Транзакции IEEE по анализу шаблонов и машинному интеллекту . ПП (1): 154–180. arXiv : 1904.08405 . дои : 10.1109/TPAMI.2020.3008413. ISSN  1939-3539. PMID  32750812. S2CID  234740723.
  32. ^ ab Mondal, Anindya; R, Shashant; Giraldo, Jhony H.; Bouwmans, Thierry; Chowdhury, Ananda S. (2021). «Обнаружение движущихся объектов для событийного зрения с использованием спектральной кластеризации графов». Международная конференция IEEE/CVF по семинарам по компьютерному зрению (ICCVW) 2021 г. стр. 876–884. arXiv : 2109.14979 . doi :10.1109/ICCVW54120.2021.00103. ISBN 978-1-6654-0191-3. S2CID  238227007 – через IEEE Xplore.
  33. ^ Митрохин, Антон; Фермюллер, Корнелия; Парамешвара, Четан; Алоимонос, Яннис (октябрь 2018 г.). «Обнаружение и отслеживание движущихся объектов на основе событий». Международная конференция IEEE/RSJ по интеллектуальным роботам и системам (IROS) 2018 г. Мадрид: IEEE. стр. 1–9. arXiv : 1803.04523 . doi :10.1109/IROS.2018.8593805. ISBN 978-1-5386-8094-0. S2CID  3845250.
  34. ^ Stoffregen, Timo; Gallego, Guillermo; Drummond, Tom; Kleeman, Lindsay; Scaramuzza, Davide (2019). «Сегментация движения на основе событий с помощью компенсации движения». Международная конференция IEEE/CVF по компьютерному зрению (ICCV) 2019 г. стр. 7244–7253. arXiv : 1904.01293 . doi :10.1109/ICCV.2019.00734. ISBN 978-1-7281-4803-8. S2CID  91183976.
  35. ^ Piątkowska, Ewa; Belbachir, Ahmed Nabil; Schraml, Stephan; Gelautz, Margrit (июнь 2012 г.). «Пространственно-временное отслеживание нескольких лиц с использованием датчика динамического зрения». IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops 2012 г. стр. 35–40. doi :10.1109/CVPRW.2012.6238892. ISBN 978-1-4673-1612-5. S2CID  310741.
  36. ^ Чэнь, Гуан; Цао, Ху; Аафак, Мухаммад; Чэнь, Цзиененг; Йе, Канбо; Рёрбейн, Флориан; Конрадт, Йорг; Чэнь, Кай; Бин, Чжэньшань; Лю, Синбо; Хинц, Гереон (2018-12-02). "Нейроморфное зрение на основе обнаружения и отслеживания нескольких транспортных средств для интеллектуальной транспортной системы". Журнал передовых перевозок . 2018 : e4815383. doi : 10.1155/2018/4815383 . ISSN  0197-6729.
  37. ^ Мондал, Аниндья; Дас, Маюхмали (2021-11-08). «Обнаружение движущихся объектов для событийного зрения с использованием кластеризации k-средних». IEEE 8-я Международная конференция по электротехнике, электронике и вычислительной технике (UPCON) 2021 г. стр. 1–6. arXiv : 2109.01879 . doi :10.1109/UPCON52273.2021.9667636. ISBN 978-1-6654-0962-9. S2CID  237420620.
  38. ^ "CED: Color Event Camera Dataset". rpg.ifi.uzh.ch . Получено 2024-04-08 .