Блок обработки изображения

Новый класс микропроцессоров

Блок обработки изображений ( VPU ) — это (по состоянию на 2023 год) новый класс микропроцессоров ; это особый тип ускорителя искусственного интеллекта , предназначенный для ускорения задач машинного зрения . ^{[1] [2]}

Обзор

Устройства обработки изображений отличаются от графических устройств обработки (которые специализируются на кодировании и декодировании видео ) своей пригодностью для выполнения алгоритмов машинного зрения, таких как CNN ( сверточные нейронные сети ), SIFT ( масштабно-инвариантное преобразование признаков ) и им подобных.

Они могут включать прямые интерфейсы для получения данных с камер (обходя любые внешние буферы) и делать больший акцент на потоке данных на кристалле между многими параллельными исполнительными блоками с памятью блокнота , как многоядерный DSP . Но, как и блоки обработки видео, они могут быть сосредоточены на арифметике с фиксированной точкой низкой точности для обработки изображений .

Контраст с графическими процессорами

Они отличаются от графических процессоров , которые содержат специализированное оборудование для растеризации и отображения текстур (для 3D-графики ), и чья архитектура памяти оптимизирована для манипулирования растровыми изображениями в памяти вне чипа (чтение текстур и изменение буферов кадров с использованием шаблонов случайного доступа ). Визуальные процессоры оптимизированы для производительности на ватт, в то время как графические процессоры в основном сосредоточены на абсолютной производительности.

Целевыми рынками являются робототехника , Интернет вещей (IoT), новые классы цифровых камер для виртуальной и дополненной реальности , интеллектуальные камеры , а также интеграция ускорения машинного зрения в смартфоны и другие мобильные устройства .

Примеры

• Movidius Myriad X — это процессор обработки изображений третьего поколения в линейке Myriad VPU от Intel Corporation . ^[3]
• Movidius Myriad 2 , который используется в Google Project Tango , ^[4] Google Clips и дронах DJI ^[5]
• Pixel Visual Core (PVC) — полностью программируемый процессор обработки изображений , зрения и искусственного интеллекта для мобильных устройств.
• Microsoft HoloLens , который включает в себя ускоритель, называемый голографическим процессором (дополнительный к центральному процессору и графическому процессору), предназначенный для интерпретации входных данных камеры, для ускорения отслеживания окружающей среды и зрения для приложений дополненной реальности. ^[6]
• Eyeriss , проект Массачусетского технологического института , предназначенный для работы сверточных нейронных сетей . ^[7]
• NeuFlow — разработка Яна Лекуна (реализованная на ПЛИС ) для ускорения сверток с использованием архитектуры потока данных.
• Mobileye EyeQ от Mobileye
• Программируемый ускоритель машинного зрения (PVA) — 7-процессорный VLIW-процессор машинного зрения, разработанный компанией Nvidia .

Более широкая категория

Некоторые процессоры не описываются как VPU, но в равной степени применимы к задачам машинного зрения. Они могут образовывать более широкую категорию ускорителей ИИ (к которой также могут относиться VPU), однако по состоянию на 2016 год не существует единого мнения по поводу названия:

• IBM TrueNorth — нейроморфный процессор, предназначенный для решения аналогичных задач распознавания образов данных датчиков и интеллектуальных задач, включая видео/аудио.
• Нейронный процессор Qualcomm Zeroth — еще один представитель нового класса чипов, ориентированных на датчики и искусственный интеллект. ^[8]
• Все модели процессоров Intel Meteor Lake имеют встроенный универсальный процессорный блок (VPU) для ускорения вывода для компьютерного зрения и глубокого обучения. ^[9]

Смотрите также

• Adapteva Epiphany — многоядерный процессор с аналогичным акцентом на внутрикристальный поток данных, ориентированный на производительность 32-битных вычислений с плавающей точкой.
• CELL — многоядерный процессор с функциями, в значительной степени соответствующими функциям процессоров обработки изображений (инструкции и типы данных SIMD, подходящие для видео, а также встроенный прямой доступ к памяти между сверхоперативными блоками памяти)
• Сопроцессор
• Графический процессор , также часто используемый для запуска алгоритмов зрения. Архитектура Pascal от NVidia включает поддержку FP16, чтобы обеспечить лучшее соотношение точности и стоимости для рабочих нагрузок ИИ
• MPSoC
• OpenCL
• OpenVX
• Физический процессор , предпринятая в прошлом попытка дополнить центральный процессор и графический процессор высокопроизводительным ускорителем.
• Tensor Processing Unit — чип, используемый Google для ускорения вычислений ИИ.

Ссылки

1. Сет Коланер; Мэтью Хамрик (3 января 2016 г.). «Третий тип процессора для AR/VR: Movidius' Myriad 2 VPU». Tom's Hardware .
2. Прасид Банердже (28 марта 2016 г.). «Расцвет VPU: даем глаза машинам». Digit.in .
3. "Модули обработки изображений Intel® Movidius™ (VPU)". Intel .
4. Веклер, Адриан (14 февраля 2016 г.). «Дублинская технологическая фирма Movidius станет основой новой гарнитуры виртуальной реальности Google». Independent.ie . Получено 15 марта 2016 г.
5. "DJI представляет два новых флагманских дрона с Myriad 2 VPU - Технология машинного зрения - Movidius". www.movidius.com .
6. Фред О'Коннор (1 мая 2015 г.). «Microsoft глубже погружается в детали HoloLens: раскрыта роль «голографического процессора»». PCWorld .
7. Чен, Ю-Синь; Кришна, Тушар; Эмер, Джоэл и Сзе, Вивьен (2016). «Eyeriss: энергоэффективный реконфигурируемый ускоритель для глубоких сверточных нейронных сетей». Международная конференция IEEE по твердотельным схемам, ISSCC 2016, Сборник технических статей . стр. 262–263.
8. «Представляем процессоры Qualcomm Zeroth: вычисления, вдохновленные мозгом». Qualcomm . 10 октября 2013 г.
9. "Intel добавит процессорный блок VPU в чипы Meteor Lake 14-го поколения". PCMAG .

Внешние ссылки

• Архитектура Айрисса
• Блок голографической обработки
• NeuFlow: реконфигурируемый во время выполнения процессор потока данных для Vision Архивировано 05.05.2017 на Wayback Machine