stringtranslate.com

Машинное зрение

Ранняя система машинного зрения Automatix (теперь часть Omron ) Autovision II 1983 года демонстрируется на торговой выставке. Камера на штативе направлена ​​вниз на световой стол для получения подсвеченного изображения, отображаемого на экране, которое затем подвергается извлечению пятен .

Машинное зрение — это технология и методы, используемые для обеспечения автоматического осмотра и анализа на основе изображений для таких приложений, как автоматический осмотр, управление процессами и управление роботами, обычно в промышленности. Машинное зрение относится ко многим технологиям, программным и аппаратным продуктам, интегрированным системам, действиям, методам и экспертизе. Машинное зрение как дисциплина системной инженерии можно считать отличной от компьютерного зрения , формы компьютерной науки . Оно пытается интегрировать существующие технологии новыми способами и применять их для решения реальных проблем. Этот термин является преобладающим для этих функций в средах промышленной автоматизации, но также используется для этих функций в других средах управления транспортными средствами.

Общий процесс машинного зрения включает планирование деталей требований и проекта, а затем создание решения. Во время выполнения процесс начинается с визуализации, за которой следует автоматизированный анализ изображения и извлечение необходимой информации.

Определение

Определения термина «машинное зрение» различаются, но все они включают технологию и методы, используемые для извлечения информации из изображения на автоматизированной основе, в отличие от обработки изображений , где выходом является другое изображение. Извлеченная информация может быть простым сигналом «хорошая часть/плохая часть» или более сложным набором данных, таким как идентификация, положение и ориентация каждого объекта на изображении. Информация может использоваться для таких приложений, как автоматический осмотр и управление роботами и процессами в промышленности, для мониторинга безопасности и управления транспортными средствами. [1] [2] [3] Эта область охватывает большое количество технологий, программных и аппаратных продуктов, интегрированных систем, действий, методов и экспертных знаний. [3] [4] Машинное зрение — практически единственный термин, используемый для этих функций в приложениях промышленной автоматизации; термин менее универсален для этих функций в других средах, таких как безопасность и управление транспортными средствами. Машинное зрение как дисциплина системной инженерии можно считать отличной от компьютерного зрения , формы базовой компьютерной науки ; машинное зрение пытается интегрировать существующие технологии новыми способами и применять их для решения реальных проблем таким образом, чтобы это соответствовало требованиям промышленной автоматизации и аналогичных областей применения. [3] : 5  [5] Термин также используется в более широком смысле на выставках и в торговых группах, таких как Automated Imaging Association и European Machine Vision Association. Это более широкое определение также охватывает продукты и приложения, чаще всего связанные с обработкой изображений. [4] Основными сферами применения машинного зрения являются автоматический контроль и управление промышленными роботами /процессами. [6] [7] : 6–10  [8] В последнее время термины компьютерное зрение и машинное зрение в большей степени слились воедино. [9] : 13  См. глоссарий машинного зрения .

Автоматическая проверка и сортировка на основе изображений

Основными сферами применения машинного зрения являются автоматическая инспекция и сортировка на основе изображений, а также управление роботами.; [6] [7] : 6–10  в этом разделе первое сокращенно называется «автоматическая инспекция». Общий процесс включает планирование деталей требований и проекта, а затем создание решения. [10] [11] В этом разделе описывается технический процесс, который происходит во время работы решения.

Методы и последовательность работы

Первым шагом в последовательности операций автоматического контроля является получение изображения , как правило, с использованием камер, объективов и освещения, которое было разработано для обеспечения дифференциации, требуемой последующей обработкой. [12] [13] Пакеты программного обеспечения MV и программы, разработанные в них, затем используют различные методы цифровой обработки изображений для извлечения необходимой информации и часто принимают решения (например, прошел/не прошел) на основе извлеченной информации. [14]

Оборудование

Компоненты автоматической системы контроля обычно включают освещение, камеру или другой формирователь изображений, процессор, программное обеспечение и устройства вывода. [7] : 11–13 

Визуализация

Устройство формирования изображения (например, камера) может быть либо отделено от основного блока обработки изображения, либо объединено с ним, в этом случае комбинация обычно называется интеллектуальной камерой или интеллектуальным датчиком. [15] [16] Включение полной функции обработки в тот же корпус, что и камера, часто называют встроенной обработкой. [17] При разделении подключение может быть выполнено к специализированному промежуточному оборудованию, пользовательскому устройству обработки или устройству захвата кадров в компьютере с использованием либо аналогового, либо стандартизированного цифрового интерфейса ( Camera Link , CoaXPress ). [18] [19] [20] [21] Реализации MV также используют цифровые камеры, способные к прямому подключению (без устройства захвата кадров) к компьютеру через интерфейсы FireWire , USB или Gigabit Ethernet . [21] [22]

В то время как в МВ чаще всего используется обычная (двумерная видимая световая) визуализация, альтернативы включают мультиспектральную визуализацию , гиперспектральную визуализацию , визуализацию в различных инфракрасных диапазонах, [23] линейную сканирующую визуализацию, трехмерную визуализацию поверхностей и рентгеновскую визуализацию. [6] Ключевыми отличиями в рамках двумерной видимой визуализации МВ являются монохромность и цветность, частота кадров , разрешение и то, является ли процесс визуализации одновременным по всему изображению, что делает его пригодным для движущихся процессов. [24]

Хотя подавляющее большинство приложений машинного зрения решаются с использованием двумерных изображений, приложения машинного зрения, использующие 3D-изображения, являются растущей нишей в отрасли. [25] [26] Наиболее часто используемый метод для 3D-изображения — это сканирующая триангуляция, которая использует движение продукта или изображения в процессе формирования изображения. Лазер проецируется на поверхности объекта. В машинном зрении это достигается с помощью сканирующего движения, либо путем перемещения заготовки, либо путем перемещения камеры и лазерной системы формирования изображения. Линия просматривается камерой под другим углом; отклонение линии представляет собой вариации формы. Линии из нескольких сканирований собираются в карту глубины или облако точек. [27] Стереоскопическое зрение используется в особых случаях, связанных с уникальными особенностями, присутствующими в обоих видах пары камер. [27] Другие 3D-методы, используемые для машинного зрения, — это время пролета и сетка. [27] [25] Одним из методов являются системы на основе сеточных массивов, использующие псевдослучайную структурированную световую систему, которая применялась в системе Microsoft Kinect примерно в 2012 году. [28] [29]

Обработка изображений

После получения изображения оно обрабатывается. [20] Центральные функции обработки обычно выполняются CPU , GPU , FPGA или их комбинацией. [17] Глубокое обучение и вывод предъявляют более высокие требования к производительности обработки. [30] Обычно используются несколько этапов обработки в последовательности, которая в конечном итоге приводит к желаемому результату. Типичная последовательность может начинаться с таких инструментов, как фильтры, которые изменяют изображение, за которыми следует извлечение объектов, затем извлечение (например, измерения, считывание кодов) данных из этих объектов, после чего следует передача этих данных или сравнение их с целевыми значениями для создания и передачи результатов «прошел/не прошел». Методы обработки изображений машинного зрения включают:

Выходы

Обычным выходом автоматических систем инспекции являются решения о прохождении/непрохождении. [14] Эти решения могут, в свою очередь, запускать механизмы, которые отклоняют неисправные элементы или подают звуковой сигнал. Другие распространенные выходные данные включают информацию о положении и ориентации объекта для систем наведения роботов. [6] Кроме того, типы выходных данных включают числовые данные измерений, данные, считанные с кодов и символов, подсчеты и классификацию объектов, отображение процесса или результатов, сохраненные изображения, сигналы тревоги от автоматизированных систем мониторинга пространства MV и сигналы управления процессом . [10] [13] Сюда также входят пользовательские интерфейсы, интерфейсы для интеграции многокомпонентных систем и автоматизированного обмена данными. [42]

Глубокое обучение

Термин « глубокое обучение » имеет различные значения, большинство из которых можно применить к методам, используемым в машинном зрении более 20 лет. Однако использование термина в «машинном зрении» началось в конце 2010-х годов с появлением возможности успешно применять такие методы к целым изображениям в промышленном пространстве машинного зрения. [43] Обычное машинное зрение обычно требует «физической» фазы решения автоматической инспекции машинного зрения для создания надежной простой дифференциации дефектов. Примером «простой» дифференциации является то, что дефекты темные, а хорошие части продукта светлые. Распространенной причиной, по которой некоторые приложения были невыполнимы, было то, что было невозможно достичь «простого»; глубокое обучение устраняет это требование, по сути «видя» объект больше так, как это делает человек, что теперь делает возможным выполнение этих автоматических приложений. [43] Система обучается на большом количестве изображений во время фазы обучения, а затем выполняет инспекцию во время использования во время выполнения, что называется «выводом». [43]

Управление роботом на основе визуализации

Машинное зрение обычно предоставляет информацию о местоположении и ориентации роботу, чтобы позволить роботу правильно захватить продукт. Эта возможность также используется для управления движением, которое проще, чем у роботов, например, контроллер движения с 1 или 2 осями. [6] Общий процесс включает планирование деталей требований и проекта, а затем создание решения. В этом разделе описывается технический процесс, который происходит во время работы решения. Многие из этапов процесса такие же, как и при автоматическом осмотре, за исключением того, что основное внимание уделяется предоставлению информации о положении и ориентации в результате. [6]

Рынок

Еще в 2006 году один отраслевой консультант сообщил, что рынок машинного зрения в Северной Америке оценивается в 1,5 миллиарда долларов. [44] Однако главный редактор отраслевого журнала о машинном зрении утверждал, что «машинное зрение — это не отрасль как таковая», а скорее «интеграция технологий и продуктов, которые предоставляют услуги или приложения, приносящие пользу настоящим отраслям, таким как автомобилестроение или производство потребительских товаров, сельское хозяйство и оборона». [4]

Смотрите также

Ссылки

  1. ^ Стегер, Карстен; Маркус Ульрих; Кристиан Видеманн (2018). Алгоритмы и приложения машинного зрения (2-е изд.). Вайнхайм: Wiley-VCH . п. 1. ISBN 978-3-527-41365-2. Получено 2018-01-30 .
  2. ^ Бейерер, Юрген; Пуэнте Леон, Фернандо и Фрезе, Кристиан (2016). Машинное зрение — автоматизированный визуальный осмотр: теория, практика и приложения. Берлин: Springer . doi :10.1007/978-3-662-47794-6. ISBN 978-3-662-47793-9. Получено 11 октября 2016 г. .
  3. ^ abc Graves, Mark & ​​Bruce G. Batchelor (2003). Машинное зрение для инспекции натуральных продуктов. Springer . стр. 5. ISBN 978-1-85233-525-0. Получено 2010-11-02 .
  4. ^ abc Holton, W. Conard (октябрь 2010 г.). "Под любым другим именем". Vision Systems Design . 15 (10). ISSN  1089-3709 . Получено 05.03.2013 .
  5. ^ Оуэн-Хилл, Алекс (21 июля 2016 г.). «Зрение робота против компьютерного зрения: в чем разница?». Робототехника завтра.
  6. ^ abcdefg Турек, Фред Д. (июнь 2011 г.). «Основы машинного зрения. Как заставить роботов видеть». NASA Tech Briefs . 35 (6): 60–62 . Получено 29 ноября 2011 г.
  7. ^ abc Cognex (2016). "Введение в машинное зрение" (PDF) . Assembly Magazine . Получено 9 февраля 2017 г.
  8. ↑ Люкенхаус, Максимилиан (1 мая 2016 г.). «Машинное зрение в IIoT». Журнал «Качество» .
  9. ^ Принципы компьютерного зрения , алгоритмы, приложения, обучение 5-е издание ER Davies Academic Press, Elselvier 2018 ISBN 978-0-12-809284-2
  10. ^ ab West, Perry Дорожная карта для создания системы машинного зрения Страницы 1-35
  11. ^ Декау, Дэвид (январь 2009 г.). «Интеграция: как заставить ее работать». Vision & Sensors : 16–20. Архивировано из оригинала 2020-03-14 . Получено 2012-05-12 .
  12. ^ Хорнберг, Александр (2006). Справочник по машинному зрению. Wiley-VCH . стр. 427. ISBN 978-3-527-40584-8. Получено 2010-11-05 .
  13. ^ ab Demant C.; Streicher-Abel B. & Waszkewitz P. (1999). Промышленная обработка изображений: визуальный контроль качества в производстве . Springer-Verlag. ISBN 3-540-66410-6.[ нужна страница ]
  14. ^ ab Хорнберг, Александр (2006). Справочник по машинному зрению. Wiley-VCH. стр. 429. ISBN 978-3-527-40584-8. Получено 2010-11-05 .
  15. ^ Belbachir, Ahmed Nabil, ред. (2009). Умные камеры . Springer. ISBN 978-1-4419-0952-7.[ нужна страница ]
  16. ^ Декау, Дэвид (февраль 2013 г.). «Изучите основы машинного зрения: часть 1». Vision Systems Design . 18 (2): 14–15 . Получено 05.03.2013 .
  17. ^ ab Критические соображения по проектированию встроенных систем машинного зрения Дэйва Райса и Эмбер Thousand Photonics Журнал Spectra, издаваемый Laurin Publishing Co. Выпуск за июль 2019 г. Страницы 60–64
  18. ^ Уилсон, Эндрю (31 мая 2011 г.). «Стандарт CoaXPress получает поддержку камеры и фрейм-граббера». Vision Systems Design . Получено 28.11.2012 .
  19. ^ Уилсон, Дэйв (12 ноября 2012 г.). «Камеры сертифицированы как соответствующие стандарту CoaXPress». Vision Systems Design . Получено 05.03.2013 .
  20. ^ ab Davies, ER (1996). Машинное зрение - Теория Алгоритмы Практика (2-е изд.). Harcourt & Company. ISBN 978-0-12-206092-2.[ нужна страница ] .
  21. ^ ab Dinev, Petko (март 2008 г.). «Цифровая или аналоговая? Выбор правильной камеры для приложения зависит от того, чего пытается достичь система машинного зрения». Vision & Sensors : 10–14. Архивировано из оригинала 2020-03-14 . Получено 2012-05-12 .
  22. ^ Уилсон, Эндрю (декабрь 2011 г.). «Фокус на продукте — взгляд в будущее Vision». Vision Systems Design . 16 (12) . Получено 05.03.2013 .
  23. ^ Уилсон, Эндрю (апрель 2011 г.). «Инфракрасный выбор». Vision Systems Design . 16 (4): 20–23 . Получено 05.03.2013 .
  24. ^ Уэст, Перри Хай Спид, Машинное зрение в реальном времени КиберОптика, страницы 1-38
  25. ^ ab Murray, Charles J (февраль 2012 г.). "3D Machine Vison Comes into Focus". Design News . Архивировано из оригинала 2012-06-05 . Получено 2012-05-12 .
  26. ^ Дэвис, Э. Р. (2012). Компьютерное и машинное зрение: теория, алгоритмы, практика (4-е изд.). Academic Press. стр. 410–411. ISBN 9780123869081. Получено 13.05.2012 .
  27. ^ abc 3-D Imaging: Практический обзор машинного зрения Фреда Турека и Кима Джексона Quality Magazine, выпуск за март 2014 г., том 53/номер 3, страницы 6–8
  28. ^ http://research.microsoft.com/en-us/people/fengwu/depth-icip-12.pdf ГИБРИДНЫЙ СТРУКТУРИРОВАННЫЙ СВЕТ ДЛЯ МАСШТАБИРУЕМОГО ИЗМЕРЕНИЯ ГЛУБИНЫ Юэйи Чжан, Чживэй Сюн, Фэн У Китайский университет науки и технологий, Хэфэй, Китай Microsoft Research Asia, Пекин, Китай
  29. ^ Р. Морано, К. Озтюрк, Р. Конн, С. Дубин, С. Циц, Дж. Ниссано, «Структурированный свет с использованием псевдослучайных кодов», Труды IEEE по анализу образов и машинному интеллекту 20 (3) (1998) 322–327
  30. ^ Поиск оптимального оборудования для глубокого обучения в машинном зрении. Майк Фассел. Журнал Vision Systems Design. Выпуск за сентябрь 2019 г., страницы 8–9.
  31. ^ Demant C.; Streicher-Abel B. & Waszkewitz P. (1999). Промышленная обработка изображений: визуальный контроль качества в производстве . Springer-Verlag. стр. 39. ISBN 3-540-66410-6.
  32. ^ Demant C.; Streicher-Abel B. & Waszkewitz P. (1999). Промышленная обработка изображений: визуальный контроль качества в производстве . Springer-Verlag. стр. 96. ISBN 3-540-66410-6.
  33. ^ Линда Г. Шапиро и Джордж К. Стокман (2001): «Компьютерное зрение», стр. 279-325, Нью-Джерси, Prentice-Hall, ISBN 0-13-030796-3 
  34. ^ Лорен Баргхаут. Визуальный таксометрический подход. Сегментация изображений с использованием нечетко-пространственного таксонного разреза, дающего контекстно-релевантные регионы. Обработка информации и управление неопределенностью в системах, основанных на знаниях. CCIS Springer-Verlag. 2014
  35. ^ Demant C.; Streicher-Abel B. & Waszkewitz P. (1999). Промышленная обработка изображений: визуальный контроль качества в производстве . Springer-Verlag. стр. 108. ISBN 3-540-66410-6.
  36. ^ Демант К.; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества в производстве . Springer-Verlag. стр. 95. ISBN 3-540-66410-6.
  37. ^ ab Turek, Fred D. (март 2007 г.). "Введение в машинное зрение на основе нейронных сетей". Vision Systems Design . 12 (3) . Получено 05.03.2013 .
  38. ^ Demant C.; Streicher-Abel B. & Waszkewitz P. (1999). Промышленная обработка изображений: визуальный контроль качества в производстве . Springer-Verlag. стр. 111. ISBN 3-540-66410-6.
  39. ^ ab Demant C.; Streicher-Abel B. & Waszkewitz P. (1999). Промышленная обработка изображений: визуальный контроль качества в производстве . Springer-Verlag. стр. 125. ISBN 3-540-66410-6.
  40. ^ Demant C.; Streicher-Abel B. & Waszkewitz P. (1999). Промышленная обработка изображений: визуальный контроль качества в производстве . Springer-Verlag. стр. 132. ISBN 3-540-66410-6.
  41. ^ Demant C.; Streicher-Abel B. & Waszkewitz P. (1999). Промышленная обработка изображений: визуальный контроль качества в производстве . Springer-Verlag. стр. 191. ISBN 3-540-66410-6.
  42. ^ Хорнберг, Александр (2006). Справочник по машинному зрению. Wiley-VCH . стр. 709. ISBN 978-3-527-40584-8. Получено 2010-11-05 .
  43. ^ abc Место глубокого обучения в журнале Machine Vision Quality Magazine, выпуск за май 2022 г., том 61, номер 5, изданный BNP Media II
  44. ↑ Hapgood, Fred (15 декабря 2006 г. – 1 января 2007 г.). «Фабрики будущего». CIO . 20 (6): 46. ISSN  0894-9301 . Получено 28 октября 2010 г.