Машинное зрение - Machine vision

Рано Automatix (теперь часть Омрон ) Система машинного зрения Autovision II с 1983 года демонстрируется на выставке. Камера на штативе направлена ​​вниз на световой стол для получения изображения с подсветкой, отображаемого на экране, которое затем подвергается воздействию извлечение капли.

Машинное зрение (MV) - это технология и методы, используемые для обеспечения визуализация -на основании автоматический проверка и анализ для таких приложений, как автоматический контроль, контроль процесса, а также наведение роботов, как правило, в промышленности. Машинное зрение относится ко многим технологиям, программным и аппаратным продуктам, интегрированным системам, действиям, методам и знаниям. Машинное зрение как системная инженерия дисциплину можно считать отличной от компьютерное зрение, форма Информатика. Он пытается по-новому интегрировать существующие технологии и применять их для решения реальных проблем. Этот термин является распространенным для этих функций в средах промышленной автоматизации, но также используется для этих функций в других средах, таких как безопасность и управление транспортными средствами.

Общий процесс машинного зрения включает детальное планирование требований и проекта, а затем создание решения. Во время выполнения процесс начинается с создания образа, за которым следует автоматическое анализ изображения и извлечение необходимой информации.

Определение

Определения термина «Машинное зрение» различаются, но все они включают технологии и методы, используемые для автоматического извлечения информации из изображения, в отличие от обработка изображений, где на выходе получается другое изображение. Извлеченная информация может быть простым сигналом хорошей / плохой части или более сложным набором данных, таких как идентичность, положение и ориентация каждого объекта на изображении. Эта информация может быть использована в таких приложениях, как автоматическая проверка и управление роботами и процессами в промышленности, для мониторинга безопасности и управления транспортными средствами.[1][2][3] Эта область охватывает большое количество технологий, программных и аппаратных продуктов, интегрированных систем, действий, методов и опыта.[3][4] Машинное зрение - практически единственный термин, используемый для обозначения этих функций в приложениях промышленной автоматизации; этот термин менее универсален для этих функций в других средах, таких как безопасность и управление транспортным средством. Машинное зрение как системная инженерия дисциплину можно считать отличной от компьютерное зрение, форма основных Информатика; Машинное зрение пытается по-новому интегрировать существующие технологии и применять их для решения реальных проблем таким образом, чтобы это отвечало требованиям промышленной автоматизации и аналогичным областям применения.[3]:5[5] Этот термин также используется в более широком смысле торговыми выставками и торговыми группами, такими как Ассоциация автоматизированной обработки изображений и Европейская ассоциация машинного зрения. Это более широкое определение также включает продукты и приложения, которые чаще всего связаны с обработкой изображений.[4] Основное применение машинного зрения - автоматический контроль и промышленный робот / руководство по процессу.[6][7]:6–10[8] Увидеть глоссарий машинного зрения.

Автоматическая проверка и сортировка на основе изображений

Основное применение машинного зрения - автоматическая проверка и сортировка на основе изображений, а также управление роботами;[6][7]:6–10 в этом разделе первое сокращено как «автоматическая проверка». Общий процесс включает подробное планирование требований и проекта, а затем создание решения.[9][10] В этом разделе описывается технический процесс, происходящий во время работы решения.

Методы и последовательность работы

Первым шагом в последовательности операций автоматической проверки является получение изображения, как правило, с использованием камер, объективов и освещения, которые были разработаны для обеспечения дифференциации, необходимой для последующей обработки.[11][12] MV программного обеспечения пакеты и программы, разработанные в них, затем используют различные цифровая обработка изображений методы для извлечения необходимой информации и часто принимают решения (например, прошел / не прошел) на основе извлеченной информации.[13]

Оборудование

Компоненты автоматической системы контроля обычно включают в себя освещение, камеру или другой формирователь изображений, процессор, программное обеспечение и устройства вывода.[7]:11–13

Изображения

Устройство формирования изображения (например, камера) может быть отделено от основного блока обработки изображений или объединено с ним, и в этом случае комбинация обычно называется умная камера или умный датчик.[14][15] Включение функции полной обработки в тот же корпус, что и камера, часто называют встроенной обработкой.[16] После разделения соединение может быть выполнено со специализированным промежуточным оборудованием, настраиваемым устройством обработки или Фрейм-граббер в компьютере с использованием аналогового или стандартизованного цифрового интерфейса (Ссылка на камеру, CoaXPress ).[17][18][19][20] Реализации MV также используют цифровые камеры с возможностью прямого подключения (без фреймграббера) к компьютеру через FireWire, USB или Гигабитный Ethernet интерфейсы.[20][21]

В то время как обычная визуализация (2D-визуализация в видимом свете) чаще всего используется в МВ, альтернативы включают мультиспектральная съемка, гиперспектральное изображение, получение изображений в различных инфракрасных диапазонах,[22] строчная развертка изображения, 3D-изображения поверхностей и рентгенографии.[6] Ключевые различия в визуализации в видимом свете MV 2D - монохроматическое и цветное, частота кадров, разрешение, а также то, является ли процесс визуализации одновременным по всему изображению, что делает его пригодным для движущихся процессов.[23]

Хотя подавляющее большинство приложений машинного зрения решается с использованием двухмерных изображений, приложения машинного зрения, использующие 3D-изображения, занимают растущую нишу в отрасли.[24][25] Наиболее часто используемый метод для создания трехмерных изображений - это триангуляция на основе сканирования, которая использует движение продукта или изображения во время процесса построения изображения. Лазер проецируется на поверхность объекта. В машинном зрении это достигается сканирующим движением либо путем перемещения заготовки, либо путем перемещения камеры и системы лазерной визуализации. Линия просматривается камерой под другим углом; отклонение линии представляет собой вариации формы. Линии нескольких сканирований собираются в карта глубины или облако точек.[26] Стереоскопическое зрение используется в особых случаях, когда используются уникальные особенности, присутствующие в обоих обзорах пары камер.[26] Другие 3D-методы, используемые для машинного зрения: время полета и на основе сетки.[26][24] Один из методов - это системы на основе решетчатых массивов с использованием псевдослучайной структурированной системы освещения, которая использовалась системой Microsoft Kinect около 2012 года.[27][28]

Обработка изображений

После получения изображения оно обрабатывается.[19] Функции центральной обработки обычно выполняются ЦПУ, а GPU, а FPGA или их комбинация.[16] Обучение глубокому обучению и логический вывод предъявляют более высокие требования к производительности обработки.[29] Обычно используется несколько этапов обработки в последовательности, которая приводит к желаемому результату. Типичная последовательность может начинаться с таких инструментов, как фильтры, которые изменяют изображение, за которым следует извлечение объектов, затем извлечение (например, измерения, считывание кодов) данных из этих объектов с последующим сообщением этих данных или их сравнение с целевыми значениями для создавать и сообщать результаты "прошел / не прошел". Методы обработки изображений машинного зрения включают в себя:

  • Сшивание /Постановка на учет: Объединение смежных 2D или 3D изображений.[нужна цитата ]
  • Фильтрация (например, морфологическая фильтрация )[30]
  • Установка порога: установка порога начинается с установки или определения значения серого, которое будет полезно для следующих шагов. Затем это значение используется для разделения частей изображения, а иногда и для преобразования каждой части изображения в просто черно-белое в зависимости от того, находится ли оно ниже или выше этого значения шкалы серого.[31]
  • Подсчет пикселей: считает количество светлых или темных пиксели[нужна цитата ]
  • Сегментация: Разбиение цифровое изображение на несколько сегменты чтобы упростить и / или изменить представление изображения на что-то более значимое и более простое для анализа.[32][33]
  • Обнаружение края: поиск краев объекта [34]
  • Анализ цвета: определение деталей, продуктов и предметов с помощью цвета, оценка качества по цвету и выделение Особенности используя цвет.[6]
  • Обнаружение и извлечение капель: проверка изображения на наличие дискретных пятен связанных пикселей (например, черной дыры в сером объекте) в качестве ориентиров изображения.[35]
  • Нейронная сеть / глубокое обучение / машинное обучение обработка: взвешенное и самообучающееся принятие многомерных решений [36] Примерно в 2019 году это значительно расширилось за счет использования глубокого обучения и машинного обучения для значительного расширения возможностей машинного зрения.
  • Распознавание образов включая сопоставление с шаблоном. Поиск, сопоставление и / или подсчет определенных шаблонов. Это может включать местоположение объекта, который может быть повернут, частично скрыт другим объектом или может изменяться по размеру.[37]
  • Штрих-код, Матрица данных и "2D штрих-код "чтение [38]
  • Оптическое распознавание символов: автоматическое чтение текста, например серийных номеров [39]
  • Измерение / Метрология: измерение размеров объекта (например, в пиксели, дюймы или миллиметры ) [40]
  • Сравнение с целевыми значениями для определения результата «прошел или не прошел» или «годен / не годен». Например, при проверке кода или штрих-кода считанное значение сравнивается с сохраненным целевым значением. Для калибровки измерение сравнивается с надлежащим значением и допусками. Для проверки буквенно-цифровых кодов значение OCR'd сравнивается с правильным или целевым значением. Для проверки на наличие пятен измеренный размер пятен можно сравнить с максимальными значениями, разрешенными стандартами качества.[38]

Выходы

Обычный результат работы систем автоматического контроля - это решения "прошел / не прошел".[13] Эти решения, в свою очередь, могут запускать механизмы, которые отклоняют неисправные элементы или поднимают тревогу. Другие общие выходные данные включают информацию о положении и ориентации объекта для систем управления роботом.[6] Кроме того, типы выходных данных включают в себя числовые данные измерений, данные, считанные из кодов и символов, подсчет и классификацию объектов, отображение процесса или результатов, сохраненные изображения, сигналы тревоги от автоматизированных систем мониторинга космического пространства MV и контроль процесса сигналы.[9][12] Сюда также входят пользовательские интерфейсы, интерфейсы для интеграции многокомпонентных систем и автоматизированного обмена данными.[41]

Управление роботом на основе изображений

Машинное зрение обычно предоставляет роботу информацию о местоположении и ориентации, чтобы робот мог правильно захватить продукт. Эта возможность также используется для управления движением, которое проще, чем у роботов, например, для 1 или 2-х осевого контроллера движения.[6] Общий процесс включает подробное планирование требований и проекта, а затем создание решения. В этом разделе описывается технический процесс, происходящий во время работы решения. Многие этапы процесса такие же, как и при автоматическом контроле, за исключением того, что основное внимание уделяется предоставлению информации о положении и ориентации в качестве конечного результата.[6]

Рынок

Еще в 2006 году один отраслевой консультант сообщил, что рынок MV в Северной Америке составляет 1,5 миллиарда долларов.[42] Однако главный редактор торгового журнала MV заявил, что «машинное зрение - это не отрасль как таковая», а скорее «интеграция технологий и продуктов, которые предоставляют услуги или приложения, которые приносят пользу настоящим отраслям, таким как автомобилестроение или производство потребительских товаров. , сельское хозяйство и оборона ".[4]

Смотрите также

использованная литература

  1. ^ Стегер, Карстен; Маркус Ульрих; Кристиан Видеманн (2018). Алгоритмы и приложения машинного зрения (2-е изд.). Вайнхайм: Вайли-ВЧ. п. 1. ISBN  978-3-527-41365-2. Получено 2018-01-30.
  2. ^ Бейерер, Юрген; Пуэнте Леон, Фернандо и Фрезе, Кристиан (2016). Машинное зрение - автоматизированный визуальный контроль: теория, практика и приложения. Берлин: Springer. Дои:10.1007/978-3-662-47794-6. ISBN  978-3-662-47793-9. Получено 2016-10-11.
  3. ^ а б c Грейвс, Марк и Брюс Г. Бэтчелор (2003). Машинное зрение для проверки натуральных продуктов. Springer. п. 5. ISBN  978-1-85233-525-0. Получено 2010-11-02.
  4. ^ а б c Холтон, У. Конард (октябрь 2010 г.). "Под любым другим именем". Дизайн систем технического зрения. 15 (10). ISSN  1089-3709. Получено 2013-03-05.
  5. ^ Оуэн-Хилл, Алекс (21 июля 2016 г.). «Зрение роботов против компьютерного зрения: в чем разница?». Робототехника завтра.
  6. ^ а б c d е ж г Турек, Фред Д. (июнь 2011 г.). «Основы машинного зрения: как заставить роботов видеть». Краткие технические описания НАСА. 35 (6): 60–62. Получено 2011-11-29.
  7. ^ а б c Cognex (2016). «Введение в машинное зрение» (PDF). Журнал сборки. Получено 9 февраля 2017.
  8. ^ Люккенхаус, Максимилиан (1 мая 2016 г.). «Машинное зрение в IIoT». Журнал качества.
  9. ^ а б Запад, Перри Дорожная карта для создания системы машинного зрения Страницы 1-35
  10. ^ Дечоу, Дэвид (январь 2009 г.). «Интеграция: как заставить работать». Зрение и датчики: 16–20. Архивировано из оригинал на 2020-03-14. Получено 2012-05-12.
  11. ^ Хорнберг, Александр (2006). Справочник по машинному зрению. Вайли-ВЧ. п. 427. ISBN  978-3-527-40584-8. Получено 2010-11-05.
  12. ^ а б Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве. Springer-Verlag. ISBN  3-540-66410-6.[страница нужна ]
  13. ^ а б Хорнберг, Александр (2006). Справочник по машинному зрению. Wiley-VCH. п. 429. ISBN  978-3-527-40584-8. Получено 2010-11-05.
  14. ^ Белбачир, Ахмед Набиль, изд. (2009). Умные камеры. Springer. ISBN  978-1-4419-0952-7.[страница нужна ]
  15. ^ Дечоу, Дэвид (февраль 2013 г.). «Изучите основы машинного зрения: часть 1». Дизайн систем технического зрения. 18 (2): 14–15. Получено 2013-03-05.
  16. ^ а б Критические соображения при проектировании встроенного технического зрения Дэйв Райс и Эмбер тысяча Фотонные спектры Журнал издан издательством Laurin Publishing Co. июльский выпуск 2019 г. Страницы 60-64
  17. ^ Уилсон, Эндрю (31 мая 2011 г.). «Стандарт CoaXPress получает поддержку камеры и захвата кадров». Дизайн систем технического зрения. Получено 2012-11-28.
  18. ^ Уилсон, Дэйв (12 ноября 2012 г.). «Камеры сертифицированы как соответствующие стандарту CoaXPress». Дизайн систем технического зрения. Получено 2013-03-05.
  19. ^ а б Дэвис, Э. Р. (1996). Машинное зрение - теория и практика алгоритмов (2-е изд.). Harcourt & Company. ISBN  978-0-12-206092-2.[страница нужна ].
  20. ^ а б Динев, Петко (март 2008 г.). «Цифровая или аналоговая? Выбор подходящей камеры для приложения зависит от того, чего пытается достичь система машинного зрения». Зрение и датчики: 10–14. Архивировано из оригинал на 2020-03-14. Получено 2012-05-12.
  21. ^ Уилсон, Эндрю (декабрь 2011 г.). «Ориентация на продукт - взгляд в будущее». Дизайн систем технического зрения. 16 (12). Получено 2013-03-05.
  22. ^ Уилсон, Эндрю (апрель 2011 г.). "Инфракрасный выбор". Дизайн систем технического зрения. 16 (4): 20–23. Получено 2013-03-05.
  23. ^ Запад, Перри Высокоскоростное машинное зрение в реальном времени CyberOptics, страницы 1-38
  24. ^ а б Мюррей, Чарльз Дж (февраль 2012 г.). «В фокусе внимания 3D-машина Vison». Новости дизайна. Архивировано из оригинал на 2012-06-05. Получено 2012-05-12.
  25. ^ Дэвис, Э. Р. (2012). Компьютерное и машинное зрение: теория, алгоритмы, практика (4-е изд.). Академическая пресса. С. 410–411. ISBN  9780123869081. Получено 2012-05-13.
  26. ^ а б c Трехмерное изображение: практический обзор машинного зрения Авторы: Фред Турек и Ким Джексон, журнал качества, выпуск за март 2014 г., том 53 / номер 3, страницы 6-8
  27. ^ http://research.microsoft.com/en-us/people/fengwu/depth-icip-12.pdf ГИБРИДНЫЙ СТРУКТУРИРОВАННЫЙ СВЕТ ДЛЯ МАСШТАБИРУЕМОЙ ГЛУБИНЫ Юэи Чжан, Чживэй Сюн, Китайский университет науки и технологий Фэн Ву, Хэфэй, Китай Microsoft Research Asia, Пекин, Китай
  28. ^ Р. Морано, К. Озтюрк, Р. Конн, С. Дубин, С. Циц, Дж. Ниссано, «Структурированный свет с использованием псевдослучайных кодов», IEEE Transactions on Pattern Analysis and Machine Intelligence 20 (3) (1998) 322–327
  29. ^ Поиск оптимального оборудования для глубокого обучения в машинном зрении Майк Фасселл, журнал Vision Systems Design, сентябрь 2019 г., страницы 8–9
  30. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве. Springer-Verlag. п. 39. ISBN  3-540-66410-6.
  31. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве. Springer-Verlag. п. 96. ISBN  3-540-66410-6.
  32. ^ Линда Г. Шапиро и Джордж К. Стокман (2001): «Компьютерное зрение», стр. 279-325, Нью-Джерси, Прентис-Холл, ISBN  0-13-030796-3
  33. ^ Лорен Бархут. Визуальный таксометрический подход Сегментация изображений с использованием нечетко-пространственного вырезания таксонов дает контекстуально релевантные регионы. Обработка информации и управление неопределенностью в системах, основанных на знаниях. CCIS Springer-Verlag. 2014 г.
  34. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве. Springer-Verlag. п. 108. ISBN  3-540-66410-6.
  35. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве. Springer-Verlag. п. 95. ISBN  3-540-66410-6.
  36. ^ Турек, Фред Д. (март 2007 г.). «Введение в машинное зрение нейронной сети». Дизайн систем технического зрения. 12 (3). Получено 2013-03-05.
  37. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве. Springer-Verlag. п. 111. ISBN  3-540-66410-6.
  38. ^ а б Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве. Springer-Verlag. п. 125. ISBN  3-540-66410-6.
  39. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве. Springer-Verlag. п. 132. ISBN  3-540-66410-6.
  40. ^ Demant C .; Штрейхер-Абель Б. и Вашкевиц П. (1999). Промышленная обработка изображений: визуальный контроль качества на производстве. Springer-Verlag. п. 191. ISBN  3-540-66410-6.
  41. ^ Хорнберг, Александр (2006). Справочник по машинному зрению. Вайли-ВЧ. п. 709. ISBN  978-3-527-40584-8. Получено 2010-11-05.
  42. ^ Хэпгуд, Фред (15 декабря 2006 г. - 1 января 2007 г.). «Фабрики будущего». ИТ-директор. 20 (6): 46. ISSN  0894-9301. Получено 2010-10-28.