Структурированный световой 3D-сканер - Structured-light 3D scanner

А структурированный 3D-сканер это 3D сканирование устройство для измерения трехмерной формы объекта с использованием проецируемые световые узоры и камера система.[1]

Принцип

Проецирование узкой полосы света на поверхность трехмерной формы создает линию освещения, которая кажется искаженной с других точек зрения, чем у проектора, и может использоваться для геометрической реконструкции формы поверхности (светового участка).

Более быстрый и универсальный метод - это проецирование узоров, состоящих из множества полос одновременно, или из произвольных полос, поскольку это позволяет одновременно получать множество образцов. При взгляде с разных точек зрения узор выглядит геометрически искаженным из-за поверхности форма объекта.

Хотя многие другие варианты структурированный свет возможны проекции, широко используются узоры из параллельных полос. На рисунке показана геометрическая деформация одиночной полосы, спроецированной на простую трехмерную поверхность. Смещение полос позволяет точно получить трехмерные координаты любых деталей на поверхности объекта.

Генерация световых узоров

Система записи рисунка бахромы с 2 камерами (избегая препятствий)

Установлены два основных метода создания полосового рисунка: лазерная интерференция и проекция.

Лазер метод интерференции работает с двумя широкими плоскими лазер балочные фасады. Их вмешательство приводит к образованию регулярных, равноотстоящих линий. Изменяя угол между этими лучами, можно получить рисунок разного размера. Этот метод позволяет легко и точно создавать очень тонкие узоры с неограниченной глубиной резкости. Недостатками являются высокая стоимость реализации, трудности с получением идеальной геометрии луча и типичные для лазера эффекты, такие как спекл-шум и возможная самоинтерференция с частями луча, отраженными от объектов. Как правило, нет средств модуляции отдельных полос, таких как коды Грея.

В метод проекции использует некогерентный свет и в основном работает как видеопроектор. Узоры обычно создаются путем пропускания света через цифровой пространственный модулятор света, как правило, на основе одной из трех наиболее распространенных в настоящее время технологий цифрового проецирования - пропускающего жидкокристаллический, светоотражающий жидкий кристалл на кремнии (LCOS) или цифровая обработка света (DLP; подвижное микрозеркало) модуляторы, которые имеют различные сравнительные преимущества и недостатки для этого приложения. Однако могли использоваться и другие методы проецирования.

Образцы, создаваемые проекторами цифровых дисплеев, имеют небольшие разрывы из-за пиксель границы в дисплеях. Однако достаточно маленькими границами можно практически пренебречь, так как они сглаживаются малейшей расфокусировкой.

Типичная измерительная установка состоит из одного проектора и как минимум одной камеры. Для многих приложений используются две камеры на противоположных сторонах проектора.

Невидимый (или незаметный) структурированный свет использует структурированный свет, не мешая другим задачам компьютерного зрения, для которых проецируемый узор будет запутанным. Примеры методов включают использование инфракрасного света или чрезвычайно высокой частоты кадров, чередующихся между двумя совершенно противоположными узорами.[2]

Калибровка

3D-сканер в библиотеке. Панели калибровки можно увидеть справа.

Геометрические искажения оптикой и перспективой необходимо компенсировать калибровка измерительного оборудования, используя специальные калибровочные шаблоны и поверхности. Математическая модель используется для описания свойств изображения проектора и камеры. По сути, основанный на простых геометрических свойствах камеры-обскуры, модель также должна учитывать геометрические искажения и оптическая аберрация линз проекторов и фотоаппаратов. Параметры камеры, а также ее ориентацию в пространстве можно определить серией калибровочных измерений, используя фотограмметрический регулировка связки.

Анализ рисунков полос

В наблюдаемых полосах есть несколько признаков глубины. Смещение любой отдельной полосы можно напрямую преобразовать в трехмерные координаты. Для этого необходимо идентифицировать отдельную полосу, что может быть выполнено, например, путем отслеживания или подсчета полос (метод распознавания образов). Другой распространенный метод проецирует чередующиеся узоры полос, что приводит к двоичному Код Грея последовательности, идентифицирующие количество каждой отдельной полосы, ударяющей по объекту. Важная метка глубины также является следствием различной ширины полосы вдоль поверхности объекта. Ширина полосы зависит от крутизны участка поверхности, т.е. производная возвышения. Частота и фаза полосы доставляют аналогичные сигналы и могут быть проанализированы преобразование Фурье. Наконец, вейвлет-преобразование недавно обсуждался с той же целью.

Во многих практических реализациях серии измерений, сочетающих распознавание образов, коды Грея и преобразование Фурье, получают для полного и однозначного восстановления форм.

Был продемонстрирован другой метод, также относящийся к области проекции полос, использующий глубину резкости камеры.[3]

Также возможно использовать проецируемые шаблоны в первую очередь как средство вставки структуры в сцены, для существенного фотограмметрический приобретение.

Точность и дальность

Оптическое разрешение методов проецирования полос зависит от ширины используемых полос и их оптического качества. Он также ограничен длиной волны света.

Сильное уменьшение ширины полосы оказывается неэффективным из-за ограничений по глубине резкости, разрешению камеры и разрешению дисплея. Поэтому метод фазового сдвига получил широкое распространение: по крайней мере, 3, обычно около 10 снимков делается со слегка смещенными полосами. Первые теоретические выводы этого метода основывались на полосах с модуляцией интенсивности синусоидальной формы, но методы работают и с «прямоугольными» модулированными полосами, которые также поступают с ЖК-дисплеев или дисплеев DLP. За счет фазового сдвига детали поверхности, например 1/10 шага полосы может быть разрешено.

Таким образом, современная профилометрия с оптическими полосами позволяет получить разрешение деталей вплоть до длины волны света, на практике менее 1 микрометра или, с более крупными полосами, до прибл. 1/10 ширины полосы. Что касается точности уровня, интерполяция по нескольким пикселям полученного изображения камеры может дать надежное разрешение по высоте, а также точность вплоть до 1/50 пикселя.

Объекты сколь угодно большого размера можно измерить с помощью соответственно больших полос и настроек. Документировано практическое применение с объектами размером несколько метров.

Типичные показатели точности:

  • Плоскостность поверхности шириной 2 фута (0,61 м) до 10 микрометров (0,00039 дюйма).
  • Форма мотора камера сгорания до 2 мкм (7,9×10−5 дюйм) (по высоте), что дает точность измерения объема в 10 раз лучше, чем при объемном дозировании.
  • Форма объекта от 2 дюймов (51 мм) до 1 микрометра (3,9×10−5 в)
  • Радиус лезвия, например, От 10 микрометров (0,00039 дюйма) до ± 0,4 мкм

Навигация

3D-осмотр автокресла

Поскольку с помощью этого метода можно измерять формы только с одной точки зрения, необходимо комбинировать полные трехмерные формы из разных измерений под разными углами. Это может быть достигнуто путем прикрепления маркеров к объекту и последующего объединения перспектив путем сопоставления этих маркеров. Процесс можно автоматизировать, установив объект на моторизованный поворотный стол или ЧПУ устройство позиционирования. Маркеры также могут быть нанесены на устройство позиционирования, а не на сам объект.

Собранные 3D-данные можно использовать для получения CAD (автоматизированное проектирование) данные и модели из существующих компонентов (обратный инжиниринг ), образцы или скульптуры ручной работы, природные объекты или артефакты.

Вызовы

Как и в случае со всеми оптическими методами, возникают трудности с использованием отражающих или прозрачных поверхностей. Отражения заставляют свет отражаться либо от камеры, либо прямо в ее оптику. В обоих случаях динамический диапазон камеры может быть превышен. Прозрачные или полупрозрачные поверхности также вызывают большие трудности. В этих случаях покрытие поверхностей тонким непрозрачным лаком только для измерения является обычной практикой. Недавний метод обработки сильно отражающих и зеркальных объектов путем вставки одномерного диффузора между источником света (например, проектором) и объектом, который нужно сканировать.[4] Для работы с идеально прозрачными и зеркальными объектами были предложены альтернативные оптические методы.[5]

Двойные отражения и взаимные отражения могут привести к наложению полосового рисунка на нежелательный свет, что полностью исключает возможность правильного обнаружения. Поэтому с отражающими полостями и вогнутыми предметами трудно обращаться. Также трудно обращаться с полупрозрачными материалами, такими как кожа, мрамор, воск, растения и человеческие ткани из-за явления подповерхностного рассеяния. В последнее время в сообществе специалистов по компьютерному зрению были предприняты попытки справиться с такими оптически сложными сценами путем перепроектирования схем освещения.[6] Эти методы показали многообещающие результаты 3D-сканирования традиционно сложных объектов, таких как сильно зеркальные металлические вогнутости и полупрозрачные восковые свечи.[7]

Скорость

Несмотря на то, что в большинстве вариантов структурированного освещения для каждого изображения необходимо создавать несколько шаблонов, высокоскоростные реализации доступны для ряда приложений, например:

  • Встроенный прецизионный контроль компонентов в процессе производства.
  • Приложения для здравоохранения, такие как живое измерение формы человеческого тела или микроструктуры кожи человека.

Были предложены приложения для кинофильмов, например получение данных пространственной сцены для трехмерного телевидения.

Приложения

  • Промышленные оптические метрологические системы (ATOS) от GOM GmbH используют технологию структурированного света для достижения высокой точности и масштабируемости измерений. Эти системы обладают функцией самоконтроля состояния калибровки, точности преобразования, изменений окружающей среды и перемещения деталей для обеспечения высококачественных данных измерений.[8]
  • Google Project Tango SLAM (Одновременная локализация и отображение ) с использованием технологий глубины, включая структурированный свет, время полета и стерео. Time of Flight требует использования инфракрасного (ИК) проектора и ИК-датчика; Стерео нет.
  • Технология от PrimeSense, использованный в ранней версии Microsoft Kinect, использовал шаблон проецируемых инфракрасных точек для создания плотного трехмерного изображения. (Позже Microsoft Kinect перешла на использование времяпролетная камера вместо структурированного света.)
  • Затылочный
    • Датчик структуры использует образец проецируемых инфракрасных точек, откалиброванных для минимизации искажений для создания плотного трехмерного изображения.
    • Structure Core использует стереокамеру, которая сопоставляется со случайным рисунком проецируемых инфракрасных точек для создания плотного трехмерного изображения.
  • Intel RealSense Камера проецирует серию инфракрасных изображений для получения трехмерной структуры.
  • Face ID Система работает, проецируя более 30 000 инфракрасных точек на лицо и создавая трехмерную карту лица.
  • VicoVR Датчик использует схему инфракрасных точек для отслеживания скелета.
  • Chiaro Technologies использует единый разработанный шаблон инфракрасных точек, называемый символическим светом, для потоковой передачи трехмерных облаков точек для промышленных приложений
  • Сделано, чтобы измерить модная розничная торговля
  • 3D-Автоматический оптический контроль
  • Прецизионное измерение формы для производственного контроля (например, лопатки турбины)
  • Обратный инжиниринг (получение точных данных САПР из существующих объектов)
  • Измерение объема (например, объема камеры сгорания в двигателях)
  • Классификация шлифовальных материалов и инструментов
  • Прецизионное измерение структуры шлифованных поверхностей
  • Определение радиуса лезвий режущего инструмента
  • Прецизионное измерение планарности
  • Документирование объектов культурного наследия
  • Захват среды для игр с дополненной реальностью
  • Измерение поверхности кожи для косметики и медицины
  • Измерение формы тела
  • Криминалистика инспекции
  • Структура и шероховатость дорожного покрытия
  • Измерение морщин на ткани и коже
  • Структурированная осветительная микроскопия
  • Измерение топографии солнечных элементов[9]
  • Система 3D Vision позволяет использовать робота DHL для электронного исполнения заказов [10]

Программного обеспечения

  • 3DUNDERWORLD SLS - ОТКРЫТЫЙ ИСТОЧНИК[11]
  • Сделай сам 3D-сканер на основе структурированного света и стереозрения на языке Python[12]
  • SLStudio - структурированный свет в реальном времени с открытым исходным кодом[13]

Смотрите также

использованная литература

  1. ^ Борко Фурт (2008). Энциклопедия мультимедиа (2-е изд.). Springer. п. 222. ISBN  978-0-387-74724-8.
  2. ^ Фофи, Дэвид; Т. Слива; Ю. Вуазен (январь 2004 г.). «Сравнительный обзор невидимого структурированного света» (PDF). Электронная визуализация SPIE - Применение машинного зрения в промышленном контроле XII. Сан-Хосе, США. С. 90–97.
  3. ^ "Tiefenscannende Streifenprojektion (DSFP) mit 3D-Kalibrierung". Штутгартский университет (на немецком). Архивировано из оригинал 9 апреля 2013 г.
  4. ^ Шри К. Наяр и Мохит Гупта, Рассеянный структурированный свет, Proc. Международная конференция IEEE по компьютерной фотографии, 2012 г.
  5. ^ Эрон Стегер и Кириакос Н. Кутулакос (2008). "Теория преломляющей и зеркальной трехмерной формы посредством триангуляции светового пути". Int. J. Компьютерное зрение, т. 76, нет. 1.
  6. ^ Мохит Гупта, Амит Агравал, Ашок Вирарагхаван и Шриниваса Г. Нарасимхан (2011). «Измерение формы при наличии взаимных отражений, подповерхностного рассеяния и расфокусировки». Proc. CVPR.CS1 maint: несколько имен: список авторов (ссылка на сайт)
  7. ^ Мохит Гупта; Шри К. Наяр (2012). «Микрофазовый сдвиг». Proc. CVPR.
  8. ^ «АТОС - Промышленная технология 3D сканирования». GOM GmbH. Получено 9 июля 2018.
  9. ^ У. Дж. Валецки, Ф. Сонди и М. М. Хилали, «Быстрая поточная метрология топографии поверхности, позволяющая рассчитывать напряжения для производства солнечных элементов с производительностью более 2000 пластин в час», 2008 г. Измер. Sci. Technol. 19 025302 (6pp) Дои:10.1088/0957-0233/19/2/025302
  10. ^ https://www.therobotreport.com/3d-vision-dhl-fulfillment-robot/
  11. ^ Кириакос Хераклеус и Хараламбос Пуллис (2014). «3DUNDERWORLD-SLS: система сканирования структурированного света с открытым исходным кодом для быстрого получения геометрических данных». arXiv:1406.6595 [cs.CV ].
  12. ^ Хесам Х. (2015). «Сделай сам 3D-сканер на основе структурированного света и стереозрения на языке Python».
  13. ^ Дж. Вильм; и другие. (2014). «SLStudio: среда с открытым исходным кодом для структурированного освещения в реальном времени». Дои:10.1109 / IPTA.2014.7002001.

Источники

дальнейшее чтение

  • Fringe 2005, 5-й международный семинар по автоматической обработке рисунков бахромы Берлин: Springer, 2006. ISBN  3-540-26037-4 ISBN  978-3-540-26037-0