Видео слежение - Video tracking

Не путать с Отслеживание камеры.

Видео слежение это процесс поиска перемещение объект (или несколько объектов) с течением времени с помощью камеры. Он имеет множество применений, некоторые из которых: взаимодействие человека с компьютером, безопасность и наблюдение, видеосвязь и сжатие, дополненная реальность, контроль дорожного движения, медицинская визуализация[1] и редактирование видео.[2][3] Отслеживание видео может занять много времени из-за большого количества данных, содержащихся в видео. Еще больше усложняет необходимость использования распознавание объекта техники для отслеживания, сложная проблема сама по себе.

Задача

Пример визуальное сервоуправление для руки робота, чтобы поймать мяч путем отслеживания объекта с визуальной обратной связью, которая обрабатывается высокоскоростной системой обработки изображений.[4][5]

Цель видеотрекинга - связать целевые объекты в последовательных видеокадрах. Ассоциация может быть особенно сложной, когда объекты движутся быстро относительно частота кадров. Еще одна ситуация, усложняющая проблему, - это когда отслеживаемый объект со временем меняет ориентацию. Для этих ситуаций системы видеонаблюдения обычно используют модель движения, которая описывает, как изображение цели может измениться при различных возможных движениях объекта.

Примеры простых моделей движения:

  • При отслеживании плоских объектов модель движения представляет собой двухмерное преобразование (аффинное преобразование или омография ) изображения объекта (например, исходного кадра).
  • Когда целью является жесткий трехмерный объект, модель движения определяет его аспект в зависимости от его трехмерного положения и ориентации.
  • Для сжатие видео, ключевые кадры делятся на макроблоки. Модель движения - это нарушение ключевого кадра, где каждый макроблок транслируется вектором движения, заданным параметрами движения.
  • Изображение деформируемых объектов может быть покрыто сеткой, движение объекта определяется положением узлов сетки.

Алгоритмы

Для отслеживания видео алгоритм последовательно анализирует видеокадры и выводит движение целей между кадрами. Существует множество алгоритмов, каждый из которых имеет свои сильные и слабые стороны. При выборе алгоритма важно учитывать предполагаемое использование. Система визуального отслеживания состоит из двух основных компонентов: представление цели и локализация, а также фильтрация и ассоциация данных.

Целевое представление и локализация это в основном восходящий процесс. Эти методы предоставляют множество инструментов для идентификации движущегося объекта. Успешное обнаружение и отслеживание целевого объекта зависит от алгоритма. Например, отслеживание больших двоичных объектов полезно для определения движения человека, поскольку профиль человека динамически изменяется.[6] Обычно вычислительная сложность этих алгоритмов невысока. Ниже приведены некоторые общие целевое представление и локализация алгоритмы:

  • Отслеживание на основе ядра (средний сдвиг отслеживание[7]): итеративная процедура локализации, основанная на максимизации мера сходства (Коэффициент Бхаттачарьи ).
  • Отслеживание контура: определение границы объекта (например, активные контуры или Алгоритм конденсации ). Методы отслеживания контура итеративно развивают начальный контур, инициализированный из предыдущего кадра, в его новое положение в текущем кадре. Этот подход к отслеживанию контура напрямую развивает контур за счет минимизации энергии контура с помощью градиентного спуска.

Фильтрация и ассоциация данных в основном это нисходящий процесс, который включает в себя включение предварительной информации о сцене или объекте, работу с динамикой объекта и оценку различных гипотез. Эти методы позволяют отслеживать сложные объекты наряду с более сложным взаимодействием с объектами, например, отслеживать объекты, движущиеся за препятствиями.[8] Кроме того, сложность возрастает, если видеотрекер (также называемый ТВ-трекером или трекером целей) установлен не на жестком основании (на берегу), а на движущемся корабле (в море), где обычно используется инерциальная система измерения для предварительного -стабилизируйте видеотрекер, чтобы уменьшить требуемую динамику и пропускную способность системы камеры.[9]Вычислительная сложность этих алгоритмов обычно намного выше. Ниже приведены некоторые распространенные алгоритмы фильтрации:

  • Фильтр Калмана: оптимальный рекурсивный байесовский фильтр для линейных функций, подверженных гауссовскому шуму. Это алгоритм, который использует серию измерений, наблюдаемых с течением времени, содержащих шум (случайные вариации) и другие неточности, и производит оценки неизвестных переменных, которые имеют тенденцию быть более точными, чем оценки, основанные только на одном измерении.[10]
  • Фильтр твердых частиц: полезен для выборки основного распределения в пространстве состояний нелинейных и негауссовских процессов.[11][12][13]

Смотрите также

использованная литература

  1. ^ Питер Маунтни, Данаил Стоянов и Гуан-Чжун Ян (2010). «Трехмерное восстановление и отслеживание деформации тканей: введение в методы, основанные на лапароскопических или эндоскопических изображениях». Журнал обработки сигналов IEEE. 2010 июль. Объем: 27 дюймов (PDF). Журнал IEEE Signal Processing Magazine. 27 (4): 14–24. Дои:10.1109 / MSP.2010.936728. HDL:10044/1/53740.
  2. ^ Людмила Михайлова, Пол Браснетт, Нишан Канагараджан и Дэвид Булл (2007). Отслеживание объектов с помощью методов фильтрации частиц в видеопоследовательностях; В: Достижения и проблемы мультисенсорных данных и информации. Серия НАТО «Безопасность через науку», 8. Нидерланды: IOS Press. С. 260–268. CiteSeerX  10.1.1.60.8510. ISBN  978-1-58603-727-7.CS1 maint: несколько имен: список авторов (ссылка на сайт)
  3. ^ Kato, H .; Биллингхерст, М. (1999). «Отслеживание маркеров и калибровка HMD для системы видеоконференцсвязи с дополненной реальностью» (PDF). Материалы 2-го международного семинара IEEE и ACM по дополненной реальности (IWAR'99). С. 85–94. Дои:10.1109 / IWAR.1999.803809. ISBN  0-7695-0359-4.
  4. ^ «Высокоскоростная система отлова (экспонируется в Национальном музее новейшей науки и инноваций с 2005 года)». Лаборатория Исикавы Ватанабэ, Токийский университет. Получено 12 февраля 2015.
  5. ^ «Основная концепция и технические термины». Лаборатория Исикавы Ватанабэ, Токийский университет. Получено 12 февраля 2015.
  6. ^ С. Канг; Дж. Пайк; А. Кошан; Б. Абиди и М. А. Абиди (2003). «Видео слежение в реальном времени с помощью поворотных камер». Proc. SPIE. Шестая международная конференция по контролю качества с помощью искусственного зрения. 5132: 103–111. Bibcode:2003SPIE.5132..103K. CiteSeerX  10.1.1.101.4242. Дои:10.1117/12.514945.
  7. ^ Comaniciu, D .; Рамеш, В .; Меер, П. "Отслеживание нежестких объектов в реальном времени с использованием среднего сдвига, "Computer Vision and Pattern Recognition, 2000. Proceedings. IEEE Conference on, vol.2, no., Pp. 142, 149 vol.2, 2000"
  8. ^ Блэк, Джеймс, Тим Эллис и Пол Розин (2003). «Новый метод оценки эффективности видеотрекинга». Совместное IEEE Int. Семинар по визуальному наблюдению и оценке эффективности отслеживания и наблюдения: 125–132. CiteSeerX  10.1.1.10.3365.CS1 maint: несколько имен: список авторов (ссылка на сайт)
  9. ^ Стабилизированный гироскопом целеуказатель для морской установки
  10. ^ М. Арулампалам; С. Маскелл; Н. Гордон и Т. Клэпп (2002). «Учебное пособие по фильтрам частиц для нелинейного / негауссовского байесовского слежения». Транзакции IEEE при обработке сигналов. 50 (2): 174. Bibcode:2002ITSP ... 50..174A. CiteSeerX  10.1.1.117.1144. Дои:10.1109/78.978374.
  11. ^ Эмилио Маджо; Андреа Кавалларо (2010). Видеотрекинг: теория и практика. 1. ISBN  9780132702348. Видеотрекинг обеспечивает всестороннее рассмотрение фундаментальных аспектов разработки алгоритмов и приложений для задачи оценки с течением времени.
  12. ^ Картик Чандрасекаран (2010). Параметрическая и непараметрическая модель вычитания фона с отслеживанием объектов для VENUS. 1. ISBN  9780549524892. Вычитание фона - это процесс, с помощью которого мы сегментируем движущиеся области в последовательностях изображений.
  13. ^ Дж. Мартинес-дель-Ринкон, Д. Макрис, К. Оррите-Урунуэла и Ж.-К. Небель (2010). "Отслеживание положения человека и нижних частей тела с помощью фильтров Калмана и частиц, ограниченных биомеханикой человека ". Протоколы IEEE по системному человеку и кибернетике - Часть B ', 40 (4).

внешние ссылки