Анализ видео контента - Video content analysis

Анализ видео контента (также аналитика видеоконтента, VCA) - это возможность автоматического анализа видео для обнаружения и определения временных и пространственных событий.

Эта техническая возможность используется в широком спектре областей, включая развлечения,[1] поиск видео и просмотр видео,[2] здравоохранение, розничная торговля, автомобилестроение, транспорт, Домашняя автоматизация, обнаружение пламени и дыма, безопасность.[3] В алгоритмы могут быть реализованы как программное обеспечение на машинах общего назначения или как аппаратное обеспечение в специализированных устройствах обработки видео.

В VCA можно реализовать множество различных функций. Видеообнаружение движения - одна из самых простых форм, при которой движение обнаруживается относительно фиксированной фоновой сцены. Более продвинутые функции включают видео слежение и эгоизм оценка.

На основе внутреннего представления, которое VCA создает в машине, можно создавать другие функции, такие как идентификация, поведение анализ или другие формы осведомленность о ситуации.

VCA полагается на хорошее входное видео, поэтому его часто комбинируют с такими технологиями улучшения видео, как видео шумоподавление, стабилизация изображения, нерезкая маскировка и сверхвысокое разрешение.

Функциональные возможности

В нескольких статьях дается обзор модулей, участвующих в разработке приложений видеоаналитики.[4][5]Это список известных функций и краткое описание.

ФункцияОписание
Динамическое маскированиеБлокировка части видеосигнала на основе самого сигнала, например, из соображений конфиденциальности.
Обнаружение пламени и дымаIP-камеры с интеллектуальной технологией видеонаблюдения можно использовать для обнаружения пламени и дыма за 15–20 секунд или даже быстрее благодаря встроенному чипу DSP. Чип обрабатывает алгоритмы, которые анализируют записанные видео на предмет характеристик пламени и дыма, таких как цветность, коэффициент мерцания, форма, узор и направление движения.
Оценка эмоцийОценка эмоций используется для определения местоположения камеры путем анализа ее выходного сигнала.
Обнаружение движенияОбнаружение движения используется для определения наличия соответствующего движения в наблюдаемой сцене.
Распознавание формыРаспознавание форм используется для распознавания фигур во входном видео, например кругов или квадратов. Эта функция обычно используется в более сложных функциях, таких как обнаружение объектов.
Обнаружение объектаОбнаружение объектов используется для определения наличия определенного типа объекта или объекта, например человека или автомобиля. Другие примеры включают обнаружение огня и дыма.
ПризнаниеРаспознавание лица и Автоматическое распознавание номерных знаков используются для распознавания и, следовательно, возможной идентификации людей или автомобилей.
Определение стиляОпределение стиля используется в настройках, где видеосигнал был произведено, например для телевещания. Обнаружение стиля определяет стиль производственного процесса.[6]
Обнаружение несанкционированного доступаОбнаружение несанкционированного доступа используется для определения того, является ли камера или выходной сигнал искаженным.
Видео слежениеВидео отслеживания используются для определения местоположения людей или объектов в видеосигнале, возможно, в связи с внешней опорной сеткой.
Анализ уровня ошибок видеоАнализ фальсификации содержимого видео сцены с помощью бесплатного программного обеспечения. видео Анализ уровня ошибок (ВЕЛА)
Совместная сегментация объектовСовместное обнаружение объектов, классификация и сегментация целей в одной или нескольких связанных видеопоследовательностях

Коммерческие приложения

VCA - относительно новая технология, и в середине 2000-х многие компании выпустили продукты с улучшенной VCA.[7][8][9] . Хотя существует множество приложений, послужной список различных решений VCA сильно различается. Такие функции, как обнаружение движения, подсчет людей и обнаружение оружия доступны как коммерческая готовая продукты и, как считается, имеют достойную репутацию (например, даже бесплатное ПО, такое как dsprobotics Flowstone, может обрабатывать анализ движения и цвета). В ответ на COVID-19 пандемия, многие производители программного обеспечения внедрили новую аналитику общественного здравоохранения, например медицинская маска обнаружение или социальное дистанцирование отслеживание.[10][11][12]

Во многих областях VCA реализован на Кабельное телевидение системы, либо распределенные по камерам (на периферии), либо централизованные в выделенных системах обработки. Видеоаналитика и Smart CCTV являются коммерческими терминами VCA в области безопасности. В Великобритании BSIA разработал вводное руководство для VCA в области безопасности.[13] В дополнение к видеоаналитике и в дополнение к ней также может использоваться аудиоаналитика.[14]

Производители программного обеспечения для управления видео постоянно расширяют спектр доступных модулей видеоаналитики. С новой технологией отслеживания подозреваемых можно легко отслеживать все движения этого объекта: откуда они пришли, когда, где и как они двигались. В рамках конкретной системы наблюдения технология индексации может обнаруживать людей со схожими характеристиками, которые находились в пределах видимости камер в течение или в течение определенного периода времени. Обычно система находит много разных людей с похожими функциями и представляет их в виде снимков. Оператору нужно только щелкнуть по тем изображениям и объектам, которые необходимо отслеживать. В течение минуты или около того можно отслеживать все движения конкретного человека и даже создавать пошаговое видео движений.

Kinect - это дополнительное периферийное устройство для игровой консоли Xbox 360, которое использует VCA для части пользовательского ввода.[15]

В розничной торговле VCA используется для отслеживания покупателей внутри магазина.[16] Таким образом можно получить тепловую карту магазина, которая полезна для дизайна магазина и оптимизации маркетинга. Другие приложения включают время ожидания при просмотре продуктов и обнаружение удаленного / оставленного элемента.

Качество VCA в коммерческих условиях определить сложно. Это зависит от многих переменных, таких как вариант использования, выполнение, конфигурация системы и вычислительная платформа. Типичные методы получения объективного представления о качестве в коммерческих условиях включают независимые сравнительный анализ[17] и назначенные места проведения испытаний.

VCA использовался для управление толпой целей, особенно в O2 Arena в Лондоне и London Eye.

Правоохранительные органы

Смотрите также: INDECT и Масса наблюдения

Полиция и криминалисты анализируют Кабельное телевидение видео при расследовании преступной деятельности. Полиция использует программное обеспечение, такое как Kinesense, который выполняет анализ видеоконтента для поиска ключевых событий в видео и поиска подозреваемых. Опросы показали, что до 75% случаев связано с видеонаблюдением. Полиция использует программное обеспечение для анализа видеоконтента для поиска в длинных видеороликах важных событий.[18][19]

Академическое исследование

Анализ видеоконтента - это часть компьютерное зрение и тем самым искусственный интеллект. Две основные инициативы по оценке научных достижений: TRECVID,[20] который использует небольшую часть видеоматериала i-LIDS и данные теста PETS.[21] Они сосредоточены на таких функциях, как отслеживание, обнаружение оставленного багажа и виртуальное ограждение. Тестируйте наборы видеоданных, такие как UCF101[22] позволяет признание действия исследования, включающие временный и пространственный визуальное внимание с сверточная нейронная сеть и долговременная кратковременная память. Программное обеспечение для видеоанализа также сопрягается с кадрами из носимый на теле и камеры приборной панели чтобы было легче редактировать отснятый материал для публичного раскрытия и идентифицировать события и людей в видеороликах.[23]

В Европа финансирует FP7 проект под названием P-REACT [24] для интеграции аналитики видеоконтента во встроенные системы с базами данных полиции и безопасности транспорта.[25]

Смотрите также

Рекомендации

  1. ^ KINECT В архиве 12 сентября 2010 г. Wayback Machine, дополнительное периферийное устройство для Xbox 360 консоль
  2. ^ Димитрова, Невенка и др. "Приложения анализа и поиска видеоконтента. »IEEE multimedia 9.3 (2002): 42-55.
  3. ^ Увеличение использования VCA в British Security, Отчет BSIA
  4. ^ Ник Гагвани, Введение в видеоаналитику
  5. ^ Ченг Пэн, Видео Аналитика
  6. ^ Определение стиля, Сис Г.М. Snoek et al., Обнаружение монологов теленовостей методом стилевого анализа, ICME'04
  7. ^ Квет, Майкл (27.01.2020). «Расцвет сетей интеллектуальных камер и почему мы должны их запретить». Перехват. Получено 2020-10-19.
  8. ^ «Айметис», Википедия, 2020-01-28, получено 2020-10-19
  9. ^ «Инфографика: история видеонаблюдения». IFSEC Global | Новости и ресурсы по безопасности и пожарной безопасности. 2013-12-12. Получено 2020-10-19.
  10. ^ «COVID-19 делает обнаружение масок незаменимым для видеоаналитики - asmag.com». www.asmag.com. Получено 2020-10-06.
  11. ^ Луверен, Питер ван де. «Функциональность, выходящая за рамки безопасности: появление камер с открытой платформой». www.securityinformed.com. Получено 2020-10-06.
  12. ^ "StackPath". www.securityinfowatch.com. Получено 2020-10-06.
  13. ^ Британский промышленный гид по VCA, 262 Введение в отраслевое руководство по анализу видеоконтента
  14. ^ Британский стартап, предоставляющий аудиоаналитику в индустрии видеонаблюдения.
  15. ^ "Проект Натал 101". Microsoft. 2009-06-01. Архивировано из оригинал на 2012-01-21. Получено 2009-06-02.
  16. ^ «Интеллектуальный модуль тепловой карты».
  17. ^ i-Lids, Инициатива по сравнительному анализу Министерство внутренних дел Великобритании
  18. ^ «Northgate предлагает полиции улучшенную систему анализа видеонаблюдения». Получено 29 декабря 2015.
  19. ^ «Northgate объединяется с дублинской технологической фирмой Kinesense, чтобы помочь полиции в анализе видео». Риск-менеджер онлайн. Получено 26 мая 2014.
  20. ^ TRECVID, Инициатива по академическому тестированию NIST
  21. ^ Контрольные данные PETS, Оценка эффективности отслеживания и наблюдения (PETS) Университет Ридинга
  22. ^ Центр, UCF (2013-10-17). «UCF101 - Набор данных распознавания действий». CRCV. Получено 2018-09-12.
  23. ^ «Камеры полицейского трупа сделают больше, чем просто вас запишут | Быстрая компания | Будущее бизнеса». Быстрая Компания. 2017-03-03. Получено 2017-03-08.
  24. ^ Сайт проекта P-REACT
  25. ^ «Kinesense запускает P-REACT, проект FP7 против мелких преступлений». Получено 27 мая 2014.