Обнаружение перехода выстрела - Shot transition detection

Обнаружение перехода выстрела (или просто обнаружение выстрела) также называемый обнаружение разреза это область исследования обработка видео. Его предмет - автоматическое обнаружение переходов между выстрелы в цифровое видео с целью временной сегментации видео.[1]

Использовать

Обнаружение перехода кадра используется для разделения пленки на основные временные единицы, называемые выстрелы; а выстрелил представляет собой серию взаимосвязанных последовательных изображений, сделанных одновременно одной камерой и представляющих непрерывное действие во времени и пространстве.[2]

Эта операция очень полезна в программном обеспечении для пост-обработки видео. Это также фундаментальный этап автоматизированного индексирования и приложений поиска или реферирования видео на основе контента, которые обеспечивают эффективный доступ к огромным видеоархивам, например приложение может выбрать репрезентативное изображение из каждой сцены, чтобы создать визуальный обзор всего фильма, и, обрабатывая такие индексы, поисковая система может обрабатывать такие элементы поиска, как «покажите мне все фильмы, где есть сцена со львом».

Обнаружение вырезов не может сделать то же самое, что не мог бы сделать редактор-человек вручную, но это выгодно, поскольку экономит время. Кроме того, из-за увеличения использования цифрового видео и, как следствие, важности вышеупомянутых приложений индексирования, автоматическое обнаружение обрезки очень важно в настоящее время.

Основные технические термины

An Резкий переход.
В растворяться постепенно смешивает один снимок с другим с эффектом прозрачности.

Проще говоря, обнаружение нарезки - это поиск позиций в видео, в которых одна сцена заменяется другой с другим визуальным содержанием. С технической точки зрения используются следующие термины:

Цифровое видео состоит из кадры д.), которые быстро появляются перед взором зрителя, чтобы создать впечатление движения. «Цифровой» в данном контексте означает, что один кадр состоит из пиксели и данные представлены как двоичные данные, чтобы его можно было обработать на компьютере. Каждый кадр цифрового видео можно однозначно идентифицировать по его индекс кадра, серийный номер.

А выстрелил представляет собой последовательность кадров, непрерывно снятых одной камерой. Есть несколько кино переходы обычно используется при монтаже фильмов для наложения смежных кадров; В контексте обнаружения перехода выстрелов они обычно делятся на два типа:[3]

  • Резкие переходы - Это внезапный переход от одного кадра к другому, т.е. е. один кадр принадлежит первому снимку, следующий кадр принадлежит второму снимку. Они также известны как жесткие порезы или просто порезы.
  • Постепенные переходы - В этом виде переходов два кадра объединяются с использованием хроматических, пространственных или пространственно-хроматических эффектов, которые постепенно заменяют один кадр другим. Они также часто называются мягкими переходами и могут быть разных типов, например, салфетки, растворяется, исчезает...

«Обнаружение разреза» означает, что положение разреза получено; точнее, резкая резка получается как «резкая резка между кадром i и кадром i + 1», мягкая резка - как «мягкая резка от кадра i к кадру j».

Правильно обнаруженный переход называется ударить, разрез, который есть, но не был обнаружен, называется пропущенный удар и положение, при котором программное обеспечение предполагает разрез, но где на самом деле разреза нет, называется ложное попадание.

Введение в монтаж фильмов и исчерпывающий список методов перехода между кадрами можно найти на монтаж фильма.

Масштаб проблемы

Хотя обнаружение порезов кажется простой задачей для человека, для компьютеров это нетривиальная задача. Обнаружение обрезки было бы тривиальной проблемой, если бы каждый кадр видео был обогащен дополнительной информацией о когда и с помощью какой камеры оно было принято. Возможно, ни один алгоритм обнаружения разрезов никогда не сможет с уверенностью обнаружить все разрезы, если он не снабжен мощным искусственным интеллектом.[нужна цитата ]

Хотя большинство алгоритмов достигают хороших результатов с жесткой резкой, многие не распознают мягкую резку. Жесткие сокращения обычно сопровождаются внезапными и обширными изменениями визуального контента, тогда как мягкие сокращения характеризуются медленными и постепенными изменениями. Человек может компенсировать это отсутствие визуального разнообразия пониманием значения сцены. В то время как компьютер предполагает, что черная линия, стирающая кадр, является «просто еще одним обычным объектом, медленно движущимся по текущей сцене», человек понимает, что сцена заканчивается и заменяется черным экраном.

Методы

Каждый метод обнаружения порезов работает по двухфазному принципу:

  1. Подсчет очков - Каждой паре последовательных кадров цифрового видео присваивается определенная оценка, которая представляет собой сходство / несходство между ними.
  2. Решение - Все ранее подсчитанные баллы оцениваются, и если балл считается высоким, обнаруживается отсечение.

Этот принцип подвержен ошибкам. Во-первых, поскольку даже незначительное превышение порогового значения приводит к попаданию, необходимо гарантировать, что на первом этапе значения разбросаны в широких пределах, чтобы максимизировать среднюю разницу между оценкой «отсечка» и «отсутствие отсечки». Во-вторых, необходимо тщательно выбирать порог; обычно полезные значения можно получить с помощью статистических методов.

Обнаружение порезов. (1) Ударить: обнаружено резкое сокращение. (2) Пропущенный удар: мягкий крой (растворяться), который не был обнаружен. (3) Ложное попадание: одна мягкая резка, которая ошибочно интерпретируется как две разные жесткие резки.

Подсчет очков

Есть много возможных оценок, используемых для определения различий в визуальном содержании; некоторые из наиболее распространенных:

  • Сумма абсолютных разностей (ГРУСТНЫЙ). Это самый очевидный и самый простой алгоритм из всех: сравниваются два последовательных кадра. пиксель по пикселям, суммируя абсолютные значения разности каждых двух соответствующих пикселей. Результат - положительное число, которое используется как оценка. SAD очень чутко реагирует даже на незначительные изменения в сцене: быстрые движения камеры, взрывы или простое включение света в ранее темной сцене приводят к ложным срабатываниям. С другой стороны, SAD вообще почти не реагирует на мягкие разрезы. Тем не менее, SAD часто используется для создания базового набора «возможных попаданий», поскольку он обнаруживает все видимые резкие порезы с максимальной вероятностью.
  • Различия гистограмм (HD). Различия гистограммы очень похожи на Сумму абсолютных различий. Разница в том, что HD вычисляет разницу между гистограммы двух последовательных кадров; гистограмма - это таблица, содержащая для каждого цвета в кадре количество пикселей, закрашенных этим цветом. HD не так чувствителен к незначительным изменениям в сцене, как SAD, и поэтому дает меньше ложных срабатываний. Одна из основных проблем HD заключается в том, что два изображения могут иметь абсолютно одинаковые гистограммы, в то время как отображаемый контент сильно отличается, например. грамм. изображение моря и пляжа может иметь ту же гистограмму, что и изображение кукурузного поля и неба. HD не дает никаких гарантий, что распознает жесткую резку.
  • Коэффициент смены кромки (ECR). ECR пытается сравнить фактическое содержимое двух кадров. Он преобразует оба кадра в край картинки, я. е. он извлекает вероятные очертания объектов на изображениях (см. обнаружение края подробнее). Затем он сравнивает эти краевые изображения, используя расширение для вычисления вероятности того, что второй кадр содержит те же объекты, что и первый кадр. ECR - один из самых эффективных алгоритмов подсчета очков. Он очень чутко реагирует на резкие порезы и по своей природе может обнаружить многие мягкие порезы. В своей базовой форме даже ECR не может обнаруживать мягкие разрезы, такие как салфетки поскольку он рассматривает исчезающие объекты как обычные объекты, движущиеся по сцене. Тем не менее, ECR можно расширить вручную для распознавания особых форм мягких разрезов.

Наконец, сочетание двух или более из этих оценок может улучшить производительность.

Решение

На этапе принятия решения обычно используются следующие подходы:

  • Фиксированный порог - В этом подходе оценки сравниваются с порогом, который был установлен ранее, и если оценка выше порогового значения, объявляется сокращение.
  • Адаптивный порог - В этом подходе оценки сравниваются с порогом, который учитывает различные оценки в видео, чтобы адаптировать порог к свойствам текущего видео. Как и в предыдущем случае, если оценка выше соответствующего порога, объявляется отсечение.
  • Машинное обучение - Методы машинного обучения также могут применяться к процессу принятия решений.

Расходы

Все вышеперечисленные алгоритмы выполняются за O (n), то есть выполняются за линейное время, где п количество кадров во входном видео. Алгоритмы различаются постоянным коэффициентом, который определяется в основном Разрешение изображения видео.

Меры по качеству

Обычно для измерения качества алгоритма обнаружения порезов используются следующие три показателя:

  • Отзывать вероятность того, что существующий разрез будет обнаружен:
  • Точность - вероятность того, что предполагаемый разрез действительно является разрезом:
  • F1 - это комбинированная мера, которая дает высокое значение тогда и только тогда, когда точность и вспомнить результат в высоких значениях:


Символы означают: C, количество правильно обнаруженных разрезов ("cили правильные попадания "), M, количество не обнаруженных порезов ("мколичество обращений ") и F, количество ложно обнаруженных разрезов ("жalse hits "). Все эти меры являются математическими, т. е. выдают значения от 0 до 1. Основное правило: чем выше значение, тем лучше работает алгоритм.

Рекомендации

  1. ^ П. Баласубраманиам; Р. Утаякумар (2 марта 2012 г.). Математическое моделирование и научные вычисления: Международная конференция, ICMMSC 2012, Gandhigram, Тамил Наду, Индия, 16-18 марта 2012 г.. Springer. С. 421–. ISBN  978-3-642-28926-2.
  2. ^ Вэйминь Шэнь; Цзяньмин Юн; Юнь Ян (18 декабря 2008 г.). Совместная работа в дизайне с компьютерной поддержкой IV: 11-я Международная конференция, CSCWD 2007, Мельбурн, Австралия, 26-28 апреля 2007 г. Отредактированные избранные статьи. Springer Science & Business Media. С. 100–. ISBN  978-3-540-92718-1.
  3. ^ Джоан Кабестани; Игнасио Рохас; Гонсало Джойя (30 мая 2011 г.). Достижения в области вычислительного интеллекта: 11-я Международная рабочая конференция по искусственным нейронным сетям, IWANN 2011, Торремолинос-Малага, Испания, 8-10 июня 2011 г., Труды. Springer Science & Business Media. стр. 521–. ISBN  978-3-642-21500-1. Обнаружение выстрелов выполняется с помощью алгоритмов обнаружения перехода выстрелов. Для разделения видео на кадры используются два разных типа переходов: - Резкие переходы, также называемые переходами или прямыми переходами, происходят, когда внезапное изменение одного ...