Проблема с перепиской - Correspondence problem

Относительно задачи теории вычислений см. Проблема с почтовой корреспонденцией.

В проблема переписки относится к проблеме определения того, какие части одного изображения соответствуют каким частям другого изображения,[1] где различия связаны с движением камеры, истечением времени и / или движением объектов на фотографиях.

Переписка - фундаментальная проблема в компьютерное зрение - влиятельный исследователь компьютерного зрения Такео Канаде Однажды известная фраза о трех фундаментальных проблемах компьютерного зрения: «Переписка, переписка и переписка!» [2] Действительно, переписка, возможно, является ключевым строительным блоком во многих связанных приложениях: оптический поток (в котором два изображения следуют во времени), плотная стереозрение (в котором два изображения взяты из пары стереокамер), структура от движения (SfM) и визуальный SLAM (в котором изображения взяты из разных, но частично перекрывающихся видов сцены) и межсценовое соответствие (в котором изображения полностью взяты из разных сцен).

Обзор

Для двух или более изображений одной и той же трехмерной сцены, снятых с разных точек зрения, проблема соответствия относится к задаче поиска набора точек на одном изображении, которые можно идентифицировать как одинаковые точки на другом изображении. Для этого очки или Особенности на одном изображении совпадают с соответствующими точками или функциями на другом изображении. Изображения могут быть сняты с другой точки зрения, в разное время или с объектами в сцене, которые обычно движутся относительно камеры (камер).

Проблема соответствия может возникнуть в ситуации стерео, когда используются два изображения одной и той же сцены, или может быть обобщена на проблему соответствия N-ракурсов. В последнем случае изображения могут поступать либо с N разных камер, снимающих одновременно, либо с одной камеры, которая движется относительно сцены. Проблема усложняется, когда объекты в сцене движутся относительно камеры (камер).

Типичное применение задачи соответствия возникает в панорама создание или сшивание изображений - когда два или более изображения, которые имеют лишь небольшое перекрытие, должны быть объединены в более крупное составное изображение. В этом случае необходимо иметь возможность идентифицировать набор соответствующих точек в паре изображений, чтобы вычислить преобразование одного изображения для сшивания его с другим изображением.

Основные методы

Оценка движения отображение соответствия между видеокадрами[3]

Есть два основных способа найти соответствия между двумя изображениями.

На основе корреляции - проверка того, выглядит ли одно место на одном изображении другим на другом изображении.

На основе функций - поиск функций на изображении и проверка того, похож ли макет подмножества функций на двух изображениях. Чтобы избежать проблема диафрагмы Хорошая особенность должна иметь локальные вариации в двух направлениях.

Использовать

В компьютерном зрении проблема соответствия изучается для случая, когда компьютер должен решать ее автоматически, используя только изображения в качестве входных данных. Как только проблема соответствия решена, в результате чего есть набор точек изображения, которые находятся в соответствии, к этому набору могут быть применены другие методы. реконструировать положение, движение и / или поворот соответствующих трехмерных точек на сцене.

Проблема соответствия также является основой велосиметрия изображения частиц методика измерения, которая в настоящее время широко используется в механика жидкости поле для количественного измерения движения жидкости.

Простой пример

Чтобы найти соответствие между набором A [1,2,3,4,5] и набором B [3,4,5,6,7], найдите, где они перекрываются и насколько далеко один набор от другого. Здесь мы видим, что последние три числа в наборе A соответствуют первым трем числам в наборе B. Это показывает, что B смещен на 2 слева от A.

Простой пример на основе корреляции

Простой метод - сравнить небольшие участки между исправленный изображений. Это лучше всего работает с изображениями, снятыми примерно с одной и той же точки зрения и либо в одно и то же время, либо с минимальным движением сцены между захватами изображения или без него, например, стереоизображения.

Небольшое окно проходит через несколько позиций на одном изображении. Каждая позиция проверяется, чтобы увидеть, насколько хорошо она соотносится с тем же местом на другом изображении. Несколько соседних местоположений сравниваются на предмет объектов на одном изображении, которые могут не находиться точно в том же самом месте изображения на другом изображении. Вполне возможно, что нет подходящей формы. Это может означать, что эта функция отсутствует на обоих изображениях, она переместилась дальше, чем учитывалось при поиске, слишком сильно изменилась или скрывается другими частями изображения.

Смотрите также

Рекомендации

  1. ^ В. Бах; J.K. Аггарвал (29 февраля 1988 г.). Понимание движения: зрение робота и человека. Springer Science & Business Media. ISBN  978-0-89838-258-7.
  2. ^ X. Wang (сентябрь 2019 г.). Обучение и рассуждение с визуальным соответствием во времени.
  3. ^ Джон X. Лю (2006). Компьютерное зрение и робототехника. Nova Publishers. ISBN  978-1-59454-357-9.

внешняя ссылка