Поле движения - Википедия - Motion field

В компьютерное зрение то поле движения является идеальным представлением трехмерного движения, проецируемого на изображение камеры. Учитывая упрощенную модель камеры, каждая точка ${ displaystyle (y_ {1}, y_ {2})}$ на изображении - это проекция какой-то точки в 3D-сцене, но положение проекции фиксированной точки в пространстве может меняться со временем. Поле движения можно формально определить как производную по времени от положения всех точек изображения при условии, что они соответствовать к фиксированным 3D точкам. Это означает, что поле движения может быть представлено как функция, которая отображает координаты изображения в двумерный вектор. Поле движения является идеальным описанием проецируемого трехмерного движения в том смысле, что оно может быть определено формально, но на практике обычно можно определить только приближение поля движения по данным изображения.

Вступление

Иллюстрация некоторых трехмерных точек и соответствующих им точек изображения, как описано модель камеры-обскуры. Поскольку трехмерные точки перемещаются в пространстве, соответствующие точки изображения также перемещаются. Поле движения состоит из векторов движения в изображении для всех точек изображения.

Модель камеры отображает каждую точку ${ displaystyle (x_ {1}, x_ {2}, x_ {3})}$ в 3D-пространстве до точки 2D-изображения ${ displaystyle (y_ {1}, y_ {2})}$ согласно некоторым функциям отображения ${ displaystyle m_ {1}, m_ {2}}$:

${ displaystyle { begin {pmatrix} y_ {1} y_ {2} end {pmatrix}} = { begin {pmatrix} m_ {1} (x_ {1}, x_ {2}, x_ {3 }) m_ {2} (x_ {1}, x_ {2}, x_ {3}) end {pmatrix}}}$

Предполагая, что сцена, изображаемая камерой, является динамической; он состоит из объектов, перемещающихся друг относительно друга, объектов, которые деформируются, и, возможно, также камеры, перемещающейся относительно сцены, фиксированная точка в трехмерном пространстве сопоставляется с различными точками на изображении. Дифференцируя предыдущее выражение по времени, получаем

${ displaystyle { begin {pmatrix} { frac {dy_ {1}} {dt}} [2 мм] { frac {dy_ {2}} {dt}} end {pmatrix}} = { begin {pmatrix} { frac {dm_ {1} (x_ {1}, x_ {2}, x_ {3})} {dt}} [2 мм] { frac {dm_ {2} (x_ {1} , x_ {2}, x_ {3})} {dt}} end {pmatrix}} = { begin {pmatrix} { frac {dm_ {1}} {dx_ {1}}} & { frac { dm_ {1}} {dx_ {2}}} и { frac {dm_ {1}} {dx_ {3}}} [2 мм] { frac {dm_ {2}} {dx_ {1}}} & { frac {dm_ {2}} {dx_ {2}}} & { frac {dm_ {2}} {dx_ {3}}} end {pmatrix}} , { begin {pmatrix} { frac {dx_ {1}} {dt}} [2mm] { frac {dx_ {2}} {dt}} [2mm] { frac {dx_ {3}} {dt}} end { pmatrix}}}$

Здесь

${ displaystyle mathbf {u} = { begin {pmatrix} { frac {dy_ {1}} {dt}} [2 мм] { frac {dy_ {2}} {dt}} end {pmatrix }}}$

поле движения и вектор ты зависит как от положения изображения ${ displaystyle (y_ {1}, y_ {2})}$ а также по времени т. По аналогии,

${ displaystyle mathbf {x '} = { begin {pmatrix} { frac {dx_ {1}} {dt}} [2 мм] { frac {dx_ {2}} {dt}} [ 2 мм] { frac {dx_ {3}} {dt}} end {pmatrix}}}$

- движение соответствующей трехмерной точки, и ее связь с полем движения определяется выражением

${ Displaystyle mathbf {u} = mathbf {M} , mathbf {x} '}$

куда ${ displaystyle mathbf {M}}$ зависит от положения изображения ${ displaystyle 2 times 3}$ матрица

${ displaystyle mathbf {M} = { begin {pmatrix} { frac {dm_ {1}} {dx_ {1}}} & { frac {dm_ {1}} {dx_ {2}}} & { frac {dm_ {1}} {dx_ {3}}} [2 мм] { frac {dm_ {2}} {dx_ {1}}} и { frac {dm_ {2}} {dx_ {2 }}} & { frac {dm_ {2}} {dx_ {3}}} end {pmatrix}}}$

Это соотношение подразумевает, что поле движения в определенной точке изображения инвариантно по отношению к трехмерным движениям, которые лежат в пустое пространство из ${ displaystyle mathbf {M}}$. Например, в случае камеры-обскуры все компоненты трехмерного движения, которые направлены к точке фокусировки камеры или от нее, не могут быть обнаружены в поле движения.

Особые случаи

Поле движения ${ displaystyle mathbf {v}}$ определяется как:

${ Displaystyle mathbf {v} = е { гидроразрыва {Z mathbf {V} -V_ {z} mathbf {P}} {Z ^ {2}}}}$

куда

${ Displaystyle mathbf {V} = - mathbf {T} - mathbf { omega} times mathbf {P}}$.

куда

• ${ displaystyle mathbf {P}}$ - это точка сцены, где Z - расстояние до этой точки сцены.
• ${ displaystyle mathbf {V}}$ относительное движение между камерой и сценой,
• ${ displaystyle mathbf {T}}$ - поступательная составляющая движения, а
• ${ displaystyle mathbf { omega}}$ - угловая скорость движения.

Отношение к оптическому потоку

Поле движения - это идеальная конструкция, основанная на идее, что можно определить движение каждой точки изображения, и выше описывается, как это 2D движение связано с 3D движением. Однако на практике истинное поле движения может быть приблизительно определено только на основе измерений данных изображения. Проблема в том, что в большинстве случаев каждая точка изображения совершает индивидуальное движение, которое, следовательно, необходимо локально измерять с помощью операция по соседству на данных изображения. Как следствие, правильное поле движения не может быть определено для определенных типов окрестностей и вместо этого может быть определено приближение, часто называемое оптический поток, необходимо использовать. Например, окрестность, которая имеет постоянную интенсивность, может соответствовать ненулевому полю движения, но оптический поток равен нулю, поскольку локальное движение изображения невозможно измерить. Аналогично, окрестность внутренняя 1-мерная (например, край или линия) могут соответствовать произвольному полю движения, но оптический поток может захватывать только нормальную составляющую поля движения. Существуют также другие эффекты, такие как шум изображения, 3D-окклюзия, временное искажение, которые присущи любому методу измерения оптического потока и вызывают отклонение результирующего оптического потока от истинного поля движения.

Короче говоря, поле движения не может быть правильно измерено для всех точек изображения, а оптический поток является приближением поля движения. Существует несколько различных способов вычисления оптического потока на основе разных критериев того, как должна производиться оптическая оценка.

Рекомендации

• Бернд Яне и Хорст Хаусекер (2000). Компьютерное зрение и приложения, Руководство для студентов и практиков. Академическая пресса. ISBN  0-13-085198-1.

• Линда Г. Шапиро и Джордж К. Стокман (2001). Компьютерное зрение. Прентис Холл. ISBN  0-13-030796-3.

• Милан Сонька, Вацлав Главац и Роджер Бойл (1999). Обработка изображений, анализ и машинное зрение. PWS Publishing. ISBN  0-534-95393-X.