Матрица камеры - Википедия - Camera matrix

Эта статья нужны дополнительные цитаты для проверка. Пожалуйста помоги улучшить эту статью к добавление цитат в надежные источники. Материал, не полученный от источника, может быть оспорен и удален Найдите источники: «Матрица камеры»  – Новости  · газеты  · книги  · ученый  · JSTOR (Июль 2010 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

В компьютерное зрение а матрица камеры или же (камера) проекционная матрица это ${ displaystyle 3 times 4}$ матрица который описывает отображение камеры-обскуры от 3D-точек мира до 2D-точек на изображении.

Позволять ${ displaystyle mathbf {x}}$ быть представлением трехмерной точки в однородные координаты (4-мерный вектор), и пусть ${ displaystyle mathbf {y}}$ - представление изображения этой точки в камере-обскуре (трехмерный вектор). Тогда имеет место соотношение

${ Displaystyle mathbf {y} sim mathbf {C} , mathbf {x}}$

куда ${ displaystyle mathbf {C}}$ матрица камеры и ${ displaystyle , sim}$ Знак означает, что левая и правая части равны с точностью до ненулевого скалярного умножения.

Поскольку матрица камеры ${ displaystyle mathbf {C}}$ участвует в отображении между элементами двух проективные пространства, его тоже можно рассматривать как проективный элемент. Это означает, что он имеет только 11 степеней свободы, поскольку любое умножение на ненулевой скаляр приводит к эквивалентной матрице камеры.

Вывод

Отображение координат трехмерной точки п к координатам 2D-изображения проекции точки на плоскость изображения, согласно модель камеры-обскуры, дан кем-то

${ displaystyle { begin {pmatrix} y_ {1} y_ {2} end {pmatrix}} = { frac {f} {x_ {3}}} { begin {pmatrix} x_ {1} x_ {2} end {pmatrix}}}$

куда ${ displaystyle (x_ {1}, x_ {2}, x_ {3})}$ являются трехмерными координатами п относительно системы координат, центрированной камерой, ${ displaystyle (y_ {1}, y_ {2})}$ - координаты результирующего изображения, и ж фокусное расстояние камеры, для которого мы предполагаем ж > 0. Кроме того, мы также предполагаем, что Икс₃ > 0.

Чтобы получить матрицу камеры, приведенное выше выражение переписывается в терминах однородных координат. Вместо 2D-вектора ${ displaystyle (y_ {1}, y_ {2})}$ мы рассматриваем проективный элемент (трехмерный вектор) ${ Displaystyle mathbf {y} = (y_ {1}, y_ {2}, 1)}$ а вместо равенства мы рассматриваем равенство с точностью до масштабирования ненулевым числом, обозначаемое ${ displaystyle , sim}$. Сначала мы записываем координаты однородного изображения в виде выражений в обычных трехмерных координатах.

${ displaystyle { begin {pmatrix} y_ {1} y_ {2} 1 end {pmatrix}} = { frac {f} {x_ {3}}} { begin {pmatrix} x_ { 1} x_ {2} 1 end {pmatrix}} sim { begin {pmatrix} x_ {1} x_ {2} { frac {x_ {3}} {f}} end {pmatrix}}}$

Наконец, также трехмерные координаты выражаются в однородном представлении ${ displaystyle mathbf {x}}$ а так выглядит матрица камеры:

${ displaystyle { begin {pmatrix} y_ {1} y_ {2} 1 end {pmatrix}} sim { begin {pmatrix} 1 & 0 & 0 & 0 0 & 1 & 0 & 0 0 & 0 & { frac {1} { f}} & 0 end {pmatrix}} , { begin {pmatrix} x_ {1} x_ {2} x_ {3} 1 end {pmatrix}}}$ или же ${ Displaystyle mathbf {y} sim mathbf {C} , mathbf {x}}$

куда ${ displaystyle mathbf {C}}$ матрица камеры, которая здесь задается

${ displaystyle mathbf {C} = { begin {pmatrix} 1 & 0 & 0 & 0 0 & 1 & 0 & 0 0 & 0 & { frac {1} {f}} & 0 end {pmatrix}}}$,

и соответствующая матрица камеры теперь становится

${ displaystyle mathbf {C} = { begin {pmatrix} 1 & 0 & 0 & 0 0 & 1 & 0 & 0 0 & 0 & { frac {1} {f}} & 0 end {pmatrix}} sim { begin {pmatrix} f & 0 & 0 & 0 0 & f & 0 & 0 0 & 0 & 1 & 0 end {pmatrix}}}$

Последний шаг - следствие ${ displaystyle mathbf {C}}$ сам является проективным элементом.

Полученная здесь матрица камеры может показаться тривиальной в том смысле, что она содержит очень мало ненулевых элементов. Это в значительной степени зависит от конкретных систем координат, которые были выбраны для точек 3D и 2D. На практике, однако, распространены другие формы матриц камеры, как будет показано ниже.

Положение камеры

Матрица камеры ${ displaystyle mathbf {C}}$ полученный в предыдущем разделе, имеет пустое пространство который натянут на вектор

${ Displaystyle mathbf {п} = { begin {pmatrix} 0 0 0 1 end {pmatrix}}}$

Это также однородное представление трехмерной точки, имеющей координаты (0,0,0), то есть «центр камеры» (также известный как вступительный ученик; положение точечного отверстия камеры-обскуры ) я сидела О. Это означает, что центр камеры (и только эта точка) не может быть сопоставлен камерой с точкой на плоскости изображения (или, что эквивалентно, он отображается на все точки на изображении, поскольку каждый луч на изображении проходит через эту точку).

Для любой другой 3D-точки с ${ displaystyle x_ {3} = 0}$, результат ${ Displaystyle mathbf {y} sim mathbf {C} , mathbf {x}}$ хорошо определен и имеет вид ${ Displaystyle mathbf {y} = (y_ {1} , y_ {2} , 0) ^ { top}}$. Это соответствует бесконечно удаленной точке в проективный плоскость изображения (даже если плоскость изображения принята за Евклидова плоскость, соответствующей точки пересечения не существует).

Нормализованная матрица камеры и нормализованные координаты изображения

Полученную выше матрицу камеры можно упростить еще больше, если предположить, что f = 1:

${ displaystyle mathbf {C} _ {0} = { begin {pmatrix} 1 & 0 & 0 & 0 0 & 1 & 0 & 0 0 & 0 & 1 & 0 end {pmatrix}} = left ({ begin {array} {c | c} mathbf { I} & mathbf {0} end {array}} right)}$

куда ${ displaystyle mathbf {I}}$ здесь обозначает ${ displaystyle 3 times 3}$ единичная матрица. Обратите внимание, что ${ displaystyle 3 times 4}$ матрица ${ displaystyle mathbf {C}}$ здесь делится на конкатенацию ${ displaystyle 3 times 3}$ матрица и трехмерный вектор. Матрица камеры ${ displaystyle mathbf {C} _ {0}}$ иногда называют каноническая форма.

До сих пор все точки в трехмерном мире были представлены в виде камера по центру система координат, то есть система координат, которая берет начало в центре камеры (расположение точечного отверстия камеры-обскуры ). Однако на практике трехмерные точки могут быть представлены в виде координат относительно произвольной системы координат (X1 ', X2', X3 '). Предполагая, что оси координат камеры (X1, X2, X3) и оси (X1 ', X2', X3 ') относятся к евклидовому типу (ортогональному и изотропному), существует уникальное евклидово трехмерное преобразование (вращение и перенос) между две системы координат. Другими словами, камера не обязательно находится в исходной точке, если смотреть вдоль z ось.

Две операции поворота и переноса трехмерных координат можно представить как две ${ displaystyle 4 times 4}$ матрицы

${ displaystyle left ({ begin {array} {c | c} mathbf {R} & mathbf {0} hline mathbf {0} & 1 end {array}} right)}$ и ${ displaystyle left ({ begin {array} {c | c} mathbf {I} & mathbf {t} hline mathbf {0} & 1 end {array}} right)}$

куда ${ displaystyle mathbf {R}}$ это ${ displaystyle 3 times 3}$ матрица вращения и ${ Displaystyle mathbf {т}}$ - трехмерный вектор трансляции. Когда первая матрица умножается на однородное представление трехмерной точки, результатом является однородное представление повернутой точки, а вторая матрица вместо этого выполняет перенос. Последовательное выполнение двух операций, то есть сначала поворота, а затем перемещения (с вектором перемещения, заданным в уже повернутой системе координат), дает комбинированную матрицу поворота и перемещения.

${ displaystyle left ({ begin {array} {c | c} mathbf {R} & mathbf {t} hline mathbf {0} & 1 end {array}} right)}$

При условии, что ${ displaystyle mathbf {R}}$ и ${ Displaystyle mathbf {т}}$ являются в точности поворотом и перемещением, которые связывают две системы координат (X1, X2, X3) и (X1 ', X2', X3 ') выше, это означает, что

${ displaystyle mathbf {x} = left ({ begin {array} {c | c} mathbf {R} & mathbf {t} hline mathbf {0} & 1 end {array}} right) mathbf {x} '}$

куда ${ displaystyle mathbf {x} '}$ однородное представление точки п в системе координат (X1 ', X2', X3 ').

Предполагая также, что матрица камеры имеет вид ${ displaystyle mathbf {C} _ {0}}$, отображение координат в системе (X1, X2, X3) на координаты однородного изображения становится

${ displaystyle mathbf {y} sim mathbf {C} _ {0} , mathbf {x} = left ({ begin {array} {c | c} mathbf {I} & mathbf { 0} end {array}} right) , left ({ begin {array} {c | c} mathbf {R} & mathbf {t} hline mathbf {0} & 1 end {array}} right) mathbf {x} '= left ({ begin {array} {c | c} mathbf {R} & mathbf {t} end {array}} right) , mathbf {x} '}$

Следовательно, матрица камеры, которая связывает точки в системе координат (X1 ', X2', X3 ') с координатами изображения, является

${ displaystyle mathbf {C} _ {N} = left ({ begin {array} {c | c} mathbf {R} & mathbf {t} end {array}} right)}$

конкатенация трехмерной матрицы вращения и трехмерного вектора переноса.

Матрица камеры такого типа называется нормализованная матрица камеры, предполагается, что фокусное расстояние = 1 и что координаты изображения измеряются в системе координат, где начало координат расположено на пересечении оси X3 ​​и плоскости изображения и имеет те же единицы измерения, что и система трехмерных координат. Полученные координаты изображения называются нормализованные координаты изображения.

Положение камеры

Опять же, нулевое пространство нормализованной матрицы камеры, ${ displaystyle mathbf {C} _ {N}}$ описанный выше, натянут на 4-мерный вектор

${ displaystyle mathbf {n} = { begin {pmatrix} - mathbf {R} ^ {- 1} , mathbf {t} 1 end {pmatrix}} = { begin {pmatrix} { tilde { mathbf {n}}} 1 end {pmatrix}}}$

Это также, опять же, координаты центра камеры, теперь относительно системы (X1 ', X2', X3 '). Это можно увидеть, применив сначала поворот, а затем перенос к трехмерному вектору. ${ Displaystyle { тильда { mathbf {п}}}}$ и результатом является однородное представление трехмерных координат (0,0,0).

Это означает, что центр камеры (в его однородном представлении) лежит в нулевом пространстве матрицы камеры при условии, что он представлен в виде трехмерных координат относительно той же системы координат, что и матрица камеры.

Нормализованная матрица камеры ${ displaystyle mathbf {C} _ {N}}$ теперь можно записать как

${ Displaystyle mathbf {C} _ {N} = mathbf {R} , left ({ begin {array} {c | c} mathbf {I} & mathbf {R} ^ {- 1} , mathbf {t} end {array}} right) = mathbf {R} , left ({ begin {array} {c | c} mathbf {I} & - { tilde { mathbf {n}}} end {array}} right)}$

куда ${ Displaystyle { тильда { mathbf {п}}}}$ - трехмерные координаты камеры относительно системы (X1 ', X2', X3 ').

Общая матрица камеры

Учитывая отображение, созданное нормализованной матрицей камеры, полученные нормализованные координаты изображения могут быть преобразованы с помощью произвольного 2D омография. Это включает в себя 2D-перемещения и вращения, а также масштабирование (изотропное и анизотропное), а также общие 2D перспективные преобразования. Такое преобразование можно представить как ${ displaystyle 3 times 3}$ матрица ${ displaystyle mathbf {H}}$ который отображает однородные нормализованные координаты изображения ${ displaystyle mathbf {y}}$ к однородным преобразованным координатам изображения ${ displaystyle mathbf {y} '}$:

${ Displaystyle mathbf {y} '= mathbf {H} , mathbf {y}}$

Вставка приведенного выше выражения для нормализованных координат изображения через трехмерные координаты дает

${ Displaystyle mathbf {y} '= mathbf {H} , mathbf {C} _ {N} , mathbf {x}'}$

Это дает наиболее общий вид матрицы камеры.

${ displaystyle mathbf {C} = mathbf {H} , mathbf {C} _ {N} = mathbf {H} , left ({ begin {array} {c | c} mathbf { R} & mathbf {t} end {array}} right)}$

Смотрите также

• 3D проекция

Рекомендации

• Ричард Хартли и Эндрю Зиссерман (2003). Многоканальная геометрия в компьютерном зрении. Издательство Кембриджского университета. ISBN  0-521-54051-8.