Резекция камеры - Camera resectioning

Резекция камеры это процесс оценки параметров модель камеры-обскуры аппроксимация камеры, которая произвела данную фотографию или видео. Обычно параметры камеры-обскуры представлены в матрице 3 × 4, называемой матрица камеры.

Этот процесс часто называют геометрическая калибровка камеры или просто калибровка камеры, хотя этот термин может также относиться к фотометрическая калибровка камеры.

Определения

Резекция камеры определяет, какой падающий свет связан с каждым пикселем результирующего изображения. В идеале камеры-обскуры, простой матрица проекции для этого достаточно. В более сложных системах камеры ошибки, возникающие из-за смещения линз и деформаций их структур, могут привести к более сложным искажениям в конечном изображении.

Матрица проекции камеры получается из внутренних и внешних параметров камеры и часто представлена серией преобразований; например, матрица внутренних параметров камеры, 3 × 3 матрица вращения, и вектор перевода. Матрица проекции камеры может использоваться для связывания точек в пространстве изображения камеры с местоположениями в трехмерном мировом пространстве.

Резекция камеры часто используется при применении стереозрение где матрицы проекции двух камер используются для вычисления мировых координат точки в трехмерном пространстве, просматриваемой обеими камерами.

Некоторые люди называют это калибровка камеры, но многие ограничивают термин калибровки камеры только оценкой внутренних или внутренних параметров.

Однородные координаты

В этом контексте мы используем ${displaystyle [u v 1] ^ {T}}$ для представления положения 2D точки в пиксель координаты и ${displaystyle [x_ {w} y_ {w} z_ {w} 1] ^ {T}}$ используется для представления положения трехмерной точки в Мир координаты. В обоих случаях они представлены в однородные координаты (т.е. они имеют дополнительный последний компонент, который изначально, по соглашению, равен 1), что является наиболее распространенным обозначением в робототехника и жесткое тело трансформирует.

Проекция

Ссылаясь на модель камеры-обскуры, а матрица камеры ${displaystyle M}$ используется для обозначения проективного отображения из Мир координаты к пиксель координаты.

{displaystyle z_ {c} {egin {bmatrix} u v 1end {bmatrix}} = K, {egin {bmatrix} R & Tend {bmatrix}} {egin {bmatrix} x_ {w} y_ {w} z_ { w} 1end {bmatrix}} = M {egin {bmatrix} x_ {w} y_ {w} z_ {w} 1end {bmatrix}}}

куда ${displaystyle M = K, {egin {bmatrix} R & Tend {bmatrix}}}$ .

Внутренние параметры

{displaystyle K = {egin {bmatrix} alpha _ {x} & gamma & u_ {0} & 0 0 & alpha _ {y} & v_ {0} & 0 0 & 0 & 1 & 0end {bmatrix}}}

Внутренняя матрица ${displaystyle K}$ содержит 5 основных параметров конкретной модели камеры. Эти параметры охватывают фокусное расстояние, формат датчика изображения, и главный момент. Параметры ${displaystyle alpha _ {x} = fcdot m_ {x}}$ и ${displaystyle alpha _ {y} = fcdot m_ {y}}$ представляют фокусное расстояние в пикселях, где ${displaystyle m_ {x}}$ и ${displaystyle m_ {y}}$ являются инверсиями размеров пикселя в мире и ${displaystyle f}$ это фокусное расстояние с точки зрения расстояния.^[1] ${displaystyle gamma}$ представляет собой коэффициент перекоса между осями x и y и часто равен 0. ${displaystyle u_ {0}}$ и ${displaystyle v_ {0}}$ представляют собой главную точку, которая идеально находилась бы в центре изображения.

Нелинейные внутренние параметры, такие как искажение объектива также важны, хотя они не могут быть включены в линейную модель камеры, описываемую матрицей внутренних параметров. Многие современные алгоритмы калибровки камеры также оценивают эти внутренние параметры в форме методов нелинейной оптимизации. Это делается в форме оптимизации камеры и параметров искажения в форме того, что обычно известно как регулировка связки.

Внешние параметры

${displaystyle {} {egin {bmatrix} R_ {3 imes 3} & T_ {3 imes 1} 0_ {1 imes 3} & 1end {bmatrix}} _ {4 imes 4}}$

${displaystyle R, T}$ являются внешние параметры которые обозначают преобразования системы координат из трехмерных мировых координат в трехмерные координаты камеры. Эквивалентно, внешние параметры определяют положение центр камеры и направление камеры в мировых координатах. ${displaystyle T}$ - позиция начала мировой системы координат, выраженная в координатах системы координат, центрированной по камере. ${displaystyle T}$ часто ошибочно считается положение камеры. Позиция, ${displaystyle C}$ , камеры в мировых координатах ${displaystyle C = -R ^ {- 1} T = -R ^ {T} T}$ (поскольку ${displaystyle R}$ это матрица вращения ).

Калибровка камеры часто используется на ранней стадии компьютерное зрение.

Когда камера свет от окружающей среды фокусируется на плоскости изображения и фиксируется. Этот процесс уменьшает размеры данных, принимаемых камерой, с трех до двух (свет от 3D-сцены сохраняется на 2D-изображении). Каждый пиксель на плоскости изображения, следовательно, соответствует луч света от исходной сцены.

Алгоритмы

Существует множество различных подходов к вычислению внутренних и внешних параметров для конкретной настройки камеры. Самые распространенные из них:

Прямое линейное преобразование (DLT) метод
Метод Чжана
Метод Цая
Метод Селби (для рентгеновских камер)

Метод Чжана

Чжан модель ^[2]^[3] - это метод калибровки камеры, в котором используются традиционные методы калибровки (известные точки калибровки) и методы самокалибровки (соответствие между точками калибровки, когда они находятся в разных положениях). Для выполнения полной калибровки по методу Чжана требуется как минимум три различных изображения калибровочной мишени / датчика, перемещая датчик или саму камеру. Если некоторые из внутренних параметров заданы как данные (ортогональность изображения или координаты оптического центра), количество требуемых изображений может быть уменьшено до двух.

На первом этапе аппроксимация оценочной матрицы проекции ${displaystyle H}$ между калибровочной мишенью и плоскостью изображения определяется методом DLT.^[4] Впоследствии, применив методы самокалибровки, получили изображение абсолютной конической матрицы [Ссылка]. Основной вклад метода Чжана - это извлечение ограниченного внутреннего ${displaystyle K}$ и ${displaystyle n}$ количество ${displaystyle R}$ и ${displaystyle T}$ параметры калибровки из ${displaystyle n}$ поза калибровочной мишени.

Вывод

Предположим, у нас есть омография ${displaystyle {extbf {H}}}$ что отображает точки ${displaystyle x_ {pi}}$ на "зондовой плоскости" ${displaystyle pi}$ к пунктам ${displaystyle x}$ на рисунке.

Круговые точки ${displaystyle I, J = {egin {bmatrix} 1 & pm j & 0end {bmatrix}} ^ {mathrm {T}}}$ лежать на обеих наших плоскостях зонда ${displaystyle pi}$ и на абсолютной конике ${displaystyle Omega _ {infty}}$ . Лежа на ${displaystyle Omega _ {infty}}$ конечно означает, что они также проецируются на изображение абсолютной коники (IAC) ${displaystyle omega}$ , таким образом ${displaystyle x_ {1} ^ {T} omega x_ {1} = 0}$ и ${displaystyle x_ {2} ^ {T} omega x_ {2} = 0}$ . Круговые точки проектируются как

{displaystyle {egin {align} x_ {1} & = {extbf {H}} I = {egin {bmatrix} h_ {1} & h_ {2} & h_ {3} end {bmatrix}} {egin {bmatrix} 1 j 0end {bmatrix}} = h_ {1} + jh_ {2} x_ {2} & = {extbf {H}} J = {egin {bmatrix} h_ {1} & h_ {2} & h_ {3} end {bmatrix}} {egin {bmatrix} 1 -j 0end {bmatrix}} = h_ {1} -jh_ {2} конец {выровнено}}}

.

Мы действительно можем игнорировать ${displaystyle x_ {2}}$ при замене нашего нового выражения на ${displaystyle x_ {1}}$ следующее:

{displaystyle {egin {align} x_ {1} ^ {T} omega x_ {1} & = left (h_ {1} + jh_ {2} ight) ^ {T} omega left (h_ {1} + jh_ {2) } ight) & = left (h_ {1} ^ {T} + jh_ {2} ^ {T} ight) omega left (h_ {1} + jh_ {2} ight) & = h_ {1} ^ { T} omega h_ {1} + jleft (h_ {2} ^ {T} omega h_ {2} ight) & = 0end {выровнено}}}

Алгоритм Цая

Это двухэтапный алгоритм, вычисляющий позу (трехмерная ориентация, перемещение по осям x и y) на первом этапе. На втором этапе он вычисляет фокусное расстояние, коэффициенты искажения и перемещение по оси Z.^[5]

Метод Селби (для рентгеновских камер)

Метод калибровки камеры Селби^[6] предназначена для автоматической калибровки систем рентгеновских камер. Системы рентгеновских камер, состоящие из рентгеновской трубки и твердотельного детектора, могут быть смоделированы как системы камер-обскур, включающие 9 внутренних и внешних параметров камеры. Регистрация на основе интенсивности на основе произвольного рентгеновского изображения и эталонной модели (в виде набора томографических данных) можно затем использовать для определения относительных параметров камеры без необходимости использования специального калибровочного органа или каких-либо достоверных данных.

Смотрите также

внешняя ссылка

[1] Ричард Хартли и Эндрю Зиссерман (2003). Многоканальная геометрия в компьютерном зрении. Издательство Кембриджского университета. С. 155–157. ISBN 0-521-54051-8.

[2] З. Чжан, «Новая гибкая техника калибровки камеры» », IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No. 11, pages 1330–1334, 2000

[3] П. Штурм и С. Мэйбанк, «О калибровке камеры по плоскости: общий алгоритм, особенности, приложения», In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 432–437, Fort Collins, CO, USA, июнь 1999 г.

[4] Абдель-Азиз Ю.И., Карара Х.М. "Прямое линейное преобразование из координат компаратора в координаты пространства объекта в ближней фотограмметрии ", Материалы симпозиума по фотограмметрии ближнего действия (стр. 1-18), Фоллс-Черч, Вирджиния: Американское общество фотограмметрии, (1971)

[5] Роджер Ю. Цай, «Универсальная калибровка камеры для высокоточной метрологии трехмерного машинного зрения с использованием стандартных телекамер и объективов», Журнал IEEE по робототехнике и автоматизации, Vol. РА-3, №4, август 1987 г.

[6] Борис Питер Селби и др., «Позиционирование пациента с помощью самокалибровки рентгеновского детектора для терапии под визуальным контролем», Австралазийская физическая и инженерная наука в медицине, том 34, № 3, страницы 391–400, 2011 г.

[1]

[2]

[3]

[4]

[5]

[6]