Основная матрица - Essential matrix

В компьютерное зрение, то основная матрица это ${displaystyle 3 imes 3}$ матрица, ${displaystyle mathbf {E}}$ что касается соответствующие точки в стерео изображения предполагая, что камеры удовлетворяют модель камеры-обскуры.

Функция

В частности, если ${displaystyle mathbf {y}}$ и ${displaystyle mathbf {y} '}$ однородны нормализованный координаты изображения на изображениях 1 и 2 соответственно, то

{displaystyle (mathbf {y} ') ^ {op}, mathbf {E}, mathbf {y} = 0}

если ${displaystyle mathbf {y}}$ и ${displaystyle mathbf {y} '}$ соответствуют одной и той же трехмерной точке сцены.

Приведенное выше соотношение, определяющее существенную матрицу, было опубликовано в 1981 г. Х. Кристофер Лонге-Хиггинс, знакомство с концепцией сообщества компьютерного зрения. Ричард Хартли и Андрей Зиссерман в книге сообщается, что аналогичная матрица появилась в фотограмметрия задолго до этого. Статья Лонге-Хиггинса включает алгоритм оценки ${displaystyle mathbf {E}}$ из набора соответствующих нормализованных координат изображения, а также алгоритма определения относительного положения и ориентации двух камер при условии, что ${displaystyle mathbf {E}}$ известен. Наконец, он показывает, как можно определить трехмерные координаты точек изображения с помощью основной матрицы.

Использовать

Существенную матрицу можно рассматривать как предшественницу фундаментальная матрица. Обе матрицы могут использоваться для установления ограничений между совпадающими точками изображения, но основная матрица может использоваться только в отношении откалиброванных камер, поскольку для достижения нормализации должны быть известны параметры внутренней камеры. Однако, если камеры откалиброваны, основная матрица может быть полезна для определения как относительного положения и ориентации между камерами, так и трехмерного положения соответствующих точек изображения.

Вывод и определение

Этот вывод следует из статьи Лонге-Хиггинса.

Две нормализованные камеры проецируют трехмерный мир на свои соответствующие плоскости изображения. Пусть трехмерные координаты точки п быть ${displaystyle (x_ {1}, x_ {2}, x_ {3})}$ и ${displaystyle (x '_ {1}, x' _ {2}, x '_ {3})}$ относительно системы координат каждой камеры. Поскольку камеры нормализованы, соответствующие координаты изображения равны

{displaystyle {egin {pmatrix} y_ {1} y_ {2} end {pmatrix}} = {frac {1} {x_ {3}}} {egin {pmatrix} x_ {1} x_ {2} end { pmatrix}}}

и

{displaystyle {egin {pmatrix} y '_ {1} y' _ {2} end {pmatrix}} = {frac {1} {x '_ {3}}} {egin {pmatrix} x' _ {1 } x '_ {2} конец {pmatrix}}}

Однородное представление двух координат изображения тогда дается формулой

{displaystyle {egin {pmatrix} y_ {1} y_ {2} 1end {pmatrix}} = {frac {1} {x_ {3}}} {egin {pmatrix} x_ {1} x_ {2} x_ {3} конец {pmatrix}}}

и

{displaystyle {egin {pmatrix} y '_ {1} y' _ {2} 1end {pmatrix}} = {frac {1} {x '_ {3}}} {egin {pmatrix} x' _ { 1} x '_ {2} x' _ {3} конец {pmatrix}}}

что также может быть записано более компактно как

{displaystyle mathbf {y} = {frac {1} {x_ {3}}}, {ilde {mathbf {x}}}}

и

{displaystyle mathbf {y} '= {frac {1} {x' _ {3}}}, {ilde {mathbf {x}}} '}

куда ${displaystyle mathbf {y}}$ и ${displaystyle mathbf {y} '}$ являются однородными представлениями координат 2D-изображения и ${displaystyle {ilde {mathbf {x}}}}$ и ${displaystyle {ilde {mathbf {x}}} '}$ являются правильными трехмерными координатами, но в двух разных системах координат.

Другим следствием нормализованных камер является то, что их соответствующие системы координат связаны посредством перемещения и вращения. Это означает, что два набора трехмерных координат связаны следующим образом:

{displaystyle {ilde {mathbf {x}}} '= mathbf {R}, ({ilde {mathbf {x}}} - mathbf {t})}

куда ${displaystyle mathbf {R}}$ это ${displaystyle 3 imes 3}$ матрица вращения и ${displaystyle mathbf {t}}$ - трехмерный вектор трансляции.

Тогда основная матрица определяется как:

{displaystyle mathbf {E} = mathbf {R}, [mathbf {t}] _ {imes}}

куда ${displaystyle [mathbf {t}] _ {imes}}$ это матричное представление перекрестного произведения с ${displaystyle mathbf {t}}$ .

Чтобы увидеть, что это определение существенной матрицы описывает ограничение на соответствующие координаты изображения, умножьте ${displaystyle mathbf {E}}$ слева и справа с трехмерными координатами точки п в двух разных системах координат:

{displaystyle ({ilde {mathbf {x}}} ') ^ {T}, mathbf {E}, {ilde {mathbf {x}}}, {stackrel {(1)} {=}}, ({ilde { mathbf {x}}} - mathbf {t}) ^ {T}, mathbf {R} ^ {T}, mathbf {R}, [mathbf {t}] _ {imes}, {ilde {mathbf {x}} }, {stackrel {(2)} {=}}, ({ilde {mathbf {x}}} - mathbf {t}) ^ {T}, [mathbf {t}] _ {imes}, {ilde {mathbf {x}}}, {stackrel {(3)} {=}}, 0}

Вставьте указанные выше отношения между ${displaystyle {ilde {mathbf {x}}} '}$ и ${displaystyle {ilde {mathbf {x}}}}$ и определение ${displaystyle mathbf {E}}$ с точки зрения ${displaystyle mathbf {R}}$ и ${displaystyle mathbf {t}}$ .
${displaystyle mathbf {R} ^ {T}, mathbf {R} = mathbf {I}}$ поскольку ${displaystyle mathbf {R}}$ матрица вращения.
Свойства матричное представление перекрестного произведения.

Наконец, можно предположить, что оба ${displaystyle x_ {3}}$ и ${displaystyle x '_ {3}}$ > 0, иначе они не видны в обеих камерах. Это дает

{displaystyle 0 = ({ilde {mathbf {x}}} ') ^ {T}, mathbf {E}, {ilde {mathbf {x}}} = {frac {1} {x' _ {3}}} ({ilde {mathbf {x}}} ') ^ {T}, mathbf {E}, {frac {1} {x_ {3}}} {ilde {mathbf {x}}} = (mathbf {y}' ) ^ {T}, mathbf {E}, mathbf {y}}

что является ограничением, которое существенная матрица определяет между соответствующими точками изображения.

Характеристики

Не всякий произвольный ${displaystyle 3 imes 3}$ Матрица может быть незаменимой матрицей для некоторых стереокамер. Чтобы увидеть это примечание, оно определяется как матричное произведение одного матрица вращения и один кососимметричная матрица, обе ${displaystyle 3 imes 3}$ . Кососимметричная матрица должна иметь два сингулярные значения которые равны, а другой равен нулю. Умножение матрицы вращения не изменяет сингулярные значения, что означает, что также существенная матрица имеет два одинаковых сингулярных значения и одно нулевое. Описанные здесь свойства иногда называют внутренние ограничения существенной матрицы.

Если существенная матрица ${displaystyle mathbf {E}}$ умножается на ненулевой скаляр, результатом снова является существенная матрица, которая определяет точно такое же ограничение, как ${displaystyle mathbf {E}}$ делает. Это означает, что ${displaystyle mathbf {E}}$ можно рассматривать как элемент проективное пространство, то есть две такие матрицы считаются эквивалентными, если одна является ненулевым скалярным умножением другой. Это актуальная позиция, например, если ${displaystyle mathbf {E}}$ оценивается по данным изображения. Однако можно также занять позицию, что ${displaystyle mathbf {E}}$ определяется как

{displaystyle mathbf {E} = [mathbf {widetilde {t}}] _ {imes}, mathbf {R}}

куда ${displaystyle mathbf {widetilde {t}} = -mathbf {R} mathbf {t}}$ , а потом ${displaystyle mathbf {E}}$ имеет четко выраженное «масштабирование». Какая позиция более актуальна, зависит от приложения.

Ограничения также могут быть выражены как

{displaystyle det mathbf {E} = 0}

и

{displaystyle 2mathbf {E} mathbf {E} ^ {T} mathbf {E} -operatorname {tr} (mathbf {E} mathbf {E} ^ {T}) mathbf {E} = 0.}

Здесь последнее уравнение представляет собой матричное ограничение, которое можно рассматривать как 9 ограничений, по одному для каждого элемента матрицы. Эти ограничения часто используются для определения существенной матрицы из пяти соответствующих пар точек.

Существенная матрица имеет пять или шесть степеней свободы, в зависимости от того, рассматривается ли она как проективный элемент. Матрица вращения ${displaystyle mathbf {R}}$ и вектор перевода ${displaystyle mathbf {t}}$ имеют по три степени свободы, всего шесть. Однако, если существенная матрица рассматривается как проективный элемент, необходимо вычесть одну степень свободы, связанную со скалярным умножением, оставляя в общей сложности пять степеней свободы.

Оценка

Учитывая набор соответствующих точек изображения, можно оценить существенную матрицу, которая удовлетворяет определяющему эпиполярному ограничению для всех точек в наборе. Однако, если точки изображения подвержены шуму, что является обычным случаем в любой практической ситуации, невозможно найти существенную матрицу, которая точно удовлетворяет всем ограничениям.

В зависимости от того, как измеряется ошибка, связанная с каждым ограничением, можно определить или оценить существенную матрицу, которая оптимально удовлетворяет ограничениям для данного набора соответствующих точек изображения. Самый простой подход - создать Всего наименьших квадратов проблема, широко известная как восьмиточечный алгоритм.

Извлечение вращения и перемещения

Учитывая, что основная матрица была определена для пары стереокамер - например, с помощью описанного выше метода оценки - эту информацию можно использовать также для определения поворота. ${displaystyle mathbf {R}}$ и перевод ${displaystyle mathbf {t}}$ (с точностью до масштабирования) между двумя системами координат камеры. В этих выводах ${displaystyle mathbf {E}}$ рассматривается как проективный элемент, а не как имеющий четко определенный масштаб.

Найдите одно решение

Следующий метод определения ${displaystyle mathbf {R}}$ и ${displaystyle mathbf {t}}$ основан на выполнении СВД из ${displaystyle mathbf {E}}$ см. книгу Хартли и Зиссермана. Также возможно определить ${displaystyle mathbf {R}}$ и ${displaystyle mathbf {t}}$ без SVD, например, в соответствии со статьей Лонге-Хиггинса.

СВД ${displaystyle mathbf {E}}$ дает

{displaystyle mathbf {E} = mathbf {U}, mathbf {Sigma}, mathbf {V} ^ {T}}

куда ${displaystyle mathbf {U}}$ и ${displaystyle mathbf {V}}$ ортогональны ${displaystyle 3 imes 3}$ матрицы и ${displaystyle mathbf {Sigma}}$ это ${displaystyle 3 imes 3}$ диагональная матрица с

{displaystyle mathbf {Sigma} = {egin {pmatrix} s & 0 & 0 0 & s & 0 0 & 0 & 0end {pmatrix}}}

Диагональные записи ${displaystyle mathbf {Sigma}}$ - сингулярные значения ${displaystyle mathbf {E}}$ который, согласно внутренние ограничения существенной матрицы, должен состоять из двух одинаковых и одного нулевого значения. Определять

{displaystyle mathbf {W} = {egin {pmatrix} 0 & -1 & 0 1 & 0 & 0 0 & 0 & 1end {pmatrix}}}

с

{displaystyle mathbf {W} ^ {- 1} = mathbf {W} ^ {T} = {egin {pmatrix} 0 & 1 & 0 -1 & 0 & 0 0 & 0 & 1end {pmatrix}}}

и сделайте следующее анзац

{displaystyle [mathbf {t}] _ {imes} = mathbf {U}, mathbf {W}, mathbf {Sigma}, mathbf {U} ^ {T}}

{displaystyle mathbf {R} = mathbf {U}, mathbf {W} ^ {- 1}, mathbf {V} ^ {T}}

С ${displaystyle mathbf {Sigma}}$ может не полностью соответствовать ограничениям при работе с данными реального мира (например, изображениями с камеры), альтернативный

{displaystyle [mathbf {t}] _ {imes} = mathbf {U}, mathbf {Z}, mathbf {U} ^ {T}}

с

{displaystyle mathbf {Z} = {egin {pmatrix} 0 & 1 & 0 -1 & 0 & 0 0 & 0 & 0end {pmatrix}}}

может помочь.

Доказательство

Во-первых, эти выражения для ${displaystyle mathbf {R}}$ и ${displaystyle [mathbf {t}] _ {imes}}$ удовлетворяют определяющему уравнению для существенной матрицы

{displaystyle [mathbf {t}] _ {imes}, mathbf {R} = mathbf {U}, mathbf {W}, mathbf {Sigma}, mathbf {U} ^ {T} mathbf {U}, mathbf {W} ^ {- 1}, mathbf {V} ^ {T}, = mathbf {U}, mathbf {Sigma}, mathbf {V} ^ {T} = mathbf {E}}

Во-вторых, необходимо показать, что это ${displaystyle [mathbf {t}] _ {imes}}$ является матричным представлением перекрестного произведения для некоторых ${displaystyle mathbf {t}}$ . С

{displaystyle mathbf {W}, mathbf {Sigma} = {egin {pmatrix} 0 & -s & 0 s & 0 & 0 0 & 0 & 0end {pmatrix}}}

это тот случай, когда ${displaystyle mathbf {W}, mathbf {Sigma}}$ кососимметрична, т. е. ${displaystyle (mathbf {W}, mathbf {Sigma}) ^ {T} = - mathbf {W}, mathbf {Sigma}}$ . То же самое и с нашими ${displaystyle [mathbf {t}] _ {imes}}$ , поскольку

{displaystyle ([mathbf {t}] _ {imes}) ^ {T} = mathbf {U}, (mathbf {W}, mathbf {Sigma}) ^ {T}, mathbf {U} ^ {T} = - mathbf {U}, mathbf {W}, mathbf {Sigma}, mathbf {U} ^ {T} = - [mathbf {t}] _ {imes}}

По общим свойствам матричное представление кросс-продукта из этого следует, что ${displaystyle [mathbf {t}] _ {imes}}$ должен быть оператором кросс-произведения ровно одного вектора ${displaystyle mathbf {t}}$ .

В-третьих, также необходимо показать, что приведенное выше выражение для ${displaystyle mathbf {R}}$ матрица вращения. Это произведение трех матриц, которые все ортогональны, что означает, что ${displaystyle mathbf {R}}$ тоже ортогонален или ${displaystyle det (mathbf {R}) = pm 1}$ . Чтобы быть правильной матрицей вращения, она также должна удовлетворять ${displaystyle det (mathbf {R}) = 1}$ . Поскольку в этом случае ${displaystyle mathbf {E}}$ рассматривается как проективный элемент, это может быть достигнуто путем изменения знака ${displaystyle mathbf {E}}$ если необходимо.

Поиск всех решений

Пока одно возможное решение для ${displaystyle mathbf {R}}$ и ${displaystyle mathbf {t}}$ был установлен с учетом ${displaystyle mathbf {E}}$ . Однако это не единственное возможное решение, и оно может быть даже неприемлемым с практической точки зрения. Начнем с того, что масштабирование ${displaystyle mathbf {E}}$ не определено, масштабирование ${displaystyle mathbf {t}}$ также не определено. Он должен лежать в пустое пространство из ${displaystyle mathbf {E}}$ поскольку

{displaystyle mathbf {E}, mathbf {t} = mathbf {R}, [mathbf {t}] _ {imes}, mathbf {t} = mathbf {0}}

Однако для последующего анализа решений точное масштабирование ${displaystyle mathbf {t}}$ не так важно, как его «знак», т.е. в какую сторону он указывает. Позволять ${displaystyle {шляпа {mathbf {t}}}}$ быть нормализованным вектором в нулевом пространстве ${displaystyle mathbf {E}}$ . Тогда оба ${displaystyle {шляпа {mathbf {t}}}}$ и ${displaystyle - {шляпа {mathbf {t}}}}$ являются действительными векторами трансляции относительно ${displaystyle mathbf {E}}$ . Также возможно изменить ${displaystyle mathbf {W}}$ в ${displaystyle mathbf {W} ^ {- 1}}$ в выводах ${displaystyle mathbf {R}}$ и ${displaystyle mathbf {t}}$ над. Для вектора трансляции это вызывает только изменение знака, что уже было описано как возможность. Для вращения, с другой стороны, это приведет к другому преобразованию, по крайней мере, в общем случае.

Подводя итог, учитывая ${displaystyle mathbf {E}}$ есть два противоположных направления, которые возможны для ${displaystyle mathbf {t}}$ и два разных поворота, совместимых с этой важной матрицей. Всего это дает четыре класса решений для вращения и перемещения между двумя системами координат камеры. Вдобавок есть еще неизвестное масштабирование ${displaystyle s> 0}$ для выбранного направления перевода.

Однако оказывается, что на практике может быть реализован только один из четырех классов решений. Учитывая пару соответствующих координат изображения, три решения всегда будут давать трехмерную точку, которая лежит позади по крайней мере, одна из двух камер и поэтому не видна. Только один из четырех классов будет последовательно создавать 3D-точки, которые находятся перед обеими камерами. Тогда это должно быть правильное решение. Тем не менее, он имеет неопределенное положительное масштабирование, связанное с компонентом трансляции.

Приведенное выше определение ${displaystyle mathbf {R}}$ и ${displaystyle mathbf {t}}$ предполагает, что ${displaystyle mathbf {E}}$ удовлетворить внутренние ограничения существенной матрицы. Если это не так, что, например, обычно бывает, если ${displaystyle mathbf {E}}$ был оценен на основе реальных (и зашумленных) данных изображения, следует предположить, что он приблизительно удовлетворяет внутренним ограничениям. Вектор ${displaystyle {шляпа {mathbf {t}}}}$ выбирается правым сингулярным вектором ${displaystyle mathbf {E}}$ соответствующее наименьшему сингулярному значению.

3D-точки из соответствующих точек изображения

Существует множество методов вычисления ${displaystyle (x_ {1}, x_ {2}, x_ {3})}$ с учетом соответствующих нормализованных координат изображения ${displaystyle (y_ {1}, y_ {2})}$ и ${displaystyle (y '_ {1}, y' _ {2})}$ , если известна существенная матрица и определены соответствующие преобразования поворота и сдвига.

Смотрите также

Ящики для инструментов

Существенная матричная оценка в MATLAB (Манолис Луракис).

внешняя ссылка

Исследование существенной матрицы Р.И. Хартли