Сшивание изображений - Image stitching

Сшивание изображений или же фото сшивание это процесс объединения нескольких фотографический изображений с перекрывающимися полями обзора для создания сегментированного панорама или изображение с высоким разрешением. Обычно выполняется с использованием компьютерное программное обеспечение, большинство подходов к сшиванию изображений требуют почти точного перекрытия изображений и идентичных экспозиций для получения бесшовных результатов,^[1][2] хотя некоторые алгоритмы сшивания фактически выигрывают от разноэкспонированных изображений, выполняя визуализация с высоким динамическим диапазоном в регионах перекрытия.^[3][4] Немного цифровые фотоаппараты могут сшивать свои фотографии внутри.

Приложения

Сшивание изображений широко используется в современных приложениях, например:

• Мозаика документа^[5]
• Стабилизация изображения функция в видеокамерах, которые используют выравнивание изображения с частотой кадров
• Высокое разрешение фотомозаика в цифровых картах и спутниковые снимки
• Медицинская визуализация
• Множественное изображение визуализация сверхвысокого разрешения
• Видео сшивание^[6]
• Вставка объекта

Остров Алькатрас, показанный в панорама создается путем сшивания изображений

Процесс

Процесс сшивания изображений можно разделить на три основных компонента: регистрация изображения, калибровка, и смешивание.

Алгоритмы сшивания изображений

Этот образец изображения показывает геометрическое совмещение и линии стыка при создании панорамы.

Чтобы оценить выравнивание изображения, необходимы алгоритмы для определения соответствующей математической модели, связывающей пиксельные координаты в одном изображении с пиксельными координатами в другом. Для оценки этих параметров могут использоваться алгоритмы, сочетающие прямые сравнения пикселей с пикселями с градиентным спуском (и другими методами оптимизации).

В каждом изображении можно найти отличительные черты, а затем эффективно сопоставить их, чтобы быстро установить соответствия между парами изображений. Когда в панораме существует несколько изображений, были разработаны методы для вычисления глобального согласованного набора выравниваний и для эффективного обнаружения, какие изображения перекрывают друг друга.

Необходима окончательная композитная поверхность, на которой можно деформировать или проективно преобразовать и разместить все выровненные изображения, а также алгоритмы для плавного смешивания перекрывающихся изображений, даже при наличии параллакса, искажения объектива, движения сцены и различий в экспозиции.

Проблемы сшивания изображений

Поскольку нельзя гарантировать идентичность освещения в двух видах, сшивание двух изображений может создать видимый шов. Другой причиной швов может быть изменение фона между двумя изображениями для одного и того же непрерывного переднего плана. Другими важными проблемами, которые необходимо решить, является наличие параллакс, искажение объектива, место действия движение, и контакт различия. В неидеальном случае из реальной жизни интенсивность варьируется по всей сцене, а также контраст и интенсивность по кадрам. Кроме того, соотношение сторон панорамного изображения необходимо учитывать для создания визуально приятного составной.

За панорамный сшивание, идеальный набор изображений будет иметь разумную степень перекрытия (не менее 15–30%), чтобы преодолеть искажение объектива, и иметь достаточно обнаруживаемых функций. Набор изображений будет иметь одинаковую экспозицию между кадрами, чтобы минимизировать вероятность образования швов.

Обнаружение ключевых точек

Обнаружение функции необходимо автоматически найти соответствия между изображениями. Надежные соответствия необходимы, чтобы оценить необходимое преобразование для выравнивания изображения с изображением, на которое оно создается. Углы, капли, Харрис углы, и различия гауссианов углов Харриса являются хорошими характеристиками, поскольку они повторяемы и отчетливы.

Один из первых операторов обнаружения точек интереса был разработан Ханс П. Моравец в 1977 году за его исследования, связанные с автоматической навигацией робота в кластерной среде. Моравек также определил концепцию «достопримечательностей» на изображении и пришел к выводу, что эти точки интереса можно использовать для поиска совпадающих областей на разных изображениях. Оператор Moravec считается датчиком углов, поскольку он определяет точки интереса как точки, в которых наблюдаются большие колебания интенсивности во всех направлениях. Это часто бывает на углах. Однако Моравек не интересовался поиском углов, а только отдельными областями на изображении, которые можно было бы использовать для регистрации последовательных кадров изображения.

Харрис и Стивенс усовершенствовали детектор углов Моравека, непосредственно рассматривая разницу угловой оценки по направлению. Они нуждались в этом как на этапе обработки, чтобы построить интерпретацию среды робота на основе последовательностей изображений. Как и Moravec, им нужен был метод сопоставления соответствующих точек в последовательных кадрах изображения, но их интересовало отслеживание углов и краев между кадрами.

ПРОСЕЯТЬ и СЕРФ являются недавними алгоритмами обнаружения ключевых точек или точек интереса, но следует отметить, что они запатентованы и их коммерческое использование ограничено. Как только функция была обнаружена, можно применить метод дескриптора, такой как дескриптор SIFT, для последующего сопоставления с ними.

Постановка на учет

Регистрация изображения вовлекает соответствующие функции^[7] в наборе изображений или используя методы прямого выравнивания для поиска выравниваний изображений, которые минимизируют сумма абсолютных разностей между перекрывающимися пикселями.^[8] При использовании методов прямого совмещения можно сначала откалибровать изображения, чтобы получить лучшие результаты. Кроме того, пользователи могут ввести приблизительную модель панорамы, чтобы помочь на этапе сопоставления функций, например, только соседние изображения ищутся на предмет соответствия. Поскольку существует меньшая группа объектов для сопоставления, результат поиска более точен, а выполнение сравнения выполняется быстрее.

Для оценки надежной модели на основе данных используется общий метод, известный как RANSAC. Название RANSAC является аббревиатурой от "РАНдом SAmple Consensus ". Это итерационный метод для надежной оценки параметров для соответствия математическим моделям из наборов наблюдаемых точек данных, которые могут содержать выбросы. Алгоритм является недетерминированным в том смысле, что он дает разумный результат только с определенной вероятностью, при этом вероятность возрастает по мере выполнения большего количества итераций.Это вероятностный метод, что означает, что при каждом запуске алгоритма будут получены разные результаты.

Алгоритм RANSAC нашел множество применений в компьютерном зрении, включая одновременное решение задачи соответствия и оценку фундаментальной матрицы, относящейся к паре стереокамер. Основное допущение метода состоит в том, что данные состоят из «выбросов», то есть данных, распределение которых можно объяснить с помощью некоторой математической модели, и «выбросов», которые представляют собой данные, которые не соответствуют модели. Выбросы считаются точками, вызванными шумом, ошибочными измерениями или просто неверными данными.

Для проблемы омография оценка, RANSAC работает, пытаясь подогнать несколько моделей, используя некоторые пары точек, а затем проверяя, смогли ли модели связать большинство точек. Лучшая модель - гомография, которая дает наибольшее количество правильных совпадений, - затем выбирается в качестве решения проблемы; таким образом, если отношение количества выбросов к точкам данных очень низкое, RANSAC выводит достойную модель, соответствующую данным.

Калибровка

Калибровка изображения направлена ​​на минимизацию различий между идеальными моделями объективов и комбинацией объективов камеры, оптических дефектов, таких как искажения, контакт различия между изображениями, виньетирование,^[9] реакция камеры и хроматические аберрации. Если для регистрации изображений использовались методы обнаружения признаков, а абсолютные положения объектов были записаны и сохранены, программа сшивки может использовать данные для геометрической оптимизации изображений в дополнение к размещению изображений на паносфере. Panotools и его различные производные программы используют этот метод.

Выравнивание

Выравнивание может потребоваться для преобразования изображения в соответствии с точкой обзора изображения, с которым оно создается. Проще говоря, выравнивание - это изменение системы координат, в результате чего она принимает новую систему координат, которая выводит изображение, соответствующее требуемой точке обзора. Типы преобразований, через которые может пройти изображение, - это чистый перенос, чистый поворот, преобразование подобия, которое включает в себя перенос, поворот и масштабирование изображения, которое необходимо преобразовать, Аффинный или проективное преобразование.

Проективное преобразование - это самое дальнее преобразование, которое может преобразовать изображение (в наборе двумерных плоских преобразований), где только видимые элементы, которые сохраняются в преобразованном изображении, являются прямыми линиями, тогда как параллелизм сохраняется в аффинном преобразовании.

Математически проективное преобразование можно описать как

x ’= H ${ displaystyle cdot}$ Икс,

где x - точки в старой системе координат, x ’- соответствующие точки в преобразованном изображении, а H - омография матрица.

Выражение точек x и x ’с использованием встроенных функций камеры (K и K’), а также ее вращения и перемещения [R t] к реальным координатам X и X ’, мы получаем

х = К ${ displaystyle cdot}$ [R t] ${ displaystyle cdot}$ Икс и x ’= K’ ${ displaystyle cdot}$ [R ’t’] ${ displaystyle cdot}$ ИКС'.

Используя два приведенных выше уравнения и отношение гомографии между x ’и x, мы можем вывести

H = K ’ ${ displaystyle cdot}$ Р' ${ displaystyle cdot}$ р⁻¹ ${ displaystyle cdot}$ K⁻¹

Матрица гомографии H имеет 8 параметров или степеней свободы. Гомография может быть вычислена с помощью прямого линейного преобразования и разложения по сингулярным значениям с помощью

А ${ displaystyle cdot}$ h = 0,

где A - матрица, построенная с использованием координат соответствий, а h - одномерный вектор из 9 элементов преобразованной матрицы гомографии. Чтобы добраться до h, мы можем просто применить SVD: А = U ${ displaystyle cdot}$ S ${ displaystyle cdot}$ V ^ТИ h = V (столбец, соответствующий наименьшему сингулярному вектору). Это верно, поскольку h лежит в нулевом пространстве A. Поскольку у нас есть 8 степеней свободы, алгоритм требует не менее четырех точечных соответствий. В случае, когда RANSAC используется для оценки гомографии и доступны множественные соответствия, правильная матрица гомографии является один с максимальным количеством вставок.

Композитинг

Композитинг - это процесс, при котором исправленные изображения выравниваются таким образом, что они выглядят как один кадр сцены. Композиция может выполняться автоматически, поскольку теперь алгоритм знает, какие соответствия перекрываются.

Смешивание

Смешивание изображений включает выполнение корректировок, вычисленных на этапе калибровки, в сочетании с переназначением изображений на выходную проекцию. Цвета скорректированный между изображениями, чтобы компенсировать разницу в экспозиции. Если это применимо, расширенный динамический диапазон слияние происходит вместе с компенсация движения и обезвреживание. Изображения объединяются, и выполняется корректировка линии шва, чтобы минимизировать видимость швов между изображениями.

Шов можно уменьшить простой регулировкой усиления. Эта компенсация сводит к минимуму разницу в интенсивности перекрывающихся пикселей. Алгоритм смешения изображений придает больший вес пикселям около центра изображения. Лучше всего сравнивают изображения с компенсацией усиления и смешанные многополосные изображения. IJCV 2007. Выпрямление - это еще один метод исправления изображения. Мэттью Браун и Дэвид Г. Лоу в своей статье «Автоматическое сшивание панорамных изображений с использованием инвариантных элементов» описывают методы выпрямления, которые применяют глобальное вращение таким образом, чтобы вектор u был вертикальным (при визуализации frame), который эффективно устраняет эффект волнистости на выходных панорамах

Даже после компенсации усиления некоторые края изображения все еще видны из-за ряда нестандартных эффектов, таких как виньетирование (интенсивность уменьшается по направлению к краю изображения), эффекты параллакса из-за нежелательного движения оптического центра, ошибки неправильной регистрации из-за неправильного моделирования камера, радиальные искажения и тд. По этим причинам они предлагают стратегию смешивания, называемую многополосным смешиванием.

Проекционные макеты

Сравнение искажений вблизи полюсов паносфера различными цилиндрическими форматами.

Для сегментов изображения, которые были сняты из одной и той же точки пространства, сшитые изображения можно упорядочить с помощью одного из различных картографические проекции.

Прямолинейный

Прямолинейная проекция, где сшитое изображение рассматривается в двухмерной плоскости, пересекающей паносферу в одной точке. Линии, которые на самом деле прямые, отображаются как прямые независимо от их направления на изображении. Широкий обзор - около 120 ° или около того - начинает демонстрировать сильные искажения около границ изображения. Одним из случаев прямолинейной проекции является использование кубические грани с кубическое отображение для просмотра панорамы. Панорама нанесена на шесть квадратов, каждая грань куба показывает область панорамы 90 на 90 градусов.

Цилиндрический

Цилиндрическая проекция, где сшитое изображение показывает горизонтальное поле обзора 360 ° и ограниченное вертикальное поле зрения. Панорамы в этой проекции предназначены для просмотра так, как будто изображение свернуто в цилиндр и рассматривается изнутри. При просмотре на 2D-плоскости горизонтальные линии выглядят изогнутыми, а вертикальные линии остаются прямыми.^[10] Вертикальное искажение быстро увеличивается при приближении к вершине паносферы. Существуют различные другие цилиндрические форматы, такие как Меркатор и Миллера цилиндрический которые имеют меньшие искажения вблизи полюсов паносферы.

Сферический

Сферическая проекция или же равнопрямоугольная проекция - что, строго говоря, является другой цилиндрической проекцией - где сшитое изображение показывает поле обзора 360 ° по горизонтали и 180 ° по вертикали, то есть всю сферу. Панорамы в этой проекции предназначены для просмотра так, как если бы изображение было свернуто в сферу и рассматривалось изнутри. При просмотре на двухмерной плоскости горизонтальные линии выглядят изогнутыми, как в цилиндрической проекции, а вертикальные линии остаются вертикальными.^[10]

Панини

Поскольку панорама в основном представляет собой карту сферы, различные другие картографические проекции из картографы также может быть использован при желании. Кроме того, существуют специализированные проекции, которые могут иметь более эстетичные преимущества по сравнению с обычными картографическими проекциями, такими как проекция Хугина Панини.^[11] - назван в честь итальянца ведутизм художник Джованни Паоло Паннини^[12] - или проекция ведутизма PTgui.^[13] Различные проекции могут быть объединены в одно и то же изображение для точной настройки окончательного вида выходного изображения.^[14]

Стереографический

Стереографическая проекция или же рыбий глаз проекцию можно использовать для формирования маленькая планета панорамы, направив виртуальную камеру прямо вниз и установив поле зрения достаточно большой, чтобы показать всю землю и некоторые области над ней; направление виртуальной камеры вверх создает эффект туннеля. Соответствие стереографической проекции может дать более визуально приятный результат, чем равновеликая проекция «рыбий глаз», как описано в статье о стереографической проекции.

Артефакты

Артефакты из-за ошибки параллакса

Артефакты из-за движения объекта

Ошибки сшивания изображений
Нажмите, чтобы увидеть сшитое изображение целиком

Использование изображений, взятых не из одного и того же места (при повороте вокруг вступительный ученик камеры)^[15] может привести к параллакс ошибки в конечном продукте. Когда захваченная сцена демонстрирует быстрое движение или динамическое движение, артефакты могут возникать в результате разницы во времени между сегментами изображения. «Слепое сшивание» с помощью методов пространственного совмещения (см. автошивка ), в отличие от ручного выбора и сшивания, может вызвать дефекты при сборке панорамы. Один из способов избежать проблемы искажения параллакса - это сделать ваши изображения для сшивания с помощью широкоформатной камеры и держать ее неподвижно во время экспозиции. Если ваш объектив не двигается, у ваших изображений не будет проблем с параллаксом. На рынке есть много сдвижных адаптеров, которые позволяют перемещать устройство захвата (будь то зеркальная камера или среднеформатный цифровой захват обратно) без какого-либо движения самой камеры. Одним из таких адаптеров является Адаптер Flex от Phase One. Чтобы выйти за рамки простого линейного сшивания по одной оси, обычно горизонтальной, как на изображении Алькатраса в верхней части этой страницы, есть Пластина адаптера MultiStitch который позволяет пользователю создавать изображения, которые точно перекрываются как в плоскости X, так и в плоскости Y, создавая изображения 2 на 2 для сшивания. Еще одно фотографическое преимущество сшивания с использованием широкоформатной камеры заключается в том, что устройство захвата остается в плоскости для каждой экспозиции, а вращательные дефекты и цилиндрические искажения устраняются.

Программного обеспечения

Специальные программы включают Автошивка, Хугин, Птгуи, Инструменты панорамы, Редактор составных изображений Microsoft Research и Сшиватель CleVR. Многие другие программы также могут сшивать несколько изображений; популярный пример Adobe Systems ' Фотошоп, который включает инструмент, известный как Photomerge а в последних версиях - новый Авто-смешивание. Другие программы, такие как VideoStitch позволяют сшивать видео, и Вахана VR позволяет сшивать видео в реальном времени. Модуль Image Stitching для программного обеспечения микроскопа QuickPHOTO позволяет интерактивно сшивать вместе несколько полей зрения с микроскопа, используя изображение с камеры в реальном времени. Его также можно использовать для ручного сшивания целых образцов для микроскопии.

Смотрите также

• ActionShot панорамная фотография
• Анаглиф 3D
• Автошивка
• Производная работа
• Мозаика цифровых изображений
• Мозаика документа
• Панография
• Панорамная фотография
• VR фотография (интерактивные панорамы)

Рекомендации

внешняя ссылка

• СМИ, связанные с Сшивание в Wikimedia Commons