Регистрация изображения - Image registration

Регистрация и суммирование нескольких экспозиций одной и той же сцены улучшает соотношение сигнал / шум, позволяя увидеть то, что раньше было невозможно увидеть. На этом снимке далекие Альпы видны, хотя они находятся на десятках километров в тумане.

Регистрация изображения представляет собой процесс преобразования разных наборов данных в одну систему координат. Данные могут быть несколькими фотографиями, данными с разных датчиков, временами, глубинами или точками обзора.[1] Он используется в компьютерное зрение, медицинская визуализация,[2] военные автоматическое распознавание цели, а также составление и анализ изображений и данных со спутников. Регистрация необходима для того, чтобы иметь возможность сравнивать или интегрировать данные, полученные в результате этих различных измерений.

Классификация алгоритмов

На основе интенсивности и на основе характеристик

Алгоритмы регистрации или совмещения изображений можно разделить на основанные на интенсивности и основанные на характеристиках.[3] Одно из изображений упоминается как перемещение или источник а остальные называются цель, исправлено или почувствовал картинки. Регистрация изображения включает в себя пространственное преобразование исходного / движущегося изображения (изображений) для выравнивания с целевым изображением. Контрольный кадр на целевом изображении является стационарным, в то время как другие наборы данных преобразуются, чтобы соответствовать целевому.[3] Методы, основанные на интенсивности, сравнивают образцы интенсивности на изображениях с помощью показателей корреляции, в то время как методы на основе характеристик находят переписка между элементами изображения, такими как точки, линии и контуры.[3] Методы, основанные на интенсивности, регистрируют целые изображения или фрагменты изображений. Если субизображения зарегистрированы, центры соответствующих субизображений рассматриваются как соответствующие характерные точки. Методы, основанные на признаках, устанавливают соответствие между рядом особенно отчетливых точек на изображениях. Зная соответствие между несколькими точками на изображениях, затем определяется геометрическое преобразование для сопоставления целевого изображения с эталонными изображениями, тем самым устанавливая соответствие между точками эталонного и целевого изображений.[3] Также были разработаны методы, сочетающие информацию, основанную на интенсивности и характеристике.[4]

Модели трансформации

Алгоритмы регистрации изображения также могут быть классифицированы в зависимости от модели трансформации, которые они используют, чтобы связать пространство целевого изображения в пространство опорного изображения. Первая широкая категория моделей трансформации включает: линейные преобразования, которые включают поворот, масштабирование, перенос и другие аффинные преобразования.[5] Линейные преобразования являются глобальными по своей природе, поэтому они не могут моделировать локальные геометрические различия между изображениями.[3]

Вторая категория преобразований допускает «упругие» или «нежесткие» преобразования. Эти преобразования позволяют локально деформировать целевое изображение для выравнивания с эталонным изображением. К нежестким преобразованиям относятся радиальные базисные функции (тонкая пластина или поверхностные шлицы, мультиквадрики, и преобразования с компактными носителями[3]), модели физического континуума (вязкие жидкости) и модели больших деформаций (диффеоморфизмы ).

Преобразования обычно описываются параметризацией, при которой модель определяет количество параметров. Например, перевод полного изображения может быть описан одним параметром - вектором перевода. Эти модели называются параметрическими моделями. С другой стороны, непараметрические модели не следуют какой-либо параметризации, что позволяет произвольно перемещать каждый элемент изображения.[6]

Существует ряд программ, которые реализуют как оценку, так и применение поля деформации. Это часть SPM и ВОЗДУХА программы.

Преобразования координат по закону композиции функций, а не сложения

В качестве альтернативы, многие передовые методы пространственной нормализации основаны на преобразованиях с сохранением структуры. гомеоморфизмы и диффеоморфизмы поскольку они несут гладкие подмногообразия при преобразовании гладко. Диффеоморфизмы порождаются в современной области Вычислительная анатомия основаны на потоках, поскольку диффеоморфизмы не аддитивны, хотя и образуют группу, но группу согласно закону композиции функций. По этой причине потоки, которые обобщают идеи аддитивных групп, позволяют генерировать большие деформации, которые сохраняют топологию, обеспечивая 1-1 и преобразования. Вычислительные методы генерации такого преобразования часто называют LDDMM[7][8][9][10] которые обеспечивают потоки диффеоморфизмов как основной вычислительный инструмент для соединения систем координат, соответствующих геодезические потоки вычислительной анатомии.

Существует ряд программ, которые генерируют диффеоморфные преобразования координат через диффеоморфное отображение включая студию МРТ[11] и MRI Cloud.org[12]

Методы пространственной и частотной области

Пространственные методы работают в области изображений, сопоставляя образцы интенсивности или особенности изображений. Некоторые из алгоритмов сопоставления признаков являются развитием традиционных методов выполнения ручной регистрации изображений, при которых оператор выбирает соответствующий контрольные точки (CP) в изображениях. Когда количество контрольных точек превышает минимум, необходимый для определения соответствующей модели преобразования, итерационные алгоритмы, такие как RANSAC может использоваться для надежной оценки параметров конкретного типа преобразования (например, аффинного) для регистрации изображений.

Методы частотной области находят параметры преобразования для регистрации изображений при работе в области преобразования. Такие методы работают для простых преобразований, таких как перемещение, поворот и масштабирование. Применяя фазовая корреляция Метод к паре изображений создает третье изображение, которое содержит один пик. Расположение этого пика соответствует относительному перемещению между изображениями. В отличие от многих алгоритмов пространственной области, метод фазовой корреляции устойчив к шумам, окклюзиям и другим дефектам, типичным для медицинских или спутниковых изображений. Кроме того, фазовая корреляция использует быстрое преобразование Фурье для вычисления взаимной корреляции между двумя изображениями, что обычно приводит к значительному увеличению производительности. Метод может быть расширен для определения различий поворота и масштабирования между двумя изображениями, сначала преобразовав изображения в лог-полярные координаты.[13][14] Благодаря свойствам преобразование Фурье, параметры поворота и масштабирования могут быть определены способом, инвариантным к переносу.

Одно- и многомодальные методы

Другая классификация может быть проведена между одномодальными и мультимодальными методами. Одномодальные методы имеют тенденцию регистрировать изображения в одной и той же модальности, полученные с помощью одного и того же сканера / датчика, в то время как методы мультимодальной регистрации имеют тенденцию регистрировать изображения, полученные с помощью различных типов сканеров / датчиков.

Методы мультимодальной регистрации часто используются в медицинская визуализация поскольку изображения предмета часто получаются с разных сканеров. Примеры включают регистрацию мозга CT /МРТ изображения или все тело ПЭТ /CT изображения для локализации опухоли, регистрация контрастного CT изображения на фоне неконтрастных CT изображения для сегментации определенных частей анатомии и регистрации УЗИ и CT изображения для простата локализация в лучевая терапия.

Автоматические и интерактивные методы

Методы регистрации можно классифицировать в зависимости от уровня автоматизации, который они обеспечивают. Разработаны ручной, интерактивный, полуавтоматический и автоматический методы. Ручные методы предоставляют инструменты для выравнивания изображений вручную. Интерактивные методы снижают предвзятость пользователей, автоматически выполняя определенные ключевые операции, при этом полагаясь на пользователя, который будет руководить регистрацией. Полуавтоматические методы автоматически выполняют больше шагов регистрации, но зависят от пользователя, который проверяет правильность регистрации. Автоматические методы не допускают никакого взаимодействия с пользователем и выполняют все шаги регистрации автоматически.

Меры сходства для регистрации изображений

Сходства изображений широко используются в медицинская визуализация. Мера сходства изображений количественно определяет степень сходства между рисунками интенсивности на двух изображениях.[3] Выбор меры сходства изображений зависит от модальности регистрируемых изображений. Общие примеры мер сходства изображений включают: взаимная корреляция, взаимная информация, сумма квадратов разностей интенсивностей и коэффициент однородности изображения. Взаимная информация и нормализованная взаимная информация - наиболее популярные меры сходства изображений для регистрации мультимодальных изображений. Взаимная корреляция, сумма квадратов разностей интенсивностей и однородность изображения отношения обычно используются для регистрации изображений в одной и той же модальности.

Многие новые функции были получены для функций стоимости на основе методов сопоставления через большие деформации появились в поле Вычислительная анатомия в том числе Измерьте соответствие которые являются точками или ориентирами без соответствия, Соответствие кривой и Соответствие поверхности через математический токи и варифолды.

Неопределенность

Есть уровень неуверенность связанных с регистрацией изображений, имеющих какие-либо пространственно-временные различия. Уверенная регистрация с определенной степенью неопределенности имеет решающее значение для многих обнаружение изменений такие приложения, как медицинская диагностика.

В дистанционное зондирование приложения, в которых пиксель цифрового изображения может представлять несколько километров пространственного расстояния (например, НАСА LANDSAT изображения), неуверенная регистрация изображения может означать, что решение может находиться в нескольких километрах от наземной истины. В нескольких известных статьях предпринята попытка количественной оценки неопределенности регистрации изображений для сравнения результатов.[15][16] Однако многие подходы к количественной оценке неопределенности или оценке деформаций требуют больших вычислительных ресурсов или применимы только к ограниченному набору пространственных преобразований.

Приложения

Регистрация двух МРТ изображения мозга

Регистрация изображений применяется в дистанционном зондировании (обновлении картографии) и компьютерном зрении. Из-за большого количества приложений, в которых может применяться регистрация изображений, невозможно разработать общий метод, оптимизированный для всех целей.

Медицинское изображение регистрация (для данных одного и того же пациента, взятых в разные моменты времени, таких как обнаружение изменений или мониторинг опухоли) часто дополнительно включает эластичный (также известен как нежесткий) регистрации, чтобы справиться с деформацией объекта (из-за дыхания, анатомических изменений и т. д.). Нечеткую регистрацию медицинских изображений также можно использовать для регистрации данных пациента в анатомическом атласе, таком как Талаирах атлас для нейровизуализации.

В астрофотография выравнивание и наложение изображений часто используются для увеличения отношения сигнал / шум для слабых объектов. Без суммирования его можно использовать для создания замедленной съемки таких событий, как вращение планет при прохождении через Солнце. Используя контрольные точки (вводимые автоматически или вручную), компьютер выполняет преобразования на одном изображении, чтобы согласовать основные элементы со вторым или несколькими изображениями. Этот метод также можно использовать для изображений разных размеров, чтобы можно было комбинировать изображения, полученные с помощью разных телескопов или линз.

В крио-ТЕМ нестабильность вызывает дрейф образца, и для сохранения высокого разрешения и получения изображений с высоким соотношением сигнал / шум требуется множество быстрых измерений с точной регистрацией изображений. Для данных с низким SNR наилучшая регистрация изображения достигается путем взаимной корреляции всех перестановок изображений в стеке изображений.[17]

Регистрация изображения - важная часть создания панорамного изображения. Существует множество различных методов, которые могут быть реализованы в реальном времени и работать на встроенных устройствах, таких как камеры и телефоны с камерой.

Смотрите также

использованная литература

  1. ^ Лиза Готтесфельд Браун, Обзор методов совмещения изображений (Абстрактные), Архив ACM Computing Surveys, том 24, выпуск 4, декабрь 1992 г.), страницы 325 - 376
  2. ^ биологическая визуализация и картирование мозга
  3. ^ а б c d е ж г А. Ардешир Гоштасби: Регистрация двумерных и трехмерных изображений для медицинских, дистанционных и промышленных приложений, Wiley Press, 2005.
  4. ^ Пападеметрис, Ксенофонт; Jackowski, Андреа П .; Шульц, Роберт Т .; Staib, Lawrence H .; Дункан, Джеймс С. (2004). «Интегрированная интенсивность и нежесткая регистрация точечных признаков». Компьютерная обработка изображений и компьютерное вмешательство - MICCAI 2004. Конспект лекций по информатике. 3216. С. 763–770. Дои:10.1007/978-3-540-30135-6_93. ISBN  978-3-540-22976-6. ISSN  0302-9743.
  5. ^ http://www.comp.nus.edu.sg/~cs4243/lecture/register.pdf
  6. ^ Сотирас, А .; Davatzikos, C .; Парагиос, Н. (июль 2013 г.). «Регистрация деформируемых медицинских изображений: обзор». IEEE Transactions по медицинской визуализации. 32 (7): 1153–1190. Дои:10.1109 / TMI.2013.2265603. ЧВК  3745275. PMID  23739795.
  7. ^ Тога, Артур В. (1998-11-17). Искажение мозга. Академическая пресса. ISBN  9780080525549.
  8. ^ «Сопоставление ориентиров на поверхности мозга с помощью диффеоморфизмов большой деформации на сфере - Университет Юты». utah.pure.elsevier.com. Архивировано из оригинал на 2018-06-29. Получено 2016-03-21.
  9. ^ Бег, М. Фейсал; Миллер, Майкл I .; Труве, Ален; Юнес, Лоран (2005). "Вычисление метрических отображений большой деформации через геодезические потоки диффеоморфизмов". Международный журнал компьютерного зрения. 61 (2): 139–157. Дои:10.1023 / B: VISI.0000043755.93987.aa. S2CID  17772076. Получено 2016-03-21.
  10. ^ Joshi, S.C .; Миллер, М. И. (2000-01-01). «Соответствие ориентира через диффеоморфизмы большой деформации». IEEE Transactions по обработке изображений. 9 (8): 1357–1370. Bibcode:2000ITIP .... 9.1357J. Дои:10.1109/83.855431. ISSN  1057-7149. PMID  18262973.
  11. ^ https://www.mristudio.org/wiki/. Отсутствует или пусто | название = (Помогите)
  12. ^ https://mricloud.org/. Отсутствует или пусто | название = (Помогите)
  13. ^ Б. Шриниваса Редди; Б. Н. Чаттерджи (август 1996 г.). «Основанная на БПФ методика трансляции, поворота и масштабно-инвариантной регистрации изображений». IEEE Transactions по обработке изображений. 5 (8): 1266–1271. Дои:10.1109/83.506761. PMID  18285214. S2CID  6562358.
  14. ^ Г. Вольберг, С. Зокаи: НАДЕЖНАЯ РЕГИСТРАЦИЯ ИЗОБРАЖЕНИЙ С ПОМОЩЬЮ ПРЕОБРАЗОВАНИЯ ЛОГ-ПОЛЯР • Документ об использовании логарифмического полярного преобразования для регистрации.
  15. ^ Саймонсон К., Дрешер С., Таннер Ф. Статистический подход к регистрации двоичных изображений с анализом неопределенности. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 29, No. 1, январь 2007 г.
  16. ^ Домокос К., Като З., Франкос Дж. Параметрическая оценка аффинных деформаций бинарных изображений. Труды IEEE Международная конференция по акустике, речи и обработке сигналов, 2008
  17. ^ Савицкий; Эль Баггари; Климент; Ховден; Куркутис (2018). "Регистрация изображений крио-STEM данных с низким отношением сигнал-шум". Ультрамикроскопия. 191: 56–65. arXiv:1710.09281. Дои:10.1016 / j.ultramic.2018.04.008. PMID  29843097. S2CID  26983019.

внешние ссылки