Слияние изображений - Image fusion

В слияние изображений Процесс определяется как сбор всей важной информации из нескольких изображений и их включение в меньшее количество изображений, обычно в одно. Это отдельное изображение более информативно и точно, чем любое отдельное исходное изображение, и оно содержит всю необходимую информацию. Цель слияния изображений - не только уменьшить объем данных, но и создать изображения, более подходящие и понятные для человеческого и машинного восприятия. [1][2] В компьютерное зрение, слияние мультисенсорных изображений - это процесс объединения релевантной информации из двух или более изображений в одно изображение.[3] Полученное изображение будет более информативным, чем любое из входных изображений.[4]

В дистанционное зондирование приложений, растущая доступность космических датчиков дает мотивацию для различных алгоритмов слияния изображений. Некоторые ситуации при обработке изображений требуют больших пространственных и высоких спектральное разрешение в одном образе. Большая часть доступного оборудования не способна убедительно предоставить такие данные. Методы слияния изображений позволяют интегрировать различные источники информации. Объединенное изображение может иметь дополнительные характеристики пространственного и спектрального разрешения. Однако стандартные методы объединения изображений могут искажать спектральную информацию многоспектральных данных при объединении.

В спутниковая съемка, доступны два типа изображений. В панхроматический изображение, полученное со спутников, передается с максимально возможным разрешением, а многоспектральные данные передаются с более грубым разрешением. Обычно это будет в два-четыре раза меньше. На приемной станции панхроматическое изображение объединяется с мультиспектральными данными для передачи дополнительной информации.

Существует множество методов для совмещения изображений. Самый простой - это фильтрация высоких частот техника. Более поздние техники основаны на Дискретное вейвлет-преобразование, банк однородных рациональных фильтров и Лапласианская пирамида.

Слияние мультифокусных изображений

Слияние многофокусных изображений используется для сбора полезной и необходимой информации из входных изображений с разной глубиной фокуса, чтобы создать выходное изображение, которое в идеале содержит всю информацию из входных изображений.[2][5] В визуальная сенсорная сеть (VSN), датчики - это камеры, которые записывают изображения и видеопоследовательности. Во многих приложениях VSN камера не может дать идеальную иллюстрацию, включающую все детали сцены. Это происходит из-за ограниченной глубины резкости оптических линз фотоаппаратов.[6] Таким образом, фокусируется и очищается только объект, расположенный в фокусном расстоянии камеры, а остальные части изображения размываются. VSN имеет возможность захватывать изображения с разной глубиной фокусировки в сцене с помощью нескольких камер. Из-за большого количества данных, генерируемых камерой по сравнению с другими датчиками, такими как датчики давления и температуры, а также некоторых ограничений, таких как ограниченная ширина полосы, потребление энергии и время обработки, важно обрабатывать локальные входные изображения, чтобы уменьшить объем передачи. данные. Вышеупомянутые причины подчеркивают необходимость объединения многофокусных изображений. Объединение многофокусных изображений - это процесс, который объединяет входные многофокусные изображения в одно изображение, включающее всю важную информацию о входных изображениях, и это более точное объяснение сцены, чем каждое отдельное входное изображение.[2]

Почему слияние изображений

Объединение данных с нескольких датчиков стало дисциплиной, требующей более общих формальных решений для ряда случаев применения. В нескольких ситуациях при обработке изображений требуется как высокая пространственная, так и высокая спектральная информация в одном изображении. Это важно при дистанционном зондировании. Однако инструменты не могут предоставить такую ​​информацию ни по конструкции, ни из-за ограничений наблюдений. Одно из возможных решений для этого: слияние данных.

Стандартные методы слияния изображений

Методы слияния изображений можно в общих чертах разделить на две группы - слияние пространственной области и слияние области преобразования.

Методы слияния, такие как усреднение, метод Брови, анализ главных компонент (PCA ) и IHS основанные на методах методы подпадают под подходы пространственной области. Другой важный метод слияния в пространственной области - это метод, основанный на фильтрации верхних частот. Здесь высокочастотные детали вводятся в версию изображений MS с повышением частоты дискретизации. Недостатком подходов в пространственной области является то, что они вызывают пространственное искажение объединенного изображения. Спектральные искажения становятся негативным фактором, пока мы идем для дальнейшей обработки, например, проблемы классификации. Пространственные искажения могут быть очень хорошо обработаны подходами в частотной области к объединению изображений. Анализ с несколькими разрешениями стал очень полезным инструментом для анализа изображений дистанционного зондирования. В дискретное вейвлет-преобразование стал очень полезным инструментом для синтеза. Существуют также некоторые другие методы слияния, такие как на основе пирамиды Лапласа, на основе кривых преобразований и т. Д. Эти методы демонстрируют лучшие характеристики пространственного и спектрального качества слитого изображения по сравнению с другими пространственными методами слияния.

Изображения, используемые в объединении изображений, уже должны быть зарегистрированный. Не совмещение является основным источником ошибок при слиянии изображений. Некоторые известные методы слияния изображений:

  • Техника фильтрации высоких частот
  • Объединение изображений на основе преобразования IHS
  • Слияние изображений на основе PCA
  • Слияние изображений с вейвлет-преобразованием
  • Парное согласование пространственной частоты

Объединение изображений дистанционного зондирования

Слияние изображений в дистанционное зондирование имеет несколько доменов приложений. Важной областью является слияние изображений с разными разрешениями (обычно называемое пан-резкостью). На спутниковых снимках может быть два типа снимков.

  • Панхроматические изображения - Изображение, полученное в широком визуальном диапазоне длин волн, но отображаемое в черно-белом режиме.
  • Мультиспектральные изображения - Изображения, полученные оптическим путем, в более чем одном спектральном или длинноволновом интервале. Каждое отдельное изображение обычно имеет одинаковую физическую площадь и масштаб, но в другом спектральном диапазоне.

В МЕСТО Спутник PAN обеспечивает панхроматические данные с высоким разрешением (10 м пикселей). В то время как спутник LANDSAT TM обеспечивает многоспектральные изображения низкого разрешения (30 м пикселей). Объединение изображений пытается объединить эти изображения и создать одно мультиспектральное изображение с высоким разрешением.

Стандартные методы объединения изображений основаны на преобразовании красный-зеленый-синий (RGB) в интенсивность-оттенок-насыщенность (IHS). Обычные шаги, выполняемые при слиянии спутниковых изображений, следующие:

  1. Измените размер мультиспектрального изображения с низким разрешением до того же размера, что и панхроматическое изображение.
  2. Преобразуйте полосы R, G и B мультиспектрального изображения в компоненты IHS.
  3. Измените панхроматическое изображение относительно мультиспектрального изображения. Обычно это выполняется сопоставление гистограммы панхроматического изображения с компонентом интенсивности мультиспектральных изображений в качестве эталона.
  4. Замените компонент интенсивности панхроматическим изображением и выполните обратное преобразование, чтобы получить мультиспектральное изображение с высоким разрешением.

Заточку панелей можно выполнять с Фотошоп.[7] Доступны и другие приложения слияния изображений в дистанционном зондировании.[8]

Слияние медицинских изображений

Слияние изображений стало обычным термином, используемым в медицинской диагностике и лечении.[9] Этот термин используется, когда несколько изображений пациента регистрируются и накладываются друг на друга или объединяются для предоставления дополнительной информации. Слитые изображения могут быть созданы из нескольких изображений с использованием одного и того же метода визуализации,[10] или путем комбинирования информации из нескольких модальностей,[11] Такие как магнитно-резонансное изображение (МРТ), компьютерная томография (КТ), позитронно-эмиссионная томография (ПЭТ), и однофотонная эмиссионная компьютерная томография (ОФЭКТ). В радиология и Радиационная Онкология эти изображения служат разным целям. Например, изображения КТ чаще используются для установления различий в плотности тканей, в то время как изображения МРТ обычно используются для диагностики опухолей головного мозга.

Для точного диагноза рентгенологи должны интегрировать информацию из нескольких форматов изображений. Слитые анатомически согласованные изображения особенно полезны при диагностике и лечении рака. С появлением этих новых технологий онкологи-радиологи могут в полной мере использовать лучевую терапию с модуляцией интенсивности (IMRT ). Возможность наложения диагностических изображений на изображения для планирования облучения приводит к более точным IMRT целевые объемы опухолей.

Метрики слияния изображений

Сравнительный анализ методов объединения изображений показывает, что разные метрики поддерживают разные потребности пользователей, чувствительны к различным методам объединения изображений и должны быть адаптированы к приложению. Категории показателей слияния изображений основаны на теории информации.[4] особенности, структурное сходство или человеческое восприятие.[12]

Смотрите также

Рекомендации

  1. ^ Чжэн, Юфэн; Блаш, Эрик; Лю, Чжэн (2018). Слияние и раскрашивание мультиспектральных изображений. SPIE Press. ISBN  9781510619067.
  2. ^ а б c М., Амин-Наджи; А., Агаголзаде (2018). «Слияние многофокусных изображений в области DCT с использованием дисперсии и энергии лапласиана и коэффициента корреляции для сетей визуальных датчиков». Журнал искусственного интеллекта и интеллектуального анализа данных. 6 (2): 233–250. Дои:10.22044 / jadm.2017.5169.1624. ISSN  2322-5211.
  3. ^ Haghighat, M. B. A .; Агаголзаде, А .; Сейедараби, Х. (2011). «Слияние мультифокусных изображений для сетей визуальных датчиков в области DCT». Компьютеры и электротехника. 37 (5): 789–797. Дои:10.1016 / j.compeleceng.2011.04.016.
  4. ^ а б Haghighat, M. B. A .; Агаголзаде, А .; Сейедараби, Х. (2011). «Неопорный показатель слияния изображений, основанный на взаимной информации о характеристиках изображения». Компьютеры и электротехника. 37 (5): 744–756. Дои:10.1016 / j.compeleceng.2011.07.012.
  5. ^ Naji, M. A .; Агаголзаде, А. (ноябрь 2015 г.). Слияние многофокусных изображений в DCT-области на основе коэффициента корреляции. 2015 2-я Международная конференция по наукоемкой инженерии и инновациям (KBEI). С. 632–639. Дои:10.1109 / KBEI.2015.7436118. ISBN  978-1-4673-6506-2.
  6. ^ Naji, M. A .; Агаголзаде, А. (ноябрь 2015 г.). Новый метод слияния многофокусных изображений, основанный на дисперсии в области DCT. 2015 2-я Международная конференция по наукоемкой инженерии и инновациям (KBEI). С. 478–484. Дои:10.1109 / KBEI.2015.7436092. ISBN  978-1-4673-6506-2.
  7. ^ Панорамирование в фотошопе
  8. ^ «Помимо панорамирования: слияние на уровне пикселей в приложениях дистанционного зондирования» (PDF). Архивировано из оригинал (PDF) на 2015-09-01. Получено 2013-03-05.
  9. ^ James, A.P .; Дашаратхи, Б. В. (2014). «Слияние медицинских изображений: обзор современного состояния». Информационное слияние. 19: 4–19. arXiv:1401.0166. Дои:10.1016 / j.inffus.2013.12.002.
  10. ^ Gooding, M.J .; и другие. (2010). «Исследование слияния нескольких изображений 4-D эхокардиографии плода для улучшения качества изображения». Ультразвук в медицине и биологии. 36 (6): 957–66. Дои:10.1016 / j.ultrasmedbio.2010.03.017. PMID  20447758.
  11. ^ Maintz, J.B .; Виергевер, М.А. (1998). «Обзор регистрации медицинских изображений». Анализ медицинских изображений. 2 (1): 1–36. CiteSeerX  10.1.1.46.4959. Дои:10.1016 / с 1361-8415 (01) 80026-8. PMID  10638851.
  12. ^ Liu, Z .; Blasch, E .; Сюэ, З .; Langaniere, R .; Ву, В. (2012). «Объективная оценка алгоритмов слияния изображений с несколькими разрешениями для улучшения контекста в ночном видении: сравнительный обзор». IEEE Transactions по анализу шаблонов и машинному анализу. 34 (1): 94–109. Дои:10.1109 / тпами.2011.109. PMID  21576753.

внешняя ссылка