Слияние мультифокусных изображений - Multi-focus image fusion

Обзор

В последние годы объединение изображений использовалось во многих приложениях, таких как дистанционное зондирование, наблюдение, медицинская диагностика и фотографии. Два основных применения объединения изображений в фотографии - это объединение многофокусных изображений и изображений с несколькими экспозициями.[1][2] Основная идея слияния изображений состоит в сборе важной и существенной информации из входных изображений в одно изображение, которое в идеале содержит всю информацию из входных изображений.[1][3][4][5] История исследований слияния изображений насчитывает более 30 лет и насчитывает множество научных работ.[2][6] Объединение изображений обычно имеет два аспекта: методы объединения изображений и объективные показатели оценки.[6]

Пример слияния многофокусных изображений

Мультифокус слияние изображений это сжатие нескольких изображений техника с использованием входных изображений с разными глубина фокуса сделать одно выходное изображение, сохраняющее всю информацию. В визуальные сенсорные сети (VSN), датчики - это камеры, которые записывают изображения и видеопоследовательности. Во многих приложениях VSN камера не может дать идеальную иллюстрацию, включающую все детали сцены. Это связано с ограниченной глубиной резкости оптических линз фотоаппаратов. Таким образом, фокусируется и четкий только объект, расположенный в фокусном расстоянии камеры, а другие части изображения размываются. VSN делает снимки с разной глубиной резкости с помощью нескольких камер. Из-за большого количества данных, генерируемых камерами, по сравнению с другими датчиками, такими как датчики давления и температуры, а также некоторыми ограничениями пропускная способность, энергопотребление и время обработки, важно обрабатывать локальные входные изображения, чтобы уменьшить объем передаваемых данных.ref name = ": 2" />

В последние годы было проведено много исследований по объединению многофокусных изображений, которые можно разделить на две категории: трансформация и пространственные области. Обычно используемые преобразования для слияния изображений: Дискретное косинусное преобразование (DCT) и многомасштабное преобразование (MST).[2] [7] Недавно, Глубокое обучение (DL) процветает в нескольких приложениях для обработки изображений и компьютерного зрения.[1][3][8]

Слияние мультифокусных изображений в пространственной области

Хуанг и Цзин рассмотрели и применили несколько фокусных измерений в пространственной области для процесса слияния многофокусных изображений, подходящего для приложений в реальном времени. Они упомянули некоторые измерения фокуса, включая отклонение, энергия градиент изображения (EOG), алгоритм Тененбаума (Тененград), энергия Лапласиан (EOL), суммированный лапласиан (SML) и пространственная частота (SF). Их эксперименты показали, что EOL дает лучшие результаты, чем другие методы, такие как дисперсия и пространственная частота.[9][5]

Слияние многофокусных изображений в многомасштабном преобразовании и в области DCT

Объединение изображений на основе многомасштабного преобразования является наиболее часто используемым и многообещающим методом. Лапласиан пирамида преобразование, преобразование на основе градиентной пирамиды, преобразование морфологической пирамиды и главные, дискретные вейвлет-преобразование, инвариантный к сдвигу вейвлет-преобразование (SIDWT) и дискретный косинус гармоническое вейвлет-преобразование (DCHWT) - это несколько примеров методов объединения изображений, основанных на многомасштабном преобразовании.[2][5] [7] Эти методы сложны и имеют некоторые ограничения, например время обработки и потребление энергии. Например, методы слияния многофокусных изображений на основе DWT требуют много свертка операций, поэтому на их обработку уходит больше времени и энергии. Поэтому большинство методов многомасштабного преобразования не подходят для приложений реального времени.[7][5] Более того, эти методы не очень успешны по краям из-за того, что в процессе вейвлет-преобразования края изображения отсутствуют. Они создают звенящие артефакты на выходном изображении и снижают его качество. Из-за вышеупомянутых проблем в методах многомасштабного преобразования исследователи заинтересованы в объединении многофокусных изображений в области дискретного косинусного преобразования (DCT). Методы на основе DCT более эффективны с точки зрения передачи и архивирования изображений, закодированных в стандарте Joint Photographic Experts Group (JPEG), на верхний узел в агенте VSN. Система JPEG состоит из пары кодировщика и декодера. В кодировщике изображения делятся на неперекрывающиеся блоки 8 × 8, и для каждого вычисляются коэффициенты DCT. Поскольку квантование DCT-коэффициентов является процессом с потерями, многие из малозначных DCT-коэффициентов квантуются до нуля, что соответствует высоким частотам. Алгоритмы слияния изображений на основе DCT работают лучше, когда методы слияния многофокусных изображений применяются в сжатой области.[7][5] Кроме того, в методах, основанных на пространстве, входные изображения должны быть декодированы и затем перенесены в пространственную область. После выполнения операций объединения изображений выходные объединенные изображения необходимо снова кодировать. Методы DCT на основе предметной области не требуют сложных и длительных последовательных операций декодирования и кодирования. Следовательно, методы объединения изображений, основанные на области DCT, работают с гораздо меньшими энергозатратами и временем обработки.[7][5] В последнее время в области DCT было проведено много исследований. DCT + Variance, DCT + Corr_Eng, DCT + EOL и DCT + VOL - некоторые известные примеры методов на основе DCT. [5][7].

Слияние многофокусных изображений с использованием глубокого обучения

В настоящее время глубокое обучение используется в приложениях для слияния изображений, таких как слияние многофокусных изображений. Лю и др. были первыми исследователями, которые использовали CNN для слияния многофокусных изображений. Они использовали сиамскую архитектуру для сравнения сфокусированных и несфокусированных участков.[4]. C. Du et al. представленный метод MSCNN, который получает исходную сегментированную карту решений с сегментацией изображения между сфокусированными и несфокусированными пятнами через многомасштабную сверточную нейронную сеть[10]. H. Tang et al. представила нейронную сеть с пиксельной сверткой (p-CNN) для классификации сфокусированных и несфокусированных пятен [11]. Все эти основанные на CNN методы слияния многофокусных изображений улучшили карту принятия решений. Тем не менее, их первоначальные сегментированные карты решений имеют множество недостатков и ошибок. Следовательно, удовлетворение их окончательной карты решения слияния зависит от использования обширных алгоритмов постобработки, таких как проверка согласованности (CV), морфологические операции, водораздел, направляющие фильтры и удаление небольших областей на исходной сегментированной карте решений. Наряду с методами слияния многофокусных изображений на основе CNN, полностью сверточная сеть (FCN) также используется для слияния многофокусных изображений.[8][12].

ECNN: ансамбль CNN для слияния многофокусных изображений[1]

Принципиальная схема генерации трех наборов данных в соответствии с предложенной подачей патчей, которая используется в процедуре обучения ECNN. [1]

Методы многофокусного слияния изображений на основе сверточных нейронных сетей (CNN) недавно привлекли огромное внимание. Они значительно улучшили построенную карту решений по сравнению с предыдущими современными методами, которые применялись в пространственной области и области преобразования. Тем не менее, эти методы не достигли удовлетворительной исходной карты решений, и они должны пройти через обширные алгоритмы постобработки, чтобы получить удовлетворительную карту решений. В методе ECNN предлагается новый метод на основе CNN с помощью ансамблевого обучения. Очень разумно использовать разные модели и наборы данных, а не одну. Методы, основанные на ансамблевом обучении, предназначены для увеличения разнообразия моделей и наборов данных, чтобы уменьшить проблему переобучения обучающего набора данных. Очевидно, что результаты ансамбля CNN лучше, чем только одна-единственная CNN. Кроме того, предлагаемый метод вводит новый простой тип набора данных многофокусных изображений. Он просто изменяет расположение участков многофокусных наборов данных, что очень полезно для получения большей точности. Благодаря этому новому типу расположения наборов данных из набора данных COCO генерируются три различных набора данных, включая исходный и градиент в направлениях вертикальных и горизонтальных участков. Таким образом, предлагаемый метод представляет новую сеть, состоящую из трех моделей CNN, которые были обучены на трех различных созданных наборах данных для построения исходной сегментированной карты решений. Эти идеи значительно улучшают исходную карту сегментированных решений предлагаемого метода, которая похожа или даже лучше, чем другая карта окончательного решения методов на основе CNN, полученная после применения многих алгоритмов постобработки. В наших экспериментах используется множество реальных многофокусных тестовых изображений, а результаты сравниваются по количественным и качественным критериям. Полученные экспериментальные результаты показывают, что предлагаемая сеть на основе CNN является более точной и имеет лучшую карту решений без алгоритмов постобработки, чем другие существующие современные методы многофокусного слияния, в которых используется множество алгоритмов постобработки.

Блок-схема предлагаемого метода ECNN для получения исходной сегментированной карты решений слияния многофокусных изображений [1]

Этот метод представляет новую сеть для достижения более чистой начальной сегментированной карты решений по сравнению с другими. Предлагаемый метод представляет новую архитектуру, которая использует ансамбль из трех сверточных нейронных сетей (CNN), обученных на трех разных наборах данных. Кроме того, предлагаемый метод подготавливает новый простой тип наборов данных многофокусных изображений для достижения лучшей производительности слияния, чем другие популярные наборы данных многофокусных изображений. Эта идея очень полезна для достижения лучшей исходной сегментированной карты решений, которая такая же или даже лучше, чем другие исходные сегментированные карты решений, с использованием обширных алгоритмов постобработки. Исходный код ECNN доступен в http://amin-naji.com/publications/ и https://github.com/mostafaaminnaji/ECNN




Схема предлагаемой архитектуры ECNN со всеми деталями моделей CNN [1]


Рекомендации

  1. ^ а б c d е ж грамм Амин-Наджи, Мостафа; Агаголзаде Али; Эзоджи, Мехди (2019). «Ансамбль CNN для слияния многофокусных изображений». Информационное слияние. 51: 201–214. Дои:10.1016 / j.inffus.2019.02.003. ISSN  1566-2535.
  2. ^ а б c d Ли, Шутао; Канг, Сюйдун; Фанг, Лэюань; Ху, Цзяньвэнь; Инь, Хайтао (2017-01-01). «Слияние изображений на уровне пикселей: обзор современного состояния». Информационное слияние. 33: 100–112. Дои:10.1016 / j.inffus.2016.05.004. ISSN  1566-2535.
  3. ^ а б Амин-Наджи, Мостафа; Агаголзаде Али; Эзоджи, Мехди (2019). «CNN жестко голосуют за слияние многофокусных изображений». Журнал окружающего интеллекта и гуманизированных вычислений. 11 (4): 1749–1769. Дои:10.1007 / s12652-019-01199-0. ISSN  1868-5145.
  4. ^ а б Лю, Ю; Чен, Сюнь; Пэн, Ху; Ван, Цзэнфу (2017-07-01). «Слияние мультифокусного изображения с глубокой сверточной нейронной сетью». Информационное слияние. 36: 191–207. Дои:10.1016 / j.inffus.2016.12.001. ISSN  1566-2535.
  5. ^ а б c d е ж грамм Амин-Наджи, Мостафа; Агаголзаде, Али (2018). «Слияние многофокусных изображений в области DCT с использованием дисперсии и энергии лапласиана и коэффициента корреляции для сетей визуальных датчиков». Журнал AI и Data Mining. 6 (2): 233–250. Дои:10.22044 / jadm.2017.5169.1624. ISSN  2322-5211.
  6. ^ а б Лю, Ю; Чен, Сюнь; Ван, Цзэнфу; Ван, З. Джейн; Ward, Rabab K .; Ван, Сюэсон (2018-07-01). «Глубокое обучение для объединения изображений на уровне пикселей: последние достижения и перспективы на будущее». Информационное слияние. 42: 158–173. Дои:10.1016 / j.inffus.2017.10.007. ISSN  1566-2535.
  7. ^ а б c d е ж Хагигат, Мохаммад Багер Акбари; Агаголзаде Али; Сейедараби, Хади (01.09.2011). «Слияние мультифокусных изображений для сетей визуальных датчиков в области DCT». Компьютеры и электротехника. Спецвыпуск по обработке изображений. 37 (5): 789–797. Дои:10.1016 / j.compeleceng.2011.04.016. ISSN  0045-7906.
  8. ^ а б Амин-Наджи, Мостафа; Агаголзаде Али; Эдзодзи, Мехди (2018). «Полностью неволюционные сети для слияния нескольких изображений». 2018 9-й Международный симпозиум по телекоммуникациям (IST): 553–558. Дои:10.1109 / ISTEL.2018.8660989. ISBN  978-1-5386-8274-6.
  9. ^ Хуанг, Вэй; Цзин, Чжунлян (2007-03-01). «Оценка мер фокусировки при слиянии многофокусных изображений». Письма с распознаванием образов. 28 (4): 493–500. Дои:10.1016 / j.patrec.2006.09.005. ISSN  0167-8655.
  10. ^ Du, C .; Гао, С. (2017). «Слияние многофокусных изображений на основе сегментации изображений с помощью многомасштабной сверточной нейронной сети». Доступ IEEE. 5: 15750–15761. Дои:10.1109 / ACCESS.2017.2735019.
  11. ^ Тан, Хан; Сяо, Бинь; Ли, Вэйшэн; Ван, Гоинь (2018-04-01). «Пиксельная сверточная нейронная сеть для слияния многофокусных изображений». Информационные науки. 433-434: 125–141. Дои:10.1016 / j.ins.2017.12.043. ISSN  0020-0255.
  12. ^ Го, Сяопэн; Не, Ренкан; Цао, Цзиндэ; Чжоу, Дунмин; Цянь, Вэньхуа (12.06.2018). «Полностью сверточное слияние мультифокусных изображений на основе сети». Нейронные вычисления. 30 (7): 1775–1800. Дои:10.1162 / neco_a_01098. ISSN  0899-7667. PMID  29894654.