Изображения в сверхвысоком разрешении - Super-resolution imaging

эта статья написано как личное размышление, личное эссе или аргументированное эссе который излагает личные чувства редактора Википедии или представляет оригинальный аргумент по теме. Пожалуйста помогите улучшить это переписав его в энциклопедический стиль. (Октябрь 2019) (Узнайте, как и когда удалить этот шаблон сообщения)

Изображения в сверхвысоком разрешении (SR) - это класс методов, которые усиливают (увеличивают) разрешающая способность из визуализация система. В оптический SR то предел дифракции систем превосходит, а в геометрический SR разрешение цифрового датчики изображения усиливается.

В некоторых радар и сонар приложения для обработки изображений (например, магнитно-резонансная томография (МРТ), компьютерная томография высокого разрешения ), подпространство методы на основе разложения (например, МУЗЫКА^[1]) и сжатое зондирование алгоритмы на основе (например, САМВ^[2]) используются для достижения SR по сравнению со стандартным периодограмма алгоритм.

Обычно используются методы визуализации сверхвысокого разрешения. обработка изображений И в микроскопия сверхвысокого разрешения.

Базовые концепты

Поскольку некоторые идеи, связанные с сверхвысоким разрешением, поднимают фундаментальные вопросы, необходимо с самого начала изучить соответствующие физические и теоретико-информационные принципы:

• Предел дифракции: Деталь физического объекта, которую оптический инструмент может воспроизвести на изображении, имеет ограничения, установленные законами физики, независимо от того, сформулированы ли они дифракция уравнения в волновая теория света^[3] или, что то же самое, принцип неопределенности для фотонов в квантовая механика.^[4] Передача информации никогда не может быть увеличена за пределы этой границы, но пакеты, выходящие за эти пределы, могут быть умело заменены (или мультиплексированы) внутри нее.^[5] Дифракционный предел не столько «ломается», сколько «обходит». Новые процедуры исследования электромагнитных возмущений на молекулярном уровне (в так называемом ближнем поле)^[6] полностью соответствовать Уравнения Максвелла.
  • Пространственно-частотная область: краткое выражение дифракционного предела дается в пространственно-частотной области. В Фурье-оптика светораспределение выражается как суперпозиция ряда решетчатых световых узоров в диапазоне ширины полосы, технически пространственные частоты. Обычно считается, что теория дифракции предусматривает верхний предел, пространственную частоту отсечки, за пределами которой элементы рисунка не могут быть переданы в оптическое изображение, т.е. не разрешаются. Но на самом деле теория дифракции задает ширину полосы пропускания, а не фиксированный верхний предел. Никакие законы физики не нарушаются, когда полоса пространственных частот за пределами пространственной частоты среза меняется на полосу внутри нее: это давно реализовано в темнопольная микроскопия. Не нарушаются и теоретико-информационные правила при наложении нескольких полос,^[7][8] Чтобы распутать их в полученном изображении, необходимы допущения об инвариантности объекта во время многократных экспозиций, то есть замена одного вида неопределенности другим.
• Информация: Когда термин сверхразрешение используется в методах вывода деталей объекта из статистической обработки изображения в пределах стандартного разрешения, например, при усреднении нескольких экспозиций, он включает обмен одного вида информации (извлечение сигнала из шума) другим. (предположение, что цель осталась неизменной).
• Разрешение и локализация: Истинное разрешение включает в себя различение того, является ли цель, например звезда или спектральная линия может быть одинарной или двойной, что обычно требует разделения пиков на изображении. Когда известно, что цель одиночная, ее местоположение можно определить с большей точностью, чем ширина изображения, путем нахождения центроида (центра тяжести) распределения света на ее изображении. Слово сверхвысокое разрешение был предложен для этого процесса^[9] но это не прижилось, и процедуру высокоточной локализации обычно называют сверхразрешением.

Технические достижения в области повышения производительности устройств формирования изображений и датчиков, которые теперь классифицируются как сверхвысокое разрешение, используются в полной мере, но всегда остаются в рамках, установленных законами физики и теории информации.

Методы, к которым применялся термин суперразрешение

Оптическое или дифракционное сверхразрешение

Замена пространственно-частотных диапазонов: Хотя полоса пропускания, допустимая за счет дифракции, фиксирована, ее можно расположить в любом месте пространственно-частотного спектра. Темнопольное освещение в микроскопии является примером. Смотрите также синтез апертуры.

Техника сверхразрешения «структурированного освещения» связана с муаровые узоры. Мишень - полоса мелких полос (верхний ряд) - выходит за дифракционный предел. Когда искусственно накладывается полоса несколько более грубых разрешимых полос (вторая строка), в комбинации (третья строка) появляется муар компоненты, которые находятся в пределах дифракционного предела и, следовательно, содержатся в изображении (нижняя строка), что позволяет сделать вывод о наличии тонких полос, даже если они сами не представлены на изображении.

Мультиплексирование пространственно-частотных диапазонов

Изображение формируется с использованием нормальной полосы пропускания оптического устройства. Затем на цель накладывается некоторая известная световая структура, например набор световых полос, которые также находятся в полосе пропускания.^[8] Теперь изображение содержит компоненты, полученные в результате комбинации цели и наложенной световой структуры, например муаровая бахрома, и несет информацию о деталях цели, чего нет в простом неструктурированном освещении. Однако «сверхразрешенные» компоненты необходимо распутать, чтобы выявить. Например, см. Структурированное освещение (рисунок слева).

Использование нескольких параметров в пределах традиционного дифракционного предела

Если цель не имеет особых свойств поляризации или длины волны, два состояния поляризации или неперекрывающиеся области длин волн могут быть использованы для кодирования деталей цели, одно в полосе пространственных частот внутри границы отсечки, а другое за ее пределами. Оба будут использовать нормальную передачу полосы пропускания, но затем отдельно декодируются для воссоздания целевой структуры с расширенным разрешением.

Исследование электромагнитных помех в ближнем поле

Обычное обсуждение сверхразрешения включало обычные изображения объекта с помощью оптической системы. Но современные технологии позволяют исследовать электромагнитные помехи на молекулярных расстояниях от источника.^[6] который имеет превосходное разрешение, см. также мимолетные волны и разработка новых Супер линза.

Геометрическое разрешение или сверхвысокое разрешение обработки изображений

По сравнению с одиночным изображением, испорченным шумом во время его получения или передачи (слева), сигнал-шум улучшается подходящей комбинацией нескольких отдельно полученных изображений (справа). Это может быть достигнуто только в пределах внутренней разрешающей способности процесса визуализации для выявления таких деталей.

Подавление шума мультиэкспозиционного изображения

Когда изображение ухудшается из-за шума, в среднем для многих экспозиций может быть больше деталей, даже в пределах дифракционного предела. См. Пример справа.

Удаление заусенцев за один кадр

Известные дефекты в данной ситуации визуализации, такие как расфокусировать или аберрации, иногда можно уменьшить полностью или частично с помощью подходящей пространственно-частотной фильтрации даже одного изображения. Все такие процедуры остаются в пределах полосы пропускания, предписанной дифракцией, и не расширяют ее.

Обе функции занимают более 3 пикселей, но в разном количестве, что позволяет локализовать их с точностью, превосходящей размер пикселей.

Локализация субпиксельного изображения

Местоположение единственного источника можно определить, вычислив «центр тяжести» (центроид ) распределения света на несколько соседних пикселей (см. рисунок слева). При условии, что света достаточно, это может быть достигнуто с произвольной точностью, намного лучше, чем ширина пикселя устройства обнаружения и предел разрешения для решения, является ли источник одиночным или двойным. Этот метод, который требует допущения, что весь свет исходит из одного источника, лежит в основе того, что стало известно как микроскопия сверхвысокого разрешения, например микроскопия стохастической оптической реконструкции (ШТОРМ), где флуоресцентные зонды, прикрепленные к молекулам, дают наноразмер информация о расстоянии. Это также механизм, лежащий в основе визуального гиперактивность.^[10]

Байесовская индукция за пределами традиционного дифракционного предела

Некоторые особенности объекта, хотя и выходящие за дифракционный предел, могут быть связаны с другими характеристиками объекта, которые находятся в этих пределах и, следовательно, содержатся в изображении. Затем, используя статистические методы, можно сделать выводы из имеющихся данных изображения о наличии целого объекта.^[11] Классическим примером является предложение Торальдо ди Франсиа.^[12] суждения о том, является ли изображение изображением одинарной или двойной звезды, путем определения того, превышает ли его ширина разброс от одиночной звезды. Это может быть достигнуто при разделениях, значительно меньших классических границ разрешения, и требует предварительного ограничения на выбор «одинарный или двойной?»

Подход может иметь форму экстраполяция изображение в частотной области, предполагая, что объект является аналитическая функция, и что мы можем точно знать функция ценности в некоторых интервал. Этот метод сильно ограничен вездесущим шумом в системах цифровой обработки изображений, но он может работать для радар, астрономия, микроскопия или магнитно-резонансная томография.^[13] Совсем недавно был разработан быстрый алгоритм сверхвысокого разрешения одного изображения, основанный на решении в замкнутой форме для ${ displaystyle ell _ {2} - ell _ {2}}$ были предложены и продемонстрированы проблемы для значительного ускорения большинства существующих байесовских методов сверхразрешения.^[14]

Сглаживание

Геометрическая реконструкция СИ алгоритмы возможны тогда и только тогда, когда входные изображения с низким разрешением были недостаточно дискретизированы и, следовательно, содержат сглаживание. Из-за этого наложения высокочастотный контент желаемого восстановленного изображения встраивается в низкочастотный контент каждого из наблюдаемых изображений. При наличии достаточного количества изображений наблюдений и если набор наблюдений различается по фазе (т. Е. Если изображения сцены сдвинуты на величину подпикселя), то информация о фазе может использоваться для разделения высокочастотных контент из истинно низкочастотного контента, и изображение с полным разрешением может быть точно реконструировано.^[15]

На практике этот частотный подход не используется для реконструкции, но даже в случае пространственных подходов (например, слияние сдвиг-добавление^[16]), наличие наложения спектров по-прежнему является необходимым условием для восстановления СИ.

Технические реализации

Существуют как однокадровые, так и многокадровые варианты SR. Многокадровый SR использует суб-сдвиг пикселей между несколькими изображениями с низким разрешением одной и той же сцены. Он создает изображение с улучшенным разрешением, объединяя информацию из всех изображений с низким разрешением, а созданные изображения с более высоким разрешением лучше описывают сцену. Однокадровые методы SR пытаются увеличить изображение без размытия. Эти методы используют другие части изображений с низким разрешением или другие несвязанные изображения, чтобы угадать, как должно выглядеть изображение с высоким разрешением. Алгоритмы также можно разделить по предметной области: частота или космический домен. Первоначально методы сверхвысокого разрешения работали только с изображениями в градациях серого,^[17] но исследователи нашли способы адаптировать их к цветным изображениям камеры.^[16] Недавно было продемонстрировано также использование сверхвысокого разрешения для 3D-данных.^[18]

Исследование

Есть многообещающие исследования по использованию глубокие сверточные сети для выполнения сверхвысокого разрешения.^[19] В частности, была продемонстрирована работа, показывающая преобразование 20-кратного микроскоп изображение пыльцевых зерен в 1500x растровый электронный микроскоп изображение с его помощью.^[20] Хотя этот метод может увеличить информационное содержание изображения, нет гарантии, что масштабированные функции присутствуют в исходном изображении и глубокие сверточные апскейлеры не следует использовать в аналитических приложениях с неоднозначными входными данными.

Смотрите также

• Оптическое разрешение
• Передискретизация

Рекомендации

Другая связанная работа

• Curtis, Craig H .; Милстер, Том Д. (октябрь 1992 г.). «Анализ сверхразрешения в магнитооптических устройствах хранения информации». Прикладная оптика. 31 (29): 6272–6279. Bibcode:1992АпОпт..31.6272M. Дои:10.1364 / AO.31.006272. PMID  20733840.
• Залевский, З .; Мендлович, Д. (2003). Оптическое сверхразрешение. Springer. ISBN  978-0-387-00591-1.
• Кэрон, Дж. (Сентябрь 2004 г.). «Быстрая суперсэмплинг последовательностей мультикадров с использованием слепой деконволюции». Письма об оптике. 29 (17): 1986–1988. Bibcode:2004 ОптL ... 29.1986C. Дои:10.1364 / OL.29.001986. PMID  15455755.
• Clement, G.T .; Huttunen, J .; Хайнинен, К. (2005). «Ультразвуковая визуализация сверхвысокого разрешения с использованием обратной проекции реконструкции». Журнал Акустического общества Америки. 118 (6): 3953–3960. Bibcode:2005ASAJ..118.3953C. Дои:10.1121/1.2109167. PMID  16419839.
• Geisler, W.S .; Перри, Дж. (2011). «Статистика для оптимального предсказания точки на естественных изображениях». Журнал видения. 11 (12): 14. Дои:10.1167/11.12.14. ЧВК  5144165. PMID  22011382.
• Cheung, V .; Frey, B.J .; Джойч, Н. (20–25 июня 2005 г.). Видео воплощения (PDF). Конференция по компьютерному зрению и распознаванию образов (CVPR). 1. С. 42–49. Дои:10.1109 / CVPR.2005.366.
• Bertero, M .; Боккаччи, П. (октябрь 2003 г.). «Сверхвысокое разрешение в компьютерной визуализации». Микрон. 34 (6–7): 265–273. Дои:10.1016 / s0968-4328 (03) 00051-9. PMID  12932769.
• Borman, S .; Стивенсон Р. (1998). «Повышение пространственного разрешения последовательностей изображений с низким разрешением - всесторонний обзор с указаниями для будущих исследований» (Технический отчет). Университет Нотр-Дам. Цитировать журнал требует | журнал = (Помогите)
• Borman, S .; Стивенсон Р. (1998). Супер-разрешение из последовательностей изображений - обзор (PDF). Среднезападный симпозиум по схемам и системам.
• Park, S.C .; Парк, М. К .; Канг М.Г. (май 2003 г.). «Реконструкция изображений сверхвысокого разрешения: технический обзор». Журнал IEEE Signal Processing Magazine. 20 (3): 21–36. Bibcode:2003ISPM ... 20 ... 21P. Дои:10.1109 / MSP.2003.1203207.
• Farsiu, S .; Робинсон, Д .; Elad, M .; Миланфар, П. (август 2004 г.). «Достижения и проблемы сверхвысокого разрешения». Международный журнал систем и технологий обработки изображений. 14 (2): 47–57. Дои:10.1002 / ima.20007. S2CID  12351561.
• Elad, M .; Хел-Ор, Ю. (август 2001 г.). "Алгоритм быстрой реконструкции сверхвысокого разрешения для чистого поступательного движения и общего пространственно-инвариантного размытия". IEEE Transactions по обработке изображений. 10 (8): 1187–1193. Bibcode:2001ITIP ... 10.1187E. CiteSeerX  10.1.1.11.2502. Дои:10.1109/83.935034. PMID  18255535.
• Irani, M .; Пелег, С. (июнь 1990 г.). Супер разрешение из последовательностей изображений (PDF). Международная конференция по распознаванию образов. 2. С. 115–120.
• Сроубек, Ф .; Cristobal, G .; Флюссер, Дж. (2007). «Единый подход к сверхразрешению и многоканальной слепой деконволюции». IEEE Transactions по обработке изображений. 16 (9): 2322–2332. Bibcode:2007ITIP ... 16.2322S. Дои:10.1109 / TIP.2007.903256. PMID  17784605. S2CID  6367149.
• Калабуиг, Алехандро; Мико, Висенте; Гарсия, Хавьер; Залевский, Зеев; Феррейра, Карлос (март 2011 г.). "Интерферометрическая микроскопия сверхвысокого разрешения с однократной экспозицией методом красно-зелено-синего мультиплексирования". Письма об оптике. 36 (6): 885–887. Bibcode:2011OptL ... 36..885C. Дои:10.1364 / OL.36.000885. PMID  21403717.
• Чан, Вай-Сан; Лам, Эдмунд; Нг, Майкл К .; Мак, Джузеппе Ю. (сентябрь 2007 г.). «Реконструкция сверхвысокого разрешения в вычислительной системе визуализации сложного глаза». Многомерные системы и обработка сигналов. 18 (2–3): 83–101. Дои:10.1007 / s11045-007-0022-3. S2CID  16452552.
• Нг, Майкл К .; Шен, Хуаньфэн; Лам, Эдмунд Й .; Чжан, Лянпэй (2007). «Алгоритм восстановления сверхвысокого разрешения на основе полной вариации регуляризации для цифрового видео». Журнал EURASIP о достижениях в обработке сигналов. 2007: 074585. Bibcode:2007EJASP2007..104N. Дои:10.1155/2007/74585.
• Glasner, D .; Bagon, S .; Ирани, М. (октябрь 2009 г.). Сверхвысокое разрешение одного изображения (PDF). Международная конференция по компьютерному зрению (ICCV).; "пример и результаты".
• Бен-Эзра, М .; Линь, Чжоучэн; Wilburn, B .; Чжан, Вэй (июль 2011 г.). «Пиксели Пенроуза для сверхвысокого разрешения» (PDF). IEEE Transactions по анализу шаблонов и машинному анализу. 33 (7): 1370–1383. CiteSeerX  10.1.1.174.8804. Дои:10.1109 / TPAMI.2010.213. PMID  21135446. S2CID  184868.
• Тимофте, Р .; Де Смет, В .; Ван Гул, Л. (ноябрь 2014 г.). A +: Скорректированная регрессия привязанного соседства для быстрого сверхразрешения (PDF). 12-я Азиатская конференция по компьютерному зрению (ACCV).; "коды и данные".
• Хуанг, Дж. Б; Сингх, А .; Ахуджа, Н. (июнь 2015 г.). Одиночное сверхразрешение изображения из преобразованных самообразов. Конференция IEEE по компьютерному зрению и распознаванию образов.; "страница проекта".
• CHRISTENSEN-JEFFRIES, T .; COUTURE, O .; ДЕЙТОН, П.А.; ELDAR, Y.C .; HYNYNEN, K .; КЕССЛИНГ, Ф .; О'РЕЙЛИ, М .; PINTON, G.F .; SCHMITZ, G .; TANG, M.-X .; ТАНТЕР, М .; ВАН СЛОУН, R.J.G. (2020). «Ультразвуковая визуализация сверхвысокого разрешения». Ультразвук в Мед. & Биол. 46 (4): 865–891. Дои:10.1016 / j.ultrasmedbio.2019.11.013. PMID  31973952.