Галлюцинации на лице - Face hallucination

Галлюцинации на лице относится к любому сверхразрешение техника, которая применяется конкретно к лицам. Он включает в себя методы, которые принимают зашумленные изображения лица или изображения с низким разрешением и преобразуют их в изображения с высоким разрешением, используя знания о типичных чертах лица. Может применяться в системы распознавания лиц для более быстрого и эффективного распознавания лиц. Благодаря потенциальному применению в системах распознавания лиц, галлюцинации лиц стали активной областью исследований.

Различия между галлюцинациями на лице и сверхвысоким разрешением

Изображение сверхразрешение - это класс методов, которые повышают разрешение изображения с помощью набора изображений с низким разрешением. Основное различие между обоими методами заключается в том, что галлюцинация лица - это сверхвысокое разрешение для изображений лиц и всегда использует типичные априорные лица с сильной связью с концепцией области лица.

Меры

Изображение считается высоким разрешением, если оно имеет размер 128x96 пикселей.[нужна цитата ] Следовательно, цель галлюцинации лица - заставить входное изображение достигнуть этого количества пикселей. Наиболее распространенные значения входного изображения обычно 32x24 пикселей или 16x12 пикселей.[нужна цитата ]

Более того, проблема галлюцинаций лица - это сложность совмещения лиц. Для согласования взятой тестовой выборки и обучающей выборки требуется множество методов. Даже небольшое неправильное выравнивание может ухудшить метод и результат.

Алгоритм

За последние два десятилетия сообщалось, что многие алгоритмы галлюцинаций на лице применяют эту технику. Несмотря на то, что существующие методы галлюцинации лица достигли большого успеха, есть еще много возможностей для улучшения.

Общие алгоритмы обычно выполняют два шага: первый шаг генерирует глобальное изображение лица, которое сохраняет характеристики лица, используя вероятностный метод. максимум апостериори (КАРТА). На втором этапе создается остаточное изображение для компенсации результата первого шага. Кроме того, все алгоритмы основаны на наборе пар обучающих изображений с высоким и низким разрешением, которые включают методы сверхвысокого разрешения изображения в синтезе изображения лица.

Любой алгоритм галлюцинации лица должен основываться на трех ограничениях:

Ограничение данных

Выходное изображение должно быть близко к исходному изображению, когда оно сглажено или понижена дискретизация.

Глобальное ограничение

Полученное изображение всегда содержит все общие черты человеческого лица. Черты лица всегда должны быть согласованными, иначе результат может быть слишком шумным.

Локальное ограничение

Выходное изображение должно иметь очень специфические особенности изображения лица, похожие на фотореалистичные локальные особенности. Без этого ограничения результирующее изображение может быть слишком гладким.

Методы

Галлюцинация лица усиливает черты лица, улучшает разрешение изображения с помощью различных методов.

Самый простой способ увеличить разрешение изображения - это прямая интерполяция, увеличивающая интенсивность пикселей входных изображений, с помощью таких алгоритмов, как ближайший сосед, билинейный и варианты интерполяции кубическим сплайном. Другой подход к интерполяции состоит в том, чтобы научиться интерполировать из набора обучающих выборок с высоким разрешением вместе с их соответствующими версиями с низким разрешением. (стр.4 пекарь и канаде)

Однако результаты очень плохие, поскольку в процессе не добавляется никакой новой информации. Вот почему в последние годы были предложены новые методы.

Галлюцинация лица на основе теоремы Байеса

Этот метод был предложен Бейкером и Канаде,[1] пионерская техника галлюцинаций лица.

Алгоритм основан на формулировке байесовской карты MAP и использует градиентный спуск для оптимизации целевой функции и генерирует высокочастотные детали из родительской структуры с помощью обучающих выборок.

Супер-разрешение из нескольких видов с использованием изученных моделей изображений

Капель и Зиссерман [2] был первым, кто предложил метод SR локального изображения лица.

Он разделил изображение лица на четыре ключевые области: глаза, нос, рот и щеки. Для каждой области он изучает отдельный Анализ главных компонентов (PCA) и реконструирует площадь отдельно. Однако на реконструированных изображениях лиц в этом методе есть видимые артефакты между разными регионами.

Галлюцинация на лице с помощью разреженного кодирования

Этот метод был предложен Дж. Янгом и Х. Таном.[3] и он основан на галлюцинации изображения лица с высоким разрешением при вводе входного значения с низким разрешением. Этот метод использует черты лица с помощью факторизации неотрицательной матрицы (NMF ) подход к изучению локализованного подпространства на основе частей. Это подпространство эффективно для суперразрешения входящего лица.

Для дальнейшего улучшения детальной структуры лица с помощью метода локального исправления, основанного на разреженном представлении.

Галлюцинация лица от собственного преобразования

Собственные лица изображений лиц

Этот метод был предложен Ван и Тан. [4] и он использует собственное преобразование. Этот метод рассматривает решение как преобразование между различными стилями изображения и использует анализ главных компонентов (PCA), применяемый к изображению лица с низким разрешением. Выбрав количество «собственных лиц», мы можем извлечь количество информации об изображении лица с низким разрешением и удалить шум.

В алгоритме собственного преобразования изображение галлюцинированного лица синтезируется линейной комбинацией обучающих изображений с высоким разрешением, а коэффициенты комбинации берутся из изображений лица с низким разрешением с использованием метода анализа главных компонентов. Алгоритм улучшает разрешение изображения, выводя некоторые высокочастотные детали лица из низкочастотной информации о лице, используя корреляцию между двумя частями. Из-за структурного сходства между изображениями лиц при анализе с множественным разрешением существует сильная корреляция между высокочастотной полосой и низкочастотной полосой. Для изображений лиц с высоким разрешением PCA может сжать эту коррелированную информацию на небольшом количестве основных компонентов. Затем, в процессе собственного преобразования, эти основные компоненты могут быть выведены из основных компонентов лица с низким разрешением путем сопоставления между обучающими парами с высоким и низким разрешением.

Двухэтапный подход

Этот метод был разработан С. Лю и Шумом. [5][6] и он объединяет глобальную параметрическую и локальную параметрическую модель. Глобальная модель представляет собой линейный параметрический вывод, а локальная модель представляет собой непараметрическую сеть Маркова на основе патчей.

На первом этапе изучите взаимосвязь между изображениями с высоким разрешением и их сглаженными изображениями с пониженной дискретизацией. На втором этапе смоделируйте остаток между исходным высоким разрешением и восстановленным изображением высокого разрешения после применения изученной линейной модели с помощью непараметрической сети Маркова для захвата высокочастотного содержимого лиц.

Галлюцинация на лице на основе MCA

Этот алгоритм формулирует галлюцинацию на лице как проблему разложения изображения и предлагает анализ морфологических компонентов (MCA)]][7] на основе метода.

Метод представлен в трехэтапной структуре: во-первых, входное изображение с низким разрешением подвергается повышающей дискретизации с помощью интерполяции. Интерполированное изображение может быть представлено как суперпозиция глобального изображения высокого разрешения и «маски нерезкости». На втором этапе интерполированное изображение разлагается на глобальное изображение высокого разрешения с использованием MCA для получения глобального приближения изображения HR из интерполированного изображения. Наконец, информация о деталях лица компенсируется на оцененном HT-изображении с использованием реконструкции соседних участков.

Другие методы

  • Галлюцинация лица с помощью тензорного патча сверхвысокого разрешения и совместной компенсации остатков.
  • Сверхразрешение с скудное представительство для видеонаблюдения.
  • Галлюцинации на лице из-за повязки.
  • На основе позиции.
  • LPH сверхвысокого разрешения и реконструкция соседей для компенсации остатков.

Результаты

Все методы, представленные выше, дают очень удовлетворительные результаты и оправдывают ожидания, поэтому трудно определить, какой метод наиболее эффективен, а какой дает лучший результат.

Однако можно сказать, что:

  • Метод Бейкера и Канаде позволяет исказить характерные черты изображения лица.
  • Результатом метода, разработанного Ван и Тан, можно добиться эффекта звонка.

Рекомендации

  1. ^ Бейкер, Саймон; Канаде, Такео. «Галлюцинации лиц». Получено 18 ноября 2014. Цитировать журнал требует | журнал = (Помогите)
  2. ^ Capel, D .; Зиссерман, А. (2001). «Супер-разрешение из нескольких видов с использованием изученных моделей изображений» (PDF). Суперразрешение из нескольких видов с использованием изученных моделей изображений. 2. Кауаи, Гавайи. стр.627–634. Дои:10.1109 / CVPR.2001.991022. ISBN  978-0-7695-1272-3. Получено 4 марта 2015.
  3. ^ Ян, Цзяньчао; Тан, Хао; Могу ли я; Хуанг, Томас. "Галлюцинация на лице через редкое кодирование" (PDF). Получено 4 марта 2015. Цитировать журнал требует | журнал = (Помогите)
  4. ^ Сяоган Ван и Сяоу Тан "Галлюцинирующее лицо при собственном преобразовании" (PDF). 2005. Получено 17 ноября 2014.
  5. ^ К. Лю, H.Y. Шум и В. Т. Фриман «Галлюцинация на лице: теория и практика». Октябрь 2007 г.. Получено 20 ноября 2014.
  6. ^ К. Лю, H.Y. Шум и В. Т. Фриман «Галлюцинация на лице: теория и практика» (PDF). Октябрь 2007 г.. Получено 20 ноября 2014.
  7. ^ Янь Лян, Сяохуа Се, Цзянь-Хуан Лай «Галлюцинация лица на основе анализа морфологических компонентов» (PDF). Октябрь 2012 г. Архивировано с оригинал (PDF) 5 декабря 2014 г.. Получено 21 ноября 2014.

Библиография

внешняя ссылка