Масштабирование изображения - Image scaling

Изображение, масштабированное с помощью масштабирования ближайшего соседа (слева) и 2-кратного масштабирования SaI (справа)

В компьютерная графика и цифровое изображение, изображение масштабирование относится к изменению размера цифрового изображения. В видеотехнологиях увеличение цифрового материала называется апскейлингом или повышение разрешения.

При масштабировании векторная графика image, графические примитивы, составляющие изображение, можно масштабировать с помощью геометрических преобразований без потери Качество изображения. При масштабировании растровая графика image, необходимо создать новое изображение с большим или меньшим количеством пикселей. В случае уменьшения количества пикселей (масштабирования) это обычно приводит к видимой потере качества. С точки зрения цифровая обработка сигналов, масштабирование растровой графики является двухмерным примером преобразование частоты дискретизации, преобразование дискретного сигнала из одной частоты дискретизации (в данном случае локальной частоты дискретизации) в другую.

Математическая

Масштабирование изображения можно интерпретировать как форму передискретизации изображения или реконструкции изображения с точки зрения человека. Теорема выборки Найквиста. Согласно теореме, понижающая дискретизация до меньшего изображения из оригинала с более высоким разрешением может быть выполнена только после применения подходящего 2D-изображения. фильтр сглаживания для предотвращения артефактов сглаживания. Изображение сокращается до информации, которую может нести меньшее изображение.

В случае повышающей дискретизации фильтр реконструкции занимает место фильтра сглаживания.

  • Исходное изображение

  • Исходное изображение в пространственно-частотной области

  • Отфильтрованное изображение в пространственно-частотной области

  • 4 × субдискретизация

  • 4 × повышающая дискретизация Фурье (правильная реконструкция)

  • 4 × повышающая дискретизация Фурье (с наложением)

Более сложный подход к апскейлингу рассматривает проблему как обратная задача, решая вопрос создания правдоподобного изображения, которое при уменьшении масштаба будет выглядеть как входное изображение. Для этого были применены различные методы, в том числе методы оптимизации с регуляризация условия и использование машинное обучение из примеров.

Алгоритмы

Смотрите также: Галерея сравнения алгоритмов масштабирования изображений

Размер изображения можно изменить несколькими способами.

Интерполяция ближайшего соседа

Один из более простых способов увеличения размера изображения - интерполяция ближайшего соседа, заменяя каждый пиксель ближайшим пикселем на выходе; для масштабирования это означает, что будут присутствовать несколько пикселей одного цвета. Это может сохранить резкие детали в пиксельной графике, но также неровность в ранее гладких изображениях. «Ближайший» в ближайшем соседе не обязательно должен быть математическим ближайшим. Одна из распространенных реализаций - всегда округлять до нуля. Такое округление приводит к меньшему количеству артефактов и более быстрому вычислению.

Билинейные и бикубические алгоритмы

Билинейная интерполяция работает интерполирующий значения цвета пикселей, вводя непрерывный переход в вывод, даже если исходный материал имеет дискретные переходы. Хотя это желательно для изображений с непрерывным тоном, этот алгоритм снижает контраст (острые края), что может быть нежелательно для штрихового рисунка. Бикубическая интерполяция дает существенно лучшие результаты с увеличением вычислительных затрат.

Передискретизация Синка и Ланцоша

Передискретизация Sinc теоретически обеспечивает наилучшую реконструкцию сигнала с полностью ограниченной полосой пропускания. На практике допущения, лежащие в основе повторной выборки sinc, не полностью соответствуют реальным цифровым изображениям. Передискретизация по Ланцошу, приближение к методу sinc, дает лучшие результаты. Бикубическую интерполяцию можно рассматривать как вычислительно эффективное приближение передискретизации Ланцоша.

Коробка отбора проб

Одним из недостатков билинейных, бикубических и подобных алгоритмов является то, что они выбирают определенное количество пикселей. При уменьшении масштаба ниже определенного порога, например, более чем в два раза для всех алгоритмов двойной выборки, алгоритмы будут производить выборку несмежных пикселей, что приводит как к потере данных, так и к грубым результатам.

Тривиальным решением этой проблемы является выборка блоков, при которой целевой пиксель рассматривается как блок на исходном изображении и производится выборка всех пикселей внутри блока. Это гарантирует, что все входные пиксели вносят вклад в выходной. Основная слабость этого алгоритма в том, что его сложно оптимизировать.

Mipmap

Еще одно решение проблемы уменьшения масштаба при двухвыборочном масштабировании: MIP-карты. MIP-карта - это предварительно масштабированный набор уменьшенных копий. При уменьшении масштаба ближайшая более крупная MIP-карта используется в качестве источника, чтобы гарантировать отсутствие масштабирования ниже полезного порога билинейного масштабирования. Этот алгоритм работает быстро и легко оптимизируется. Это стандартно во многих фреймворках, таких как OpenGL. Стоимость заключается в использовании большего объема памяти изображений, ровно на треть больше в стандартной реализации.

Методы преобразования Фурье

Простая интерполяция на основе преобразование Фурье подкладывает частотная область с нулевыми компонентами (плавный оконный подход уменьшит звон ). Помимо хорошей сохранности (или восстановления) деталей, следует отметить звенящий и круговой выпуск содержимого от левого края к правому (и наоборот).

Направленная на кромку интерполяция

Алгоритмы направленной на края интерполяции направлены на сохранение краев изображения после масштабирования, в отличие от других алгоритмов, которые могут создавать ступенчатые артефакты.

Примеры алгоритмов для этой задачи включают New Edge-Directed Interpolation (NEDI),[1][2] Интерполяция изображений по краям (EGGI),[3] Итеративная интерполяция на основе кривизны (ICBI),[4] и Направленная интерполяция кубической свертки (DCCI).[5] Анализ 2013 года показал, что у DCCI были лучшие результаты в PSNR и SSIM на серии тестовых изображений.[6]

hqx

Для увеличения компьютерной графики с низким разрешением и / или небольшим количеством цветов (обычно от 2 до 256 цветов) лучшие результаты могут быть достигнуты с помощью hqx или другой алгоритмы масштабирования пиксельной графики. Они создают острые края и поддерживают высокий уровень детализации.

Векторизация

Векторное извлечение, или векторизация Предлагаю другой подход. Векторизация сначала создает не зависящее от разрешения векторное представление масштабируемой графики. Затем версия, не зависящая от разрешения, визуализируется как растровое изображение с желаемым разрешением. Этот метод используется Adobe Illustrator, Live Trace и Inkscape.[7] Масштабируемая векторная графика хорошо подходят для простых геометрических изображений, тогда как фотографии плохо справляются с векторизацией из-за их сложности.

Глубокие сверточные нейронные сети

Этот метод использует машинное обучение для получения более подробных изображений, таких как фотографии и сложные произведения искусства. Программы, использующие этот метод, включают waifu2x, Увеличение и усиление нейронов.

Демонстрация обычного апскейлинга по сравнению с апскейлингом Waifu2x с шумоподавлением, с использованием деталей Фосфор и Геспер к Эвелин де Морган. Щелкните, чтобы увидеть полный размер.
Исходное изображение
Изображение увеличено на 200% с помощью PaintShop Pro
Изображение увеличено на 200% с помощью waifu2x в режиме фото со средним шумоподавлением
Изображение увеличено на 400% с помощью Topaz A.I. Гигапиксель с низким уровнем шума

Приложения

Общий

Масштабирование изображения используется, среди прочего, в веб-браузеры,[8] редакторы изображений, средства просмотра изображений и файлов, программные лупы, цифровой зум, процесс создания миниатюры изображений и при выводе изображений через экраны или принтеры.

видео

Это приложение предназначено для увеличения изображений для домашних кинотеатров для устройств вывода с поддержкой HDTV из контента PAL-Resolution, например, с DVD-плеера. Масштабирование выполняется в реальном времени, выходной сигнал не сохраняется.

Пиксель-арт масштабирование

Основная статья: Алгоритмы масштабирования пиксель-арт

В качестве пиксель-арт графика обычно имеет низкое разрешение, она основана на тщательном размещении отдельных пикселей, часто с ограниченной палитрой цветов. В результате получается графика, основанная на стилизованных визуальных подсказках для определения сложных форм с небольшим разрешением вплоть до отдельных пикселей. Это делает масштабирование пиксельной графики особенно сложной проблемой.

Специализированные алгоритмы[9] были разработаны для обработки пиксельной графики, так как традиционные алгоритмы масштабирования не принимают во внимание перцепционные сигналы.

Так как типичное применение - улучшить внешний вид четвертое поколение и раньше видеоигры на аркада и эмуляторы консоли, многие из них предназначены для работы в реальном времени с небольшими входными изображениями со скоростью 60 кадров в секунду.

На быстром оборудовании эти алгоритмы подходят для игр и другой обработки изображений в реальном времени. Эти алгоритмы обеспечивают резкую, четкую графику, сводя к минимуму размытость. Алгоритмы масштабирования искусства реализованы в широком спектре эмуляторов, 2D игровые движки и воссоздание игрового движка например HqMAME, DOSBox и ScummVM. Они получили признание среди геймеров, для которых эти технологии способствовали возрождению игрового опыта 1980-х и 1990-х годов.[нужна цитата ]

Такие фильтры в настоящее время используются в коммерческих эмуляторах на Xbox Live, Виртуальная консоль, и PSN чтобы классические игры с низким разрешением выглядели более привлекательными на современных HD отображает. Недавно выпущенные игры, которые включают эти фильтры, включают Коллекция Ultimate Genesis Соника, Castlevania: Хроники Дракулы X, Castlevania: Симфония ночи, и Акумадзё Дракула X Чи но Рондо.

Смотрите также

Рекомендации

  1. ^ "Интерполяция с краю". Получено 19 февраля 2016.
  2. ^ Синь Ли; Майкл Т. Орчард. "НОВАЯ НАПРАВЛЕННАЯ ИНТЕРПОЛЯЦИЯ" (PDF). 2000 Международная конференция IEEE по обработке изображений: 311. Архивировано с оригинал (PDF) 14 февраля 2016 г.
  3. ^ Zhang, D .; Сяолинь Ву (2006). «Алгоритм интерполяции изображений с контролем по краям с помощью направленной фильтрации и объединения данных». IEEE Transactions по обработке изображений. 15 (8): 2226–38. Bibcode:2006ITIP ... 15.2226Z. Дои:10.1109 / TIP.2006.877407. PMID  16900678.
  4. ^ К. Сридхар Редди; Доктор К. Рама Линга Редди (декабрь 2013 г.). «Увеличение изображения на основе методов интерполяции» (PDF). Международный журнал перспективных исследований в области компьютерной и коммуникационной техники. 2 (12): 4631.
  5. ^ Дэнвэнь Чжоу; Сяолиу Шэнь. «Масштабирование изображения с использованием направленной кубической интерполяции свертки». Получено 13 сентября 2015.
  6. ^ Шаоде Ю; Ронгмао Ли; Руи Чжан; Mou An; Шибин Ву; Яоцинь Се (2013). «Оценка эффективности методов краевой интерполяции для изображений без шума». arXiv:1303.6455 [cs.CV ].
  7. ^ Йоханнес Копф и Дани Лищински (2011). «Депикселизация пиксель-арта». Транзакции ACM на графике. 30 (4): 99:1–99:8. Дои:10.1145/2010324.1964994. Архивировано из оригинал на 2015-09-01. Получено 24 октября 2012.
  8. ^ Анализ алгоритмов масштабирования изображений, используемых в популярных веб-браузерах
  9. ^ «Пиксельные скейлеры». Получено 19 февраля 2016.