Отображение тонов - Tone mapping

Изображение с тональным картированием в высоком динамическом диапазоне (HDR) Римско-католической церкви Св. Кентигерса в Блэкпуле, Ланкашир, Англия, Великобритания

Отображение тонов это техника, используемая в обработка изображений и компьютерная графика к карта один набор цветов к другому, чтобы приблизить внешний вид изображения с высоким динамическим диапазоном в среде, которая имеет более ограниченный динамический диапазон. Распечатки, ЭЛТ или же ЖК-дисплей Все мониторы и проекторы имеют ограниченный динамический диапазон, который недостаточен для воспроизведения всего диапазона интенсивности света, присутствующего в естественных сценах. Отображение тонов решает проблему сильного снижения контрастности сцены сияние отображаемому диапазону, сохраняя детали изображения и внешний вид цвета, важные для оценки исходного содержимого сцены.

Фон

Внедрение пленочной фотографии создало проблемы, поскольку захватить огромный динамический диапазон освещения реального мира на химически ограниченном негативе было очень сложно. Первые разработчики пленки пытались решить эту проблему, создавая запасы пленки и системы проявки печати, которые давали желаемый результат. S-образная кривая тона со слегка усиленным контрастом (около 15%) в среднем диапазоне и постепенно сжимаемыми бликами и тенями ^[1]. Появление Система зон, который основывает экспозицию на желаемых тонах тени наряду с изменением продолжительности времени, проведенного в химическом проявителе (таким образом, управляя тонами светлых участков), расширил тональный диапазон черно-белой (а позже и цветной) негативной пленки по сравнению с исходным диапазоном примерно семи останавливается примерно до десяти. Фотографы также использовали уклонение и сжигание преодолеть ограничения процесса печати ^[2].

Появление цифровой фотографии дало надежду на лучшее решение этой проблемы. Одним из первых алгоритмов, использованных Лэндом и Макканном в 1971 году, был Retinex, вдохновленный теориями восприятия легкости. ^[3]. Этот метод основан на биологических механизмах адаптации глаза к условиям освещения. Алгоритмы отображения гаммы также широко изучались в контексте цветной печати. Для прогнозирования появления цвета использовались вычислительные модели, такие как CIECAM02 или iCAM. Несмотря на это, если алгоритмы не могли в достаточной степени отображать тона и цвета, по-прежнему требовался опытный художник, как в случае с постобработкой кинематографических фильмов.

Технологии компьютерной графики, способные отображать высококонтрастные сцены, сместили акцент с цвета на яркость как основной ограничивающий фактор устройств отображения. Несколько операторов тонального отображения были разработаны для отображения изображений с высоким динамическим диапазоном (HDR) на стандартные дисплеи. В последнее время эта работа перешла от использования яркости для увеличения контрастности изображения к другим методам, таким как воспроизведение изображений с помощью пользователя. В настоящее время воспроизведение изображений сместилось в сторону решений, управляемых дисплеями, поскольку дисплеи теперь обладают расширенными алгоритмами обработки изображений, которые помогают адаптировать рендеринг изображения к условиям просмотра, экономить энергию, масштабировать цветовую гамму и динамический диапазон.

Назначение и методы

Цели тонального отображения могут быть сформулированы по-разному в зависимости от конкретного приложения. В некоторых случаях основной целью является создание просто эстетически приятных изображений, в то время как другие приложения могут делать упор на воспроизведении как можно большего количества деталей изображения или максимальном контрасте изображения. Целью в приложениях реалистичного рендеринга может быть получение перцептивного соответствия между реальной сценой и отображаемым изображением, даже если устройство отображения не способно воспроизвести полный диапазон значений яркости.

В последние годы были разработаны различные операторы тонального отображения.^[4] Все их можно разделить на два основных типа:

Глобальный (или же пространственно однородный) операторы: они являются нелинейными функциями, основанными на яркости и других глобальных переменных изображения. После того, как оптимальная функция была оценена в соответствии с конкретным изображением, каждый пиксель в изображении отображается одинаковым образом, независимо от значения окружающих пикселей в изображении. Эти методы просты и быстры^[1] (поскольку они могут быть реализованы с помощью справочные таблицы ), но они могут вызвать потерю контрастности. Примерами общих методов глобального отображения тонов являются уменьшение контрастности и инверсия цвета.
местный (или же пространственно изменяющийся) операторы: параметры нелинейной функции изменяются в каждом пикселе в соответствии с функциями, извлеченными из окружающих параметров. Другими словами, действие алгоритма изменяется в каждом пикселе в соответствии с локальными особенностями изображения. Эти алгоритмы сложнее глобальных; они могут показывать артефакты (например, эффект ореола и звон); и результат может выглядеть нереалистичным, но они могут (при правильном использовании) обеспечить лучшую производительность, поскольку человеческое зрение в основном чувствительно к локальному контрасту.

Простой пример глобального фильтра тонального отображения: ${ displaystyle V _ { text {out}} = { frac {V _ { text {in}}} {V _ { text {in}} + 1}},}$ куда V_в это яркость исходного пикселя и V_из - яркость отфильтрованного пикселя.^[2] Эта функция отобразит яркость V_в в домене ${ displaystyle [0, infty)}$ в отображаемый выходной диапазон ${ displaystyle [0,1).}$ Хотя этот фильтр обеспечивает достойную контраст для частей изображения с низкой яркостью (особенно когда $V в < 1$ ), части изображения с более высокой яркостью будут становиться все более контрастными по мере того, как яркость отфильтрованного изображения становится равной 1.

Возможно, более полезный метод глобального отображения тонов - гамма-компрессия, который имеет фильтр ${ displaystyle V _ { text {out}} = A , V _ { text {in}} ^ { gamma},}$ куда $А > 0$ и $0 < γ < 1$ . Эта функция отобразит яркость V_в в домене ${ displaystyle [0, A ^ {- 1 / gamma}]}$ в выходной диапазон ${ displaystyle [0,1].}$ γ регулирует контрастность изображения; меньшее значение для меньшей контрастности. Хотя более низкая константа γ дает более низкий контраст и, возможно, более тусклое изображение, он увеличивает экспозицию недоэкспонированных частей изображения и в то же время, если $А < 1$ , он может уменьшить экспозицию переэкспонированных частей изображения, чтобы предотвратить их переэкспонирование.

Еще более сложная группа алгоритмов отображения тонов основана на контрасте или градиентная область методы, которые являются «локальными». Такие операторы концентрируются на сохранении контраста между соседними регионами, а не на абсолютном значении, подход, мотивированный тем фактом, что человеческое восприятие наиболее чувствительно к контрасту в изображениях, а не к абсолютной интенсивности. Эти методы тонального отображения обычно дают очень четкие изображения, которые очень хорошо сохраняют мелкие контрастные детали; однако это часто делается за счет уменьшения общего контраста изображения и может, как побочный эффект, вызывать гало -подобное свечение вокруг темных объектов. Примеры таких методов тонального отображения включают: сжатие с высоким динамическим диапазоном в градиентной области^[5] и концепция восприятия для контрастной обработки изображений с широким динамическим диапазоном^[6] (тональная карта - одно из применений этой структуры).

Другой подход к отображению тонов HDR-изображений основан на теория закрепления восприятия легкости.^[7] Эта теория объясняет многие характеристики зрительной системы человека, такие как постоянство легкости и ее недостатки (например, шашка тень иллюзия ), которые важны для восприятия изображений. Ключевая концепция этого метода тонального отображения (Восприятие легкости при воспроизведении тона).^[8]) представляет собой разложение HDR-изображения на области (рамки) постоянного освещения и локальный расчет значений яркости. Чистая легкость изображения рассчитывается путем объединения рамок пропорционально их силе. Особенно важным является привязка - отношение яркости к известной яркости, а именно оценка того, какое значение яркости воспринимается как белое в сцене. Такой подход к отображению тонов не влияет на локальный контраст и сохраняет естественные цвета изображения HDR благодаря линейной обработке яркости.

Одна простая форма отображения тонов берет стандартное изображение (не HDR - динамический диапазон уже сжат) и применяет нерезкая маскировка с большим радиусом, что увеличивает локальный контраст, а не резкость. Видеть нерезкое маскирование: усиление локального контраста для подробностей.

Одним из наиболее часто используемых алгоритмов тонального отображения является iCAM06, который основан на обоих цветная модель внешнего вида и иерархическое отображение.^[9] После двусторонней фильтрации изображение разбивается на базовый слой и слой деталей. Адаптация белой точки и адаптация цветности применяются к базовому слою, а улучшение деталей применяется к слою деталей. В конце концов два слоя объединяются и преобразуются в цветовое пространство IPT. В целом, этот метод хорош, но имеет некоторые недостатки, особенно в том, насколько сложен в вычислительном отношении метод фильтрации. Предлагаемое решение^[10] к этому относится оптимизация производительности фильтра. Базовый слой изображения также преобразуется в пространство RGB для сжатия тона. Этот метод также позволяет в большей степени регулировать выходной сигнал и увеличивать насыщенность, что делает его менее затратным в вычислениях и лучше снижает общий эффект ореола.

Цифровая фотография

Тональное изображение HDR Площадь Дандас; Отображение тонов выполнялось как метод постобработки с использованием фотографического программного обеспечения Photomatix.

Формы тонального картографирования задолго до цифровой фотографии. Манипуляции с пленкой и процесс проявки для визуализации высококонтрастных сцен, особенно снятых при ярком солнечном свете, на бумаге для печати с относительно низким динамическим диапазоном, по сути, является формой тонального отображения, хотя обычно это не называется. Локальная настройка тональности при обработке пленки в основном выполняется с помощью уклонение и сжигание, и особенно пропагандируется и ассоциируется с Ансель Адамс, как описано в его книге Печать; см. также его Система зон.

Нормальный процесс компенсация экспозиции Повышение яркости теней и изменение контраста, применяемое к цифровым изображениям в глобальном масштабе в рамках профессионального или серьезного любительского рабочего процесса, также является формой отображения тонов.

Однако тональное отображение HDR, обычно использующее местные операторы, становится все более популярным среди цифровых фотографов как метод постобработки, когда несколько экспозиций с разной скоростью затвора комбинируются для получения изображения HDR, а затем к результату применяется оператор тонального отображения. В настоящее время в Интернете имеется множество примеров цифровых изображений с локальным отображением тонов, которые неточно называют «фотографиями HDR», и они разного качества. Эта популярность частично обусловлена характерным внешним видом изображений с локальным отображением тонов, которые многие люди находят привлекательными, а частично - желанием запечатлеть высококонтрастные сцены, которые трудно или невозможно сфотографировать с одной экспозицией, и которые могут даже не выглядеть привлекательно. когда их можно поймать. Хотя цифровые датчики на самом деле улавливают более широкий динамический диапазон, чем пленочные, они полностью теряют детализацию ярких участков, обрезают их до чисто белого цвета, что дает непривлекательный результат по сравнению с негативной пленкой, которая имеет тенденцию сохранять цвет и некоторые детали в светлых участках.

В некоторых случаях используется локальное отображение тонов, даже если динамический диапазон исходного изображения может быть зафиксирован на целевом носителе, либо для создания отличительного внешнего вида изображения с локальным отображением тонов, либо для создания изображения, более близкого к художественному видению фотографа. сцену, удалив резкие контрасты, которые часто выглядят непривлекательно. В некоторых случаях изображения с тональной картой создаются из одной экспозиции, которая затем обрабатывается с помощью обычных инструментов обработки для создания входных данных для процесса создания изображения HDR. Это позволяет избежать артефактов, которые могут появиться при комбинировании различных экспозиций из-за движущихся объектов в сцене или дрожания камеры. Однако, когда тональное отображение применяется к одной экспозиции таким образом, промежуточное изображение имеет только нормальный динамический диапазон, а количество деталей в тени или светлых участках, которые могут быть визуализированы, - это только то, что было захвачено при исходной экспозиции.

Устройства отображения

Одна из первоначальных целей тонального отображения заключалась в том, чтобы иметь возможность воспроизвести данную сцену или изображение на устройстве отображения таким образом, чтобы восприятие яркости изображения для человека-зрителя близко соответствовало ощущению яркости в реальном мире. Однако идеальное совпадение для этой проблемы невозможно, и поэтому выходное изображение на дисплее часто строится из компромисса между различными функциями изображения. Выбор между функциями часто зависит от необходимого приложения, и с учетом соответствующих показателей для приложения одним из возможных решений является рассмотрение проблемы как проблемы оптимизации.^[11].

Для этого метода сначала создаются модели для визуальной системы человека (HVS) и дисплея вместе с простым оператором отображения тонов. Искажения контрастности взвешиваются в соответствии с их индивидуальной видимостью, аппроксимируемой HVS. С помощью этих моделей целевая функция, которая определяет градационную кривую, может быть создана и решена с помощью быстрого квадратичного решателя.

С добавлением фильтров этот метод также можно распространить на видео. Фильтры гарантируют, что быстрое изменение кривой тонов между кадрами не будет заметным в конечном выходном изображении.

Пример процесса визуализации

Отображение тона Изображение с высоким динамическим диапазоном пример, показывающий витражи в южной нише Старый Сент-Полс, Веллингтон, Новая Зеландия.

Шесть индивидуальных экспозиций, использованных для создания предыдущего изображения. На изображениях с низкой выдержкой комната темная и нечеткая, но детали окон видны. На изображениях с высокой экспозицией окна яркие и нечеткие, но детали комнаты видны.

Изображения справа показывают интерьер церкви, сцену, яркость которой намного больше, чем та, которую можно отобразить на мониторе или записать с помощью обычной камеры. Шесть отдельных экспозиций с камеры показывают яркость сцены в некотором диапазоне, преобразованном в диапазон яркости, который может отображаться на мониторе. Диапазон яркости, записываемой на каждой фотографии, ограничен, поэтому не все детали можно отобразить сразу: например, детали темного церковного интерьера не могут отображаться одновременно с деталями яркого витража. К шести изображениям применяется алгоритм для воссоздания карты яркости с высоким динамическим диапазоном исходной сцены ( изображение с высоким динамическим диапазоном ). В качестве альтернативы, некоторые высокопроизводительные потребительские и специализированные научные цифровые камеры могут напрямую записывать изображение с высоким динамическим диапазоном, например СЫРОЙ изображений.

В идеальном случае камера может измерять яркость напрямую и сохраните это в изображении HDR; однако большинство изображений с высоким динамическим диапазоном, создаваемых сегодня камерами, не откалиброваны и даже не пропорциональны яркости по практическим причинам, таким как стоимость и время, необходимые для измерения точных значений яркости - художникам часто достаточно использовать несколько экспозиций, чтобы получить " Изображение HDR », которое приблизительно соответствует истинному сигналу яркости.

Изображение с высоким динамическим диапазоном передается оператору тонального отображения, в данном случае локальному оператору, который преобразует изображение в изображение с низким динамическим диапазоном, подходящее для просмотра на мониторе. По сравнению с церковным интерьером, витраж отображается с гораздо меньшей яркостью, чем может дать линейное сопоставление между яркостью сцены и интенсивностью пикселей. Однако эта неточность для восприятия менее важна, чем детализация изображения, которая теперь может отображаться как в окне, так и в интерьере церкви одновременно.

Метод локального отображения тонов при обработке изображений HDR часто дает ряд характерных эффектов в изображениях, таких как яркие ореолы вокруг темных объектов, темные ореолы вокруг ярких объектов, а иногда и «мультяшный» вид из-за чрезвычайно ярких цветов и отсутствия крупных цветов. шкала цветовых вариаций. Эти результаты вызваны применением геометрического пространственного искажения захваченного изображения вместе с искажением цветового пространства, в то время как только искажения цветового пространства являются эффектом отображения тонов, а все другие искажения представляют собой скорее настраиваемую технику фильтрации, чем любое отображение тона или цветового пространства. Таким образом, результаты локального тонального картирования часто рассматриваются как искажающие природу документального фотографического изображения и далекие от фотографического реализма.

Не все изображения с тональной картой визуально различимы. Уменьшение динамического диапазона с помощью тонального отображения часто полезно в ярких, освещенных солнцем сценах, где разница в интенсивности между прямым освещением и тенью велика. В этих случаях общий контраст сцены уменьшается, но сохраняется локальный контраст, в то время как изображение в целом продолжает выглядеть естественно. Использование тональной карты в этом контексте может не быть очевидным из окончательного изображения:

Районы прямого освещения и тени на Гранд-Каньоне
Мультяшный внешний вид

Отображение тонов также может создавать отличительные визуальные эффекты на окончательном изображении, такие как видимый ореол вокруг башни на изображении Корнельской школы права ниже. Его можно использовать для создания этих эффектов, даже если динамический диапазон исходного изображения не особенно велик. Ореолы на изображениях возникают из-за того, что оператор локального отображения тонов осветляет области вокруг темных объектов, чтобы поддерживать локальный контраст исходного изображения, что обманывает человеческую зрительную систему, заставляя воспринимать темные объекты как темные, даже если их фактическая яркость равна такая же, как у областей изображения, воспринимаемых как яркие. Обычно этот эффект незаметен, но если контрасты в исходном изображении очень велики или фотограф намеренно устанавливает очень крутой градиент яркости, ореолы становятся видимыми.

Галерея

Пример отображения тонов HDR
5 тонов экспозиции Изола Тиберина в Рим.
Изображение сцены с трехкратной экспозицией (-2,0, + 2) Станция Ниппори.
HDR вид из Тауэрский мост в Лондон тональная карта из 5 экспозиций.
HDR вид из Собор Святого Павла в Лондон тональная карта из 9 экспозиций.
Составное изображение с тональной отображением Корнельская юридическая школа башня в Итака, Нью-Йорк.

Смотрите также

внешняя ссылка

CVLTonemap: отображение тонов с ускорением на GPU
HDR Темная комната
pfstmo: реализация операторов тонального отображения
exrtools: набор утилит для работы с изображениями OpenEXR (включает некоторые операторы тонального отображения)
pfstools представляет собой набор программ командной строки с открытым исходным кодом для чтения, записи и управления изображениями и видеокадрами с высоким динамическим диапазоном (HDR)
Яркость HDR / QtPfsGui это бесплатное программное обеспечение для рабочего процесса HDR (с открытым исходным кодом) для Linux, Windows и Mac OS X, основанное на пакете pfstools
Тональное отображение LDR это бесплатный (с открытым исходным кодом) преобразователь тона для изображений с низким динамическим диапазоном (также известный как «псевдо-HDR»)
Атлас это бесплатный (с открытым исходным кодом) порт операторов тонального отображения pfstmo для Adobe After Effects
Пул Flickr HDR, коллекция сюрреалистических сопоставлений тонов
Документ Калифорнийского университета в Беркли с необработанными данными для эффекта Пуркинье
Застрял на таможне, обширное руководство по созданию изображений HDR

Алгоритмы отображения тонов

[1] Г. Цю и др., «Отображение тонов для изображения HDR с использованием оптимизации - нового решения для закрытых форм», Proc. ICPR 2006, 18-я Международная конференция по распознаванию образов, том 1, стр. 996-999

[2] Рейнхард, Эрик (2002). «Воспроизведение фотографических тонов для цифровых изображений» (PDF). Транзакции ACM на графике. 21 (3): 267–276. Дои:10.1145/566654.566575.

[1]

[2]

[3]

[4]

[1]

[2]

[5]

[6]

[7]

[8]

[9]

[10]

[11]