Структурное сходство - Википедия - Structural similarity

Похоже, что один из основных авторов этой статьи тесная связь со своим предметом. Может потребоваться очистка для соответствия политике содержания Википедии, в частности нейтральная точка зрения. Пожалуйста, обсудите подробнее страница обсуждения. (Март 2019 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

В структурное сходство показатель индекса (SSIM) - это метод прогнозирования воспринимаемого качества цифрового телевидения и кинематографических изображений, а также других видов цифровых изображений и видео. SSIM используется для измерения сходства между двумя изображениями. Индекс SSIM - это полная справочная метрика; другими словами, измерение или прогноз Качество изображения основан на исходном несжатом или свободном от искажений изображении в качестве эталона.

SSIM - это модель, основанная на восприятии, которая рассматривает деградацию изображения как воспринимаемое изменение в структурной информации, а также включает важные явления восприятия, включая маскирование яркости и маскирование контраста. Разница с другими методами, такими как MSE или же PSNR заключается в том, что эти подходы оценивают абсолютные ошибки. Структурная информация - это идея о том, что пиксели имеют сильные взаимозависимости, особенно когда они пространственно близки. Эти зависимости несут важную информацию о структуре объектов визуальной сцены. Маскирование яркости - это явление, при котором искажения изображения (в этом контексте) имеют тенденцию быть менее заметными в ярких областях, в то время как маскирование контраста - это явление, при котором искажения становятся менее заметными там, где есть значительная активность или «текстура» в изображении.

История

Предшественник SSIM назывался Универсальный индекс качества (UQI) или Индекс Ванга – Бовика, который был разработан Чжоу Ван и Алан Бовик в 2001 году. Это развилось благодаря их сотрудничеству с Хамидом Шейхом и Ээро Симончелли, в текущую версию SSIM, опубликованную в апреле 2004 г. в IEEE Transactions по обработке изображений.^[1] В дополнение к определению индекса качества SSIM, в документе приводится общий контекст для разработки и оценки показателей качества восприятия, включая связь с визуальной нейробиологией и восприятием человека, а также прямую проверку индекса по сравнению с оценками людей.

Базовая модель была разработана в Лаборатории инженерии изображения и видео (LIVE) на Техасский университет в Остине и доработан совместно с лабораторией компьютерного зрения (LCV) в г. Нью-Йоркский университет. Дальнейшие варианты модели были разработаны в Лаборатории графических и визуальных вычислений в г. Университет Ватерлоо и были проданы на коммерческом рынке.

Впоследствии SSIM получил широкое распространение в сообществе обработки изображений. Документ SSIM 2004 года цитировался более 20 000 раз, согласно Google ученый,^[2] что делает ее одной из самых цитируемых статей в области обработки изображений и видеотехники. Было предоставлено Общество обработки сигналов IEEE Премия за лучшую работу за 2009 год.^[3] Он также получил Общество обработки сигналов IEEE Награда за устойчивое воздействие за 2016 год свидетельствует о том, что статья имела необычно высокое влияние в течение как минимум 10 лет после публикации.

Алгоритм

Индекс SSIM рассчитывается для различных окон изображения. Расстояние между двумя окнами ${ displaystyle x}$ и ${ displaystyle y}$ обычного размера N×N является:^[4]

$${ displaystyle { hbox {SSIM}} (x, y) = { frac {(2 mu _ {x} mu _ {y} + c_ {1}) (2 sigma _ {xy} + c_ {2})} {( mu _ {x} ^ {2} + mu _ {y} ^ {2} + c_ {1}) ( sigma _ {x} ^ {2} + sigma _ { y} ^ {2} + c_ {2})}}}$$

с:

• ${ displaystyle scriptstyle mu _ {x}}$ то средний из ${ displaystyle scriptstyle x}$;
• ${ displaystyle scriptstyle mu _ {y}}$ то средний из ${ displaystyle scriptstyle y}$;
• ${ displaystyle scriptstyle sigma _ {x} ^ {2}}$ то отклонение из ${ displaystyle scriptstyle x}$;
• ${ displaystyle scriptstyle sigma _ {y} ^ {2}}$ то отклонение из ${ displaystyle scriptstyle y}$;
• ${ displaystyle scriptstyle sigma _ {xy}}$ то ковариация из ${ displaystyle scriptstyle x}$ и ${ displaystyle scriptstyle y}$;
• ${ displaystyle scriptstyle c_ {1} = (k_ {1} L) ^ {2}}$, ${ displaystyle scriptstyle c_ {2} = (k_ {2} L) ^ {2}}$ две переменные для стабилизации деления со слабым знаменателем;
• ${ displaystyle scriptstyle L}$ то динамический диапазон значений пикселей (обычно это ${ displaystyle scriptstyle 2 ^ { # бит на пиксель} -1}$);
• ${ Displaystyle scriptstyle k_ {1} = 0,01}$ и ${ displaystyle scriptstyle k_ {2} = 0,03}$ по умолчанию.

Компоненты формулы

Формула SSIM основана на трех сравнительных измерениях между выборками ${ displaystyle x}$ и ${ displaystyle y}$: яркость (${ displaystyle l}$), контраст (${ displaystyle c}$) и структура (${ displaystyle s}$). Индивидуальные функции сравнения:^[4]

$${ displaystyle l (x, y) = { frac {2 mu _ {x} mu _ {y} + c_ {1}} { mu _ {x} ^ {2} + mu _ {y } ^ {2} + c_ {1}}}}$$

$${ displaystyle c (x, y) = { frac {2 sigma _ {x} sigma _ {y} + c_ {2}} { sigma _ {x} ^ {2} + sigma _ {y } ^ {2} + c_ {2}}}}$$

$${ displaystyle s (x, y) = { frac { sigma _ {xy} + c_ {3}} { sigma _ {x} sigma _ {y} + c_ {3}}}}$$

с, в дополнение к приведенным выше определениям:

• ${ displaystyle c_ {3} = c_ {2} / 2}$

Тогда SSIM представляет собой взвешенную комбинацию этих сравнительных показателей:

${ displaystyle { text {SSIM}} (x, y) = left [l (x, y) ^ { alpha} cdot c (x, y) ^ { beta} cdot s (x, y) ) ^ { gamma} right]}$

Установка весов ${ displaystyle alpha, beta, gamma}$ к 1 формулу можно привести к приведенной выше форме.

Математические свойства

SSIM удовлетворяет свойствам неотрицательности, тождественности неразличимых элементов и симметрии, но не неравенству треугольника, и, следовательно, не является функция расстояния. Однако при определенных условиях SSIM может быть преобразован в нормированную корневую меру MSE, которая является функцией расстояния.^[5] Квадрат такой функции не выпуклый, а локально выпуклый и квазивыпуклый,^[5] сделать SSIM реальной целью для оптимизации.

Применение формулы

Для оценки качества изображения эта формула обычно применяется только к яркость, хотя его также можно наносить на цвет (например, RGB ) значения или хроматические (например, YCbCr ) значения. Результирующий индекс SSIM представляет собой десятичное значение от -1 до 1, а значение 1 доступно только в случае двух идентичных наборов данных и, следовательно, указывает на полное структурное сходство. Значение 0 указывает на отсутствие структурного сходства. Для изображения он обычно вычисляется с использованием скользящего гауссова окна размером 11x11 или блочного окна размером 8x8. Окно можно перемещать попиксельно на изображении, чтобы создать карту качества изображения SSIM. В случае оценки качества видео,^[6] Авторы предлагают использовать только подгруппу возможных окон, чтобы упростить расчет.

Варианты

Мультимасштабный SSIM

Более продвинутая форма SSIM, называемая Multiscale SSIM (MS-SSIM).^[4] проводится в нескольких масштабах посредством процесса нескольких этапов подвыборки, напоминающего многомасштабную обработку в ранней системе технического зрения. Было показано, что он работает одинаково хорошо или лучше, чем SSIM, с различными базами данных субъективных изображений и видео.^[4][7][8]

Трехкомпонентный SSIM

Трехкомпонентный SSIM (3-SSIM) - это форма SSIM, которая учитывает тот факт, что человеческий глаз может более точно видеть различия на текстурированных или краевых областях, чем на гладких областях.^[9] Результирующая метрика вычисляется как средневзвешенное значение SSIM для трех категорий областей: краев, текстур и гладких областей. Предлагаемый весовой коэффициент составляет 0,5 для краев, 0,25 для текстурированных и гладких областей. Авторы отмечают, что взвешивание 1/0/0 (игнорирование всего, кроме искажений краев) приводит к результатам, которые ближе к субъективным оценкам. Это говорит о том, что краевые области играют доминирующую роль в восприятии качества изображения.

Структурное несходство

Структурное несходство (DSSIM) может быть получено из SSIM, хотя оно не является функцией расстояния, поскольку неравенство треугольника не обязательно выполняется.

$${ displaystyle { hbox {DSSIM}} (x, y) = { frac {1 - { hbox {SSIM}} (x, y)} {2}}}$$

Метрики качества видео и временные варианты

Стоит отметить, что исходная версия SSIM была разработана для измерения качества неподвижных изображений. Он не содержит каких-либо параметров, напрямую связанных с временными эффектами человеческого восприятия и человеческого суждения.^[7] Обычной практикой является вычисление среднего значения SSIM по всем кадрам в видеопоследовательности. Однако было разработано несколько временных вариантов SSIM.^[10][6][11]

Комплексный вейвлет SSIM

Вариант комплексного вейвлет-преобразования SSIM (CW-SSIM) разработан для решения проблем масштабирования, перемещения и поворота изображения. Вместо того, чтобы давать низкие оценки изображениям с такими условиями, CW-SSIM использует преимущества комплексного вейвлет-преобразования и, следовательно, дает более высокие оценки упомянутым изображениям. CW-SSIM определяется следующим образом:

$${ displaystyle { text {CW-SSIM}} (c_ {x}, c_ {y}) = { bigg (} { frac {2 sum _ {i = 1} ^ {N} | c_ {x , i} || c_ {y, i} | + K} { sum _ {i = 1} ^ {N} | c_ {x, i} | ^ {2} + sum _ {i = 1} ^ {N} | c_ {y, i} | ^ {2} + K}} { bigg)} { bigg (} { frac {2 | sum _ {i = 1} ^ {N} c_ {x , i} c_ {y, i} ^ {*} | + K} {2 sum _ {i = 1} ^ {N} | c_ {x, i} c_ {y, i} ^ {*} | + K}} { bigg)}}$$

Где ${ displaystyle c_ {x}}$ - комплексное вейвлет-преобразование сигнала ${ displaystyle x}$ и ${ displaystyle c_ {y}}$ - комплексное вейвлет-преобразование для сигнала ${ displaystyle y}$. Кроме того, ${ displaystyle K}$ - небольшое положительное число, используемое для стабильности функции. В идеале он должен быть нулевым. Как и SSIM, CW-SSIM имеет максимальное значение 1. Максимальное значение 1 указывает на то, что два сигнала полностью структурно подобны, а значение 0 указывает на отсутствие структурного сходства.^[12]

SSIMPLUS

Индекс SSIMPLUS основан на SSIM и является коммерчески доступным инструментом.^[13] Он расширяет возможности SSIM, в основном, для целевых видеоприложений. Он дает оценки в диапазоне от 0 до 100, линейно соответствующие субъективным оценкам человека. Это также позволяет адаптировать оценки к предполагаемому устройству просмотра, сравнивая видео в разных разрешениях и содержимом.

По словам его авторов, SSIMPLUS обеспечивает более высокую точность и более высокую скорость, чем другие показатели качества изображения и видео. Однако независимая оценка SSIMPLUS не проводилась, поскольку сам алгоритм не является общедоступным.

Заявление

SSIM может применяться для решения множества различных задач. Вот несколько примеров:

• Сжатие изображения: с потерями сжатие изображений информация намеренно отбрасывается, чтобы уменьшить пространство для хранения изображений и видео. В таких схемах сжатия обычно используется MSE. По словам его авторов, рекомендуется использовать SSIM вместо MSE для получения лучших результатов для распакованных изображений.^[12]
• Восстановление изображения: Восстановление изображения фокусируется на решении проблемы ${ Displaystyle у = ч * х + п}$ куда ${ displaystyle y}$ размытое изображение, которое нужно восстановить, ${ displaystyle h}$ ядро размытия, ${ displaystyle n}$ - аддитивный шум и ${ displaystyle x}$ это исходное изображение, которое мы хотим восстановить. Традиционный фильтр, который используется для решения этой проблемы, - это фильтр Винера. Однако конструкция фильтра Винера основана на MSE. По словам авторов алгоритма, использование варианта SSIM, в частности Stat-SSIM, обеспечивает лучшие визуальные результаты.^[12]
• Распознавание образов: поскольку SSIM имитирует аспекты человеческого восприятия, его можно использовать для распознавания образов. Столкнувшись с такими проблемами, как масштабирование, трансляция и поворот изображения, авторы алгоритма утверждают, что лучше использовать CW-SSIM,^[14] который нечувствителен к этим вариациям и может применяться напрямую путем сопоставления шаблонов без использования обучающей выборки. Поскольку подходы к распознаванию образов на основе данных могут обеспечить лучшую производительность, когда для обучения доступен большой объем данных, авторы предлагают использовать CW-SSIM в подходах, основанных на данных.^[14]

Сравнение производительности

Из-за своей популярности SSIM часто сравнивают с другими метриками, включая более простые метрики, такие как MSE и PSNR, а также другие воспринимаемые изображения и показатели качества видео. SSIM неоднократно демонстрировалось, что значительно превосходит MSE и его производные по точности, в том числе исследования его собственных авторов и других.^{[7][15][16][17][18][19]}

В статье Доссельмана и Янга утверждается, что производительность SSIM «намного ближе к производительности MSE», чем обычно предполагалось. Хотя они не оспаривают преимущества SSIM над MSE, они констатируют аналитическую и функциональную зависимость между двумя показателями.^[8] Согласно их исследованиям, было обнаружено, что SSIM коррелирует, а также методы, основанные на MSE, с субъективными базами данных, отличными от баз данных от создателей SSIM. В качестве примера они приводят Рейбмана и Пула, которые обнаружили, что MSE превосходит SSIM в базе данных, содержащей видео с нарушением потери пакетов.^[20] В другой статье была выявлена ​​аналитическая связь между PSNR и SSIM.^[21]

Смотрите также

• Среднеквадратичная ошибка
• Пиковое отношение сигнал / шум
• Качество видео

Рекомендации

внешняя ссылка

• Домашняя страница
• Реализация Rust
• Реализация C / C ++
• Реализация DSSIM C ++
• Реализация C # Криса Ломонта
• реализация qpsnr (многопоточный C ++)
• Реализация в программном обеспечении VQMT
• Реализация на Python