Подвыборка цветности - Chroma subsampling

Подвыборка цветности это практика кодирования изображений путем реализации меньшего разрешения для цветность Информация чем для яркость информации, используя более низкую остроту зрения человека в отношении цветовых различий, чем в отношении яркости.[1]

Он используется во многих схемах кодирования видео - как аналоговых, так и цифровых - а также в JPEG кодирование.

Обоснование

В полный размер, это изображение показывает разницу между четырьмя схемами субдискретизации. Обратите внимание, насколько похожи цветные изображения. Нижняя строка показывает разрешение цветовой информации.

Цифровые сигналы часто сжимаются для уменьшения размера файла и экономии времени передачи. Поскольку зрительная система человека гораздо более чувствительна к изменениям яркости, чем цвета, видеосистему можно оптимизировать, выделив большую полосу пропускания для яркость компонент (обычно обозначаемый Y '), чем компоненты цветового различия Cb и Cr. В сжатых изображениях, например, 4: 2: 2 Y'CbCr схема требует две трети полосы пропускания без субдискретизации "4: 4: 4" R'G'B '. Это уменьшение приводит к почти отсутствию визуальных различий, воспринимаемых зрителем.

Как работает подвыборка

Потому что человек зрительная система менее чувствителен к положению и движению цвета, чем яркость,[2] пропускная способность можно оптимизировать, сохраняя больше деталей яркости, чем деталей цвета. На нормальном расстоянии просмотра заметные потери из-за отбор проб детализация цвета с меньшей скоростью, то есть с меньшим разрешением. В видеосистемах это достигается за счет использования компонентов цветового различия. Сигнал разделен на яркость (Y ') компонент и два компонента цветового различия (цветность ). Разнообразие фильтрация могут использоваться методы для получения значений цветности с уменьшенным разрешением.[3]

Яркость (Y ') отличается от яркости (Y) наличием гамма-коррекция в его вычислении, поэтому здесь добавлен главный символ. Сигнал с гамма-коррекцией имеет то преимущество, что имитирует логарифмическую чувствительность человеческого зрения, с большим количеством уровней, выделенных для более темных уровней, чем для более светлых. В результате он повсеместно используется в источнике трехцветный сигнал, вход R'G'B '. Примеры таких цветовых пространств включают sRGB, телевизор Рек. 601, Рек. 709, и Рек. 2020 г.; концепция также обобщается на оптические передаточные функции в Рек. 2020 г..[3][4][5]

Системы отбора проб и соотношения

Схема подвыборки обычно выражается как трехчастное соотношение J:а:б (например, 4: 2: 2) или четырех частей, если присутствует альфа-канал (например, 4: 2: 2: 4), которые описывают количество выборок яркости и цветности в концептуальной области, которая J пикселей в ширину и 2 пикселя в высоту. Части (в соответствующем порядке):

  • J: горизонтальный эталон выборки (ширина концептуальной области). Обычно 4.
  • а: количество выборок цветности (Cr, Cb) в первой строке J пикселей.
  • б: количество изменений выборок цветности (Cr, Cb) между первой и второй строкой J пикселей. Обратите внимание, что б должно быть либо нулем, либо равным а (за исключением редких нестандартных случаев, таких как 4: 4: 1 и 4: 2: 1, которые не соответствуют этому соглашению).
  • Альфа: горизонтальный коэффициент (относительно первой цифры). Может быть опущено, если альфа-компонент отсутствует, и равен J когда присутствует.

Эта запись действительна не для всех комбинаций и имеет исключения, например 4: 1: 0 (где высота области составляет не 2 пикселя, а 4 пикселя, поэтому, если используется 8 бит на компонент, носитель будет 9 бит на пиксель) и 4: 2: 1.


4:1:14:2:04:2:24:4:44:4:0
Y'CrCb 
 
=====
Y ' 
 
+++++
1234 J = 41234 J = 41234 J = 41234 J = 41234 J = 4
(Cr, Cb)1а = 112а = 212а = 21234а = 41234а = 4
1b = 1b = 012b = 21234b = 4b = 0
¼ горизонтальное разрешение,
полное вертикальное разрешение		½ горизонтального разрешения,
½ вертикального разрешения		½ горизонтального разрешения,
полное вертикальное разрешение		полное горизонтальное разрешение,
полное вертикальное разрешение		полное горизонтальное разрешение,
½ вертикального разрешения

Приведенные примеры отображения носят чисто теоретический характер и служат для иллюстрации. Также обратите внимание, что диаграмма не указывает на фильтрацию цветности, которую следует применять, чтобы избежать сглаживание.

Чтобы вычислить требуемый коэффициент пропускной способности относительно 4: 4: 4 (или 4: 4: 4: 4), нужно просуммировать все факторы и разделить результат на 12 (или 16, если присутствует альфа).

Типы выборки и подвыборки

4:4:4

Каждый из трех Y'CbCr компоненты имеют одинаковую частоту дискретизации, поэтому нет субдискретизации цветности. Эта схема иногда используется в высококачественных пленочных сканерах и в постпродакшне кинематографа.

Обратите внимание, что "4: 4: 4" может вместо этого относиться к R'G'B ' цветовое пространство, которое неявно также не имеет подвыборки цветности. Форматы, такие как HDCAM SR может записывать 4: 4: 4 R'G'B 'по двухканальной HD-SDI.

4:2:2

Два компонента цветности дискретизируются с половиной горизонтальной частоты дискретизации яркости: горизонтальное разрешение цветности уменьшается вдвое. Это уменьшает полосу пропускания несжатого видеосигнала на треть.

Эта схема используется во многих высококачественных цифровых видеоформатах и ​​интерфейсах:

4:2:1

Этот режим выборки не выражается в обозначениях J: a: b. «4: 2: 1» - устаревший термин из предыдущей схемы записи, и очень немногие программные или аппаратные кодеки используют его. Cb горизонтальное разрешение вдвое меньше, чем у Cr (и четверть разрешения по горизонтали Y).

4:1:1

При субдискретизации цветности 4: 1: 1 горизонтальное цветовое разрешение делится на четыре части, а ширина полосы уменьшается вдвое по сравнению с отсутствием субдискретизации цветности. Первоначально подвыборка цветности 4: 1: 1 DV Формат не считался качеством вещания и был приемлем только для бюджетных и потребительских приложений.[6][7] Однако форматы на основе DV (некоторые из которых используют субдискретизацию цветности 4: 1: 1) профессионально используются при сборе электронных новостей и на серверах воспроизведения. DV также иногда использовался в художественных фильмах и в цифровая кинематография.

В системе NTSC, если яркость измеряется на частоте 13,5 МГц, это означает, что Cr и Cb каждый сигнал будет дискретизироваться на частоте 3,375 МГц, что соответствует максимальной полосе пропускания Найквиста 1,6875 МГц, тогда как традиционный «высокопроизводительный аналоговый кодировщик NTSC» будет иметь полосу пропускания Найквиста 1,5 МГц и 0,5 МГц для каналов I / Q. Однако в большинстве устройств, особенно в дешевых телевизорах и видеомагнитофонах VHS / Betamax, каналы цветности имеют полосу пропускания только 0,5 МГц для обоих каналов. Cr и Cb (или эквивалентно для I / Q). Таким образом, система DV на самом деле обеспечивает превосходную цветовую полосу по сравнению с лучшими композитными аналоговыми спецификациями для NTSC, несмотря на то, что она имеет только 1/4 полосы цветности «полного» цифрового сигнала.

Форматы, в которых используется подвыборка цветности 4: 1: 1, включают:

4:2:0

В 4: 2: 0 горизонтальная выборка удваивается по сравнению с 4: 1: 1, но поскольку Cb и Cr в этой схеме каналы дискретизируются только на каждой альтернативной строке, разрешение по вертикали уменьшается вдвое. Таким образом, скорость передачи данных такая же. Это достаточно хорошо сочетается с PAL система кодирования цвета, поскольку она имеет только половину вертикального разрешения цветности NTSC. Он также отлично подошел бы к СЕКАМ система кодирования цвета, поскольку, как и этот формат, 4: 2: 0 хранит и передает только один цветовой канал на строку (другой канал восстанавливается из предыдущей строки). Однако фактически было произведено небольшое количество оборудования, которое выводит аналоговый видеосигнал SECAM. Как правило, на территориях SECAM необходимо использовать дисплей с поддержкой PAL или транскодер для преобразования сигнала PAL в SECAM для отображения.

Различные варианты конфигураций цветности 4: 2: 0 находятся в:

Каждый Cb и Cr подвергаются подвыборке с коэффициентом 2 как по горизонтали, так и по вертикали.

Возможны три варианта схем 4: 2: 0, различающиеся по горизонтали и вертикали.[10]

  • В MPEG-2 Cb и Cr располагаются по горизонтали. Cb и Cr размещаются между пикселями в вертикальном направлении (размещаются между страницами).
  • В форматах JPEG / JFIF, H.261 и MPEG-1 Cb и Cr расположены между страницами, на полпути между альтернативными выборками яркости.
  • В формате 4: 2: 0 DV, Cb и Cr совмещены в горизонтальном направлении. В вертикальном направлении они располагаются на чередующихся линиях.

Большинство цифровых видеоформатов, соответствующих PAL, используют субдискретизацию цветности 4: 2: 0, за исключением DVCPRO25, в котором используется субдискретизация цветности 4: 1: 1. Обе схемы 4: 1: 1 и 4: 2: 0 сокращают полосу пропускания вдвое по сравнению с отсутствием субдискретизации цветности.

С участием переплетенный material, субдискретизация цветности 4: 2: 0 может привести к артефактам движения, если она реализована так же, как и для прогрессивного материала. Образцы яркости получаются из отдельных временных интервалов, а образцы цветности - из обоих временных интервалов. Именно эта разница может приводить к артефактам движения. Стандарт MPEG-2 допускает альтернативную схему чересстрочной выборки, при которой 4: 2: 0 применяется к каждому полю (а не к обоим полям одновременно). Это решает проблему артефактов движения, уменьшает разрешение цветности по вертикали вдвое и может вносить в изображение гребешковые артефакты.

444-original-single-field.png
Оригинал. Это изображение показывает одно поле. К движущемуся тексту применено размытие в движении.

420-прогрессивное-одиночное поле.png
4:2:0 прогрессивный выборка применительно к перемещению переплетенный материал. Обратите внимание, что цветность ведет и следует за движущимся текстом. Это изображение показывает одно поле.

420-interlaced-single-field.png
4:2:0 переплетенный выборка применительно к перемещению переплетенный материал. На этом изображении показано одно поле.

Однако в чересстрочной схеме 4: 2: 0 вертикальное разрешение цветности уменьшается примерно вдвое, поскольку образцы цветности эффективно описывают область шириной 2 отсчета и высотой 4 отсчета вместо 2 × 2. Кроме того, пространственное смещение между обоими полями может привести к появлению гребенчатых артефактов цветности.

420-original444.png
Исходное неподвижное изображение.

420-прогрессивный-еще.png
4:2:0 прогрессивный выборка, примененная к неподвижному изображению. Показаны оба поля.

420-interlaced-still.png
4:2:0 переплетенный выборка, примененная к неподвижному изображению. Показаны оба поля.

Если чересстрочный материал должен быть де-чересстрочным, гребенчатые артефакты цветности (от чересстрочной выборки 4: 2: 0) можно удалить, размывая цветность по вертикали.[11]

4:1:0

Такое соотношение возможно, и некоторые кодеки поддерживают его, но широко не используются. Это соотношение использует половину вертикального и четверть горизонтального цветовых разрешений, при этом используется только одна восьмая пропускной способности максимального используемого цветового разрешения. Несжатое видео в этом формате с 8-битным квантованием использует 10 байтов для каждого макропикселя (что составляет 4 × 2 пикселя). Он имеет эквивалентную полосу цветности сигнала PAL I, декодированного с помощью декодера линии задержки, и все же намного превосходит NTSC.

  • Некоторые видеокодеки могут работать с 4: 1: 0,5 или 4: 1: 0,25 в качестве опции, чтобы обеспечить качество, аналогичное VHS.

3:1:1

Используется Sony в своих рекордерах HDCAM High Definition (не HDCAM SR). В горизонтальном измерении яркость дискретизируется по горизонтали с тремя четвертями частоты дискретизации Full HD - 1440 отсчетов на строку вместо 1920. Цветность дискретизируется с 480 отсчетами на строку, что составляет треть частоты дискретизации яркости.

В вертикальном измерении и яркость, и цветность дискретизируются с частотой дискретизации Full HD (1080 отсчетов по вертикали).

Артефакты

Исходное изображение без подвыборки цвета. 200% зум.
Изображение после субдискретизации цвета (кодек Sony Vegas DV, блочная фильтрация).
Обратите внимание на легкость кровотечения у границ.

Подвыборка цветности страдает от двух основных типов артефактов, вызывающих более заметное ухудшение, чем предполагалось, когда цвета меняются резко.

Гамма ошибка

Дальнейшая информация: Гамма-коррекция § Масштабирование и смешивание

Гамма-скорректированные сигналы, такие как Y'CbCr, имеют проблемы, когда ошибки цветности "просачиваются" в яркость. В этих сигналах низкая цветность фактически делает цвет менее ярким, чем цвет с эквивалентной яркостью. В результате, когда насыщенный цвет смешивается с ненасыщенным или дополнительным цветом, на границе происходит потеря яркости. Это можно увидеть на примере между пурпурным и зеленым.[3] Чтобы получить набор субдискретизированных значений, который более похож на исходный, необходимо отменить гамма-коррекцию, выполнить вычисление и затем вернуться в пространство с гамма-коррекцией. Также возможны более эффективные аппроксимации, такие как средневзвешенное значение яркости или итеративно с помощью таблиц поиска в WebP и функция sjpeg "Sharp YUV".[12]

Цвета вне гаммы

Еще один артефакт, который может возникнуть при подвыборке цветности, - это то, чтогамма цвета могут появиться при реконструкции цветности. Предположим, что изображение состоит из чередующихся красных и черных линий размером 1 пиксель, а субдискретизация не включает цветность для черных пикселей. Цветность красных пикселей будет реконструирована на черные пиксели, в результате чего новые пиксели будут иметь положительный красный цвет и отрицательный зеленые и синие значения. Поскольку дисплеи не могут выводить отрицательный свет (отрицательного света не существует), эти отрицательные значения будут фактически обрезаны, и результирующее значение яркости будет слишком высоким.[3] Подобные артефакты возникают в менее искусственном примере градации около довольно резкой границы красный / черный.

Другие типы фильтрации во время субдискретизации также могут вызывать выход цветов за пределы гаммы.

Терминология

Период, термин Y'UV относится к схеме аналогового кодирования, тогда как Y'CbCr относится к схеме цифрового кодирования.[4] Одно различие между ними заключается в том, что масштабные коэффициенты для компонентов цветности (U, V, Cb и Cr) разные. Однако термин YUV часто ошибочно используется для обозначения кодировки Y'CbCr. Следовательно, выражения типа «4: 2: 2 YUV» всегда относятся к 4: 2: 2 Y'CbCr, поскольку в аналоговой кодировке (например, YUV) просто не существует такой вещи, как 4: x: x.

Подобным образом термин яркость и символ Y часто ошибочно используются для обозначения яркости, которая обозначается символом Y '. Обратите внимание, что яркость (Y ') видеоинженерии отклоняется от яркость (Y) науки о цвете (как определено CIE ). Яркость формируется как взвешенная сумма гамма-коррекция (трехцветные) компоненты RGB. Яркость формируется как взвешенная сумма линейный (трехцветные) компоненты RGB.

На практике CIE символ Y часто неправильно используется для обозначения яркости. В 1993 г. SMPTE принял Инженерное руководство EG 28, разъясняющее эти два термина. Обратите внимание, что главный символ 'используется для обозначения гамма-коррекции.

Точно так же цветность / цветность видеоинженерии отличается от цветности науки о цвете. Цветность / цветность видеоинженерии формируется из взвешенных трехцветных компонентов, а не из линейных компонентов. В видеоинженерной практике термины цветность, цветность, и насыщение часто используются как синонимы для обозначения цветности.

История

Подвыборка цветности была разработана в 1950-х годах Альда Бедфорд для развития цветного телевидения RCA, который превратился в NTSC стандарт; разделение яркости и цветности было разработано ранее, в 1938 г. Жорж Валенси. Посредством исследований он показал, что человеческий глаз имеет высокое разрешение только для черного и белого, несколько меньше для «средних» цветов, таких как желтый и зеленый, и гораздо меньше для цветов на конце спектра, красного и синего. Использование этих знаний позволило RCA разработать систему, в которой они отбрасывали большую часть синего сигнала после того, как он исходит от камеры, сохраняя большую часть зеленого и только часть красного; это субдискретизация цветности в YIQ цветовое пространство и примерно аналогичен субдискретизации 4: 2: 1 в том, что имеет уменьшающееся разрешение для яркости, желтого / зеленого и красного / синего цветов.

Смотрите также

использованная литература

  1. ^ С. Винклер, К. Дж. Ван ден Бранден Ламбрехт и М. Кунт (2001). «Видение и видео: модели и приложения». В Кристиан Дж. Ван ден Бранден Ламбрехт (ред.). Модели машинного зрения и приложения для обработки изображений и видео. Springer. п. 209. ISBN  978-0-7923-7422-0.CS1 maint: несколько имен: список авторов (ссылка на сайт)
  2. ^ Ливингстон, Маргарет (2002). «Первые этапы обработки цвета и яркости: где и что». Видение и искусство: биология видения. Нью-Йорк: Гарри Н. Абрамс. С. 46–67. ISBN  0-8109-0406-3.
  3. ^ а б c d Чан, Гленн (май 2008 г.). «На пути к лучшей субдискретизации цветности: лауреат премии SMPTE Student Paper 2007». Журнал SMPTE Motion Imaging. 117 (4): 39–45. Дои:10,5594 / J15100.
  4. ^ а б Пойнтон, Чарльз. «ЮВ и яркость считается вредным: призыв к использованию точной терминологии в видео ".
  5. ^ Почему видео 4K лучше смотрится на экране 1080p - The Daily Note (с графикой, поясняющей субдискретизацию цветности.
  6. ^ Дженнингс, Роджер; Бертель Шмитт (1997). "DV против Betacam SP". DV Central. Архивировано из оригинал на 2008-07-02. Получено 2008-08-29.
  7. ^ Уилт, Адам Дж. (2006). "Форматы DV, DVCAM и DVCPRO". adamwilt.com. Получено 2008-08-29.
  8. ^ Клинт ДеБоэр (16 апреля 2008 г.). «HDMI Enhanced Black Levels, xvYCC и RGB». Аудиоголики. Получено 2013-06-02.
  9. ^ «Цифровое цветовое кодирование» (PDF). Telairity. Архивировано из оригинал (PDF) на 2014-01-07. Получено 2013-06-02.
  10. ^ Пойнтон, Чарльз (2008). "Обозначение субдискретизации цветности" (PDF). Poynton.com. Получено 2008-10-01.
  11. ^ Мансил, Дон; Стейси Спирс (2003). «Тест DVD-плеера - ошибка повышения цветности». Секреты домашнего кинотеатра и High Fidelity. Архивировано из оригинал на 2008-06-06. Получено 2008-08-29.
  12. ^ "Гамма-коррекция субдискретизации цветности · Проблема №193 · mozilla / mozjpeg". GitHub.
  • Пойнтон, Чарльз. «Цифровое видео и HDTV: алгоритмы и интерфейсы». США: Издательство Морган Кауфманн, 2003.
  • Керр, Дуглас А. «Субдискретизация цветности в цифровых изображениях» [1]

внешняя ссылка