Межкадровый - Википедия - Inter frame

An межкадровый это рамка в сжатие видео поток, который выражается одним или несколькими соседними кадрами. "Интер" часть термина относится к использованию Межкадровое предсказание. Этот вид прогнозирования пытается использовать преимущества временной избыточности между соседними кадрами, обеспечивая более высокую степень сжатия.

Межкадровое предсказание

Интеркодированный кадр делится на блоки, известные как макроблоки. После этого вместо прямого кодирования необработанных значений пикселей для каждого блока кодировщик попытается найти блок, аналогичный тому, который он кодирует в ранее закодированном кадре, называемый система отсчета. Этот процесс выполняется алгоритм сопоставления блоков. Если кодировщик преуспевает в поиске, блок может быть закодирован вектором, известным как вектор движения, Который указывает на положение согласующего блока в опорном кадре. Процесс определения вектора движения называется оценка движения.

В большинстве случаев кодировщик преуспевает, но найденный блок, скорее всего, не точно соответствует блоку, который он кодирует. Вот почему кодировщик вычислит разницу между ними. Эти остаточные значения известны как ошибка предсказания, и их необходимо преобразовать и отправить в декодер.

Чтобы подвести итог, если кодер удается найти соответствующий блок на опорный кадре, то получит вектор движения, указывающий на согласованный блок и ошибку прогнозирования. Используя оба элемента, декодер сможет восстановить необработанные пиксели блока. На следующем изображении графически показан весь процесс:

Процесс межкадрового предсказания. В этом случае, имело место изменения освещенности между блоком на опорной раме и блоком, который кодируемый: эта разница будет ошибкой предсказания к этому блоку.

У такого рода прогнозов есть свои плюсы и минусы:

Если все пойдет хорошо, алгоритм сможет найти соответствующий блок с небольшой ошибкой предсказания, так что после преобразования общий размер вектора движения плюс ошибка предсказания будет меньше размера необработанного кодирования.
Если алгоритм сопоставления блоков не может найти подходящего совпадения, ошибка прогнозирования будет значительной. Таким образом, общий размер вектора движения плюс ошибка предсказания будет больше, чем исходное кодирование. В этом случае кодировщик сделает исключение и отправит необработанную кодировку для этого конкретного блока.
Если согласованный блок в системе отсчета, также был закодирован с использованием межкадрового предсказания кадра, ошибки, сделанные для его кодирования будет распространяться на следующий блок. Если бы каждый кадр был закодирован с использованием этого метода, у декодера не было бы возможности синхронизироваться с видеопотоком, потому что было бы невозможно получить опорные изображения.

Из-за этих недостатков, чтобы этот метод был эффективным и полезным, необходимо использовать надежную и периодическую во времени систему отсчета. Эта система отсчета известна как Внутрикадровый, который имеет строго внутреннее кодирование, поэтому его всегда можно декодировать без дополнительной информации.

В большинстве проектов существует два типа промежуточных кадров: P-кадры и B-кадры. Эти два типа кадров и I-кадры (изображения с внутренним кодированием) обычно объединяются в один Республиканская партия (Группа картинок). I-кадр не требует дополнительной информации для декодирования, и его можно использовать в качестве надежного эталона. Эта структура также позволяет достичь периодичности I-кадров, которая необходима для синхронизации декодера.

Типы кадров

Разница между P-кадрами и B-кадрами - это опорный кадр, который им разрешено использовать.

П-образная рама

P-кадр - это термин, используемый для определения прогнозируемых изображений вперед. Прогнозирование выполняется на основе более раннего изображения, в основном I-кадра или P-кадра, поэтому требуется меньше данных кодирования (≈50% по сравнению с размером I-кадра).

Объем данных, необходимых для выполнения этого предсказания, состоит из векторов движения и коэффициентов преобразования, описывающих коррекцию предсказания. Это предполагает использование компенсация движения.

B-образная рама

B-кадр - это термин для изображений с двунаправленным предсказанием. Этот вид метода прогнозирования обычно занимает меньше данных кодирования, чем P-кадры (≈25% по сравнению с размером I-кадра), потому что прогнозирование выполняется либо на основе более раннего кадра, либо более позднего кадра, либо их обоих. (B-кадры также могут быть менее эффективными, чем P-кадры в определенных случаях,^[1] например: кодирование без потерь)

Подобно P-кадрам, B-кадры выражаются как векторы движения и коэффициенты преобразования. Чтобы избежать растущей ошибки распространения, B-кадры не используются в качестве эталона для дальнейшего прогнозирования в большинстве стандартов кодирования. Однако в более новых методах кодирования (таких как H.264 / MPEG-4 AVC и HEVC ), B-кадры могут использоваться в качестве эталона для лучшего использования временной избыточности.^[2]^[3]

Типичная структура группы изображений (GOP)

Иллюстрация зависимостей схемы группы изображений IBBPBB ... Время идет слева направо.

Типичный Группа картинок Структура (GOP) - это IBBPBBP ... I-кадр используется для прогнозирования первого P-кадра, и эти два кадра также используются для прогнозирования первого и второго B-кадров. Второй P-кадр прогнозируется также с использованием первого I-кадра. Оба P-кадра объединяются, чтобы предсказать третий и четвертый B-кадры. Схема представлена на следующем рисунке:

Эта структура предполагает проблему, потому что четвертый кадр (P-кадр) необходим для прогнозирования второго и третьего (B-кадры). Таким образом, нам нужно передать P-кадр перед B-кадрами, и это приведет к задержке передачи (необходимо будет сохранить P-кадр). Эта структура имеет сильные стороны:

Это сводит к минимуму проблему возможных открытых участков.
P-кадры и B-кадры требуют меньше данных, чем I-кадры, поэтому передается меньше данных.

Но у него есть слабые места:

Это увеличивает сложность декодера, что может означать, что для перестановки кадров требуется больше памяти, и немного больше вычислительной мощности.
B-кадры могут вводить зависимость декодирования, которая неизбежно увеличивает задержку декодирования.

Улучшения межкадрового предсказания H.264

Наиболее важные улучшения этого метода по сравнению с предыдущими H.264 стандартными являются:

Более гибкое блочное разделение
Разрешение компенсации движения до ¼ пикселя
Множественные ссылки
Улучшенный макроблок прямого / пропуска

Более гибкое блочное разделение

Блок яркости перегородки 16 × 16 (MPEG-2 ), 16 × 8, 8 × 16 и 8 × 8. Последний случай позволяет разделить блок на новые блоки 4 × 8, 8 × 4 или 4 × 4.

Кодируемый кадр делится на блоки равного размера, как показано на рисунке выше. Каждое предсказание блока будет блоками того же размера, что и опорные изображения, смещенными на небольшое смещение.

Разрешение компенсации движения до ¼ пикселя

Пиксели в позиции полупикселя получаются путем применения фильтра длиной 6.

H = [1–5 20 20–5 1]

Например:

б = A - 5B + 20C + 20D - 5E + F

Пиксели на четверть пикселя получаются билинейной интерполяцией.

Пока MPEG-2 Допускается разрешение ½ пикселя, межкадровое разрешение - до пикселя. Это означает, что можно искать блок в кадре, который будет закодирован в других опорных кадрах, или мы можем интерполировать несуществующие пиксели, чтобы найти блоки, которые даже лучше подходят для текущего блока. Если вектор движения представляет собой целое число единиц отсчетов, это означает, что можно найти в опорных изображениях скомпенсированный блок в движении. Если вектор движения не является целым числом, прогноз будет получен из интерполированных пикселей с помощью фильтра интерполяции в горизонтальном и вертикальном направлениях.

Subpel Interpolation.jpg

Множественные ссылки

Множественные ссылки на оценку движения позволяют найти лучшую ссылку в 2 возможных буферах (Список 0 для прошлых изображений, Список 1 для будущих изображений), которые в общей сложности содержат до 16 кадров.^[4]^[5] Блок предсказания выполняется посредством взвешенной суммы блоков из опорного изображения. Это позволяет повысить качество изображения в сценах, где есть изменения плоскости, масштабирования или когда открываются новые объекты.

Множественные ссылки.jpg

Улучшенный макроблок прямого / пропуска

Пропуск и прямой режим очень часто используются, особенно с B-кадрами. Они значительно сокращают количество кодируемых битов. Эти режимы упоминаются, когда блок кодируется без отправки остаточной ошибки или векторов движения. Кодировщик запишет только то, что это макроблок пропуска. Декодер выведет вектор движения блока, закодированного в режиме прямого / пропуска, из других уже декодированных блоков.

Есть два способа определить движение: Прямой skip.jpg

Временный: Он использует вектор движения блока из кадра Списка 1, расположенного в той же позиции, для вывода вектора движения. Блок List 1 использует блок List 0 в качестве ссылки.
Пространственный: Он предсказывает движение от соседних макроблоков в одном кадре. Возможным критерием может быть копирование вектора движения из соседнего блока. Эти режимы используются в однородных зонах изображения, где мало движения.

Блокировать partition.jpg

На рисунке выше розовые блоки - это блоки, закодированные в режиме прямого / пропуска. Как видим, они используются очень часто, в основном в B-кадрах.

Дополнительная информация

Хотя термин «фрейм» широко используется в неформальном использовании, во многих случаях (например, в международные стандарты для кодирования видео MPEG и VCEG ) применяется более общая концепция с использованием слова «изображение», а не «кадр», где изображение может быть либо целым кадром, либо одним переплетенный поле.

видео кодеки Такие как MPEG-2, H.264 или же Ogg Теора уменьшите объем данных в потоке, следуя ключевым кадрам одним или несколькими промежуточными кадрами. Эти кадры обычно могут быть закодированы с использованием более низкого битрейт чем требуется для ключевых кадров, потому что большая часть изображения обычно похожа, поэтому нужно кодировать только изменяющиеся части.

Смотрите также

Типы изображений сжатия видео