Ядро (обработка изображений) - Kernel (image processing)

В обработка изображений, а ядро, матрица свертки, или маска это маленький матрица. Используется для размытия, заточки, тиснения, обнаружение края, и больше. Это достигается путем выполнения свертка между ядром и образ.

подробности

Общее выражение свертки:

${ displaystyle g (x, y) = omega * f (x, y) = sum _ {dx = -a} ^ {a} { sum _ {dy = -b} ^ {b} { omega (dx, dy) f (x + dx, y + dy)}},}$

где ${ Displaystyle г (х, у)}$ это отфильтрованное изображение, ${ displaystyle f (x, y)}$ исходное изображение, ${ displaystyle omega}$ ядро фильтра. Каждый элемент ядра фильтра рассматривается как ${ displaystyle -a leq dx leq a}$ и ${ displaystyle -b leq dy leq b}$ .

В зависимости от значений элементов ядро может вызывать широкий спектр эффектов.

Операция	Ядро ω	Результат изображения g (x, y)
Идентичность	${ Displaystyle { begin {bmatrix} 0 & 0 & 0 0 & 1 & 0 0 & 0 & 0 end {bmatrix}}}$
Обнаружение края	${ Displaystyle { begin {bmatrix} 1 & 0 & -1 0 & 0 & 0 - 1 & 0 & 1 end {bmatrix}}}$
	${ Displaystyle { begin {bmatrix} 0 & -1 & 0 - 1 & 4 & -1 0 & -1 & 0 end {bmatrix}}}$
	${ displaystyle { begin {bmatrix} -1 & -1 & -1 - 1 & 8 & -1 - 1 & -1 & -1 end {bmatrix}}}$
Резкость	${ displaystyle { begin {bmatrix} 0 & -1 & 0 - 1 & 5 & -1 0 & -1 & 0 end {bmatrix}}}$
Размытие коробки (нормализованный )	${ Displaystyle { frac {1} {9}} { begin {bmatrix} 1 & 1 & 1 1 & 1 & 1 1 & 1 & 1 end {bmatrix}}}$
Размытие по Гауссу 3 × 3 (приближение)	${ Displaystyle { frac {1} {16}} { begin {bmatrix} 1 & 2 & 1 2 & 4 & 2 1 & 2 & 1 end {bmatrix}}}$
Размытие по Гауссу 5 × 5 (приближение)	${ displaystyle { frac {1} {256}} { begin {bmatrix} 1 & 4 & 6 & 4 & 1 4 & 16 & 24 & 16 & 4 6 & 24 & 36 & 24 & 6 4 & 16 & 24 & 16 & 4 1 & 4 & 6 & 4 & 1 end {bmatrix}}}$
Нерезкое маскирование 5 × 5 На основе размытия по Гауссу с суммой как 1 и порог как 0 (без маска изображения )	${ displaystyle { frac {-1} {256}} { begin {bmatrix} 1 & 4 & 6 & 4 & 1 4 & 16 & 24 & 16 & 4 6 & 24 & -476 & 24 & 6 4 & 16 & 24 & 16 & 4 1 & 4 & 6 & 4 & 1 end { bmatrix}}}$

Выше приведены лишь несколько примеров эффектов, достигаемых сверткой ядер и изображений.

Происхождение

Начало координат - это позиция ядра, которая находится выше (концептуально) текущего выходного пикселя. Это может быть вне реального ядра, хотя обычно оно соответствует одному из элементов ядра. Для симметричного ядра началом координат обычно является центральный элемент.

Свертка

Свертка - это процесс добавления каждого элемента изображения к его локальным соседям, взвешенных ядром. Это связано с формой математическая свертка. Матричная операция выполняемое - свертка - не является традиционным матричным умножением, несмотря на то, что оно аналогично обозначается *.

Например, если у нас есть две матрицы размером три на три, первая - это ядро, а вторая - часть изображения, свертка - это процесс переворачивания строк и столбцов ядра и умножения локально похожих записей и суммирования. Элемент в координатах [2, 2] (то есть центральный элемент) результирующего изображения будет взвешенной комбинацией всех элементов матрицы изображения с весами, заданными ядром:

${ displaystyle left ({ begin {bmatrix} a & b & c d & e & f g & h & i end {bmatrix}} * { begin {bmatrix} 1 & 2 & 3 4 & 5 & 6 7 & 8 & 9 end {bmatrix}} right) [2 , 2] = (i cdot 1) + (h cdot 2) + (g cdot 3) + (f cdot 4) + (e cdot 5) + (d cdot 6) + (c cdot 7) + (b cdot 8) + (a cdot 9).}$

Остальные записи будут взвешиваться аналогичным образом, где мы размещаем центр ядра на каждой из граничных точек изображения и вычисляем взвешенную сумму.

Значения данного пикселя в выходном изображении вычисляются путем умножения каждого значения ядра на соответствующие значения пикселей входного изображения. Это можно описать алгоритмически с помощью следующего псевдокода:

для каждого ряд изображений в входное изображение:    для каждого пиксель в ряд изображений:        набор аккумулятор к нулю для каждого ряд ядра в ядро:            для каждого элемент в ряд ядра:                если позиция элемента  соответствующий * к позиция пикселя тогда                    умножать значение элемента  соответствующий * к значение пикселя                    Добавить результат к аккумулятор                endif         набор пиксель выходного изображения к аккумулятор

* соответствующие пиксели входного изображения находятся относительно исходной точки ядра.

Если ядро симметрично, поместите центр (начало координат) ядра в текущий пиксель. Ядро будет перекрывать соседние пиксели вокруг начала координат. Каждый элемент ядра должен быть умножен на значение пикселя, с которым он перекрывается, и все полученные значения должны быть суммированы. Эта результирующая сумма будет новым значением для текущего пикселя, который в настоящее время перекрывается центром ядра.

Если ядро не симметрично, перед вычислением свертки, как указано выше, его необходимо перевернуть как по горизонтальной, так и по вертикальной оси.^[1]

Общий вид свертки матриц:

${ displaystyle { begin {bmatrix} x_ {11} & x_ {12} & cdots & x_ {1n} x_ {21} & x_ {22} & cdots & x_ {2n} vdots & vdots & ddots & vdots x_ {m1} & x_ {m2} & cdots & x_ {mn} end {bmatrix}} * { begin {bmatrix} y_ {11} & y_ {12} & cdots & y_ {1n } y_ {21} & y_ {22} & cdots & y_ {2n} vdots & vdots & ddots & vdots y_ {m1} & y_ {m2} & cdots & y_ {mn} end {bmatrix}} = sum _ {i = 0} ^ {m-1} sum _ {j = 0} ^ {n-1} x _ {(mi) (nj)} y _ {(1 + i ) (1 + j)}}$

Обработка края

Расширенная обработка кромок

Свертка ядра обычно требует значений из пикселей за пределами границ изображения. Существует множество методов обработки краев изображения.

Расширить: Пиксели ближайших границ концептуально расширяются настолько, насколько это необходимо, чтобы обеспечить значения для свертки. Угловые пиксели расширены клиньями на 90 °. Остальные краевые пиксели растянуты линиями.
Заворачивать: Изображение концептуально обернуто (или мозаично), а значения берутся с противоположного края или угла.
Зеркало: По краям изображение концептуально зеркально отражено. Например, при попытке прочитать 3 единицы пикселя вне края вместо этого считываются единицы на 3 единицы внутри края.
Обрезать: Любой пиксель в выходном изображении, для которого требуются значения за пределами края, пропускается. Этот метод может привести к тому, что выходное изображение будет немного меньше, а края будут обрезаны.
Обрезка ядра: Любой пиксель в ядре, выходящий за пределы входного изображения, не используется, и нормализация корректируется для компенсации.

Нормализация

Нормализация определяется как деление каждого элемента ядра на сумму всех элементов ядра, так что сумма элементов нормализованного ядра равна единице. Это гарантирует, что средний пиксель измененного изображения будет таким же ярким, как средний пиксель исходного изображения.

Конкретная реализация

Здесь конкретная реализация свертки, выполненная с GLSL язык штриховки:

// автор: csblo// Работа сделана только по консультации:// https://en.wikipedia.org/wiki/Kernel_(image_processing)// Определяем ядра# определить тождество mat3 (0, 0, 0, 0, 1, 0, 0, 0, 0)#define edge0 mat3 (1, 0, -1, 0, 0, 0, -1, 0, 1)#define edge1 mat3 (0, 1, 0, 1, -4, 1, 0, 1, 0)#define edge2 mat3 (-1, -1, -1, -1, 8, -1, -1, -1, -1)#define sharpen mat3 (0, -1, 0, -1, 5, -1, 0, -1, 0)#define box_blur mat3 (1, 1, 1, 1, 1, 1, 1, 1, 1) * 0,1111#define gaussian_blur mat3 (1, 2, 1, 2, 4, 2, 1, 2, 1) * 0,0625#define emboss mat3 (-2, -1, 0, -1, 1, 1, 0, 1, 2)// Находим координату элемента матрицы по индексуvec2 kpos(int показатель){    вернуть vec2[9] (        vec2(-1, -1), vec2(0, -1), vec2(1, -1),        vec2(-1, 0), vec2(0, 0), vec2(1, 0),         vec2(-1, 1), vec2(0, 1), vec2(1, 1)    )[показатель] / iResolution.ху;}// Извлекаем область размером 3x3 из сэмплера с центром в uv// sampler: образец текстуры// uv: текущие координаты на сэмплере// возврат: массив mat3, каждый индекс которого соответствует каналу цветаmat3[3] регион3x3(sampler2D пробоотборник, vec2 УФ){    // Создаем каждый пиксель для региона    vec4[9] область, край;        для (int я = 0; я < 9; я++)        область, край[я] = текстура(пробоотборник, УФ + kpos(я));    // Создаем область 3x3 с 3 цветовыми каналами (красный, зеленый, синий)    mat3[3] мРегион;        для (int я = 0; я < 3; я++)        мРегион[я] = mat3(        	область, край[0][я], область, край[1][я], область, край[2][я],        	область, край[3][я], область, край[4][я], область, край[5][я],        	область, край[6][я], область, край[7][я], область, край[8][я]    	);        вернуть мРегион;}// Свернуть текстуру с ядром// ядро: ядро, используемое для свертки// sampler: образец текстуры// uv: текущие координаты на сэмплереvec3 свертка(mat3 ядро, sampler2D пробоотборник, vec2 УФ){    vec3 фрагмент;        // Извлекаем область 3x3 с центром в uv    mat3[3] область, край = регион3x3(пробоотборник, УФ);        // для каждого цветового канала региона    для (int я = 0; я < 3; я++)    {        // получаем канал региона        mat3 rc = область, край[я];        // покомпонентное умножение ядра на региональный канал        mat3 c = matrixCompMult(ядро, rc);        // добавляем каждый компонент матрицы        плавать р = c[0][0] + c[1][0] + c[2][0]                + c[0][1] + c[1][1] + c[2][1]                + c[0][2] + c[1][2] + c[2][2];                // для фрагмента на i-м канале установить результат        фрагмент[я] = р;    }        вернуть фрагмент;    }пустота mainImage( вне vec4 fragColor, в vec2 fragCoord ){    // Нормализованные координаты пикселей (от 0 до 1)    vec2 УФ = fragCoord/iResolution.ху;    // Свернуть ядро с текстурой    vec3 Col = свертка(тиснение, iChannel0, УФ);        // Вывод на экран    fragColor = vec4(Col, 1.0);}

использованная литература

^ http://www.songho.ca/dsp/convolution/convolution2d_example.html

Людвиг, Джейми (нет данных). Свертка изображений (PDF). Государственный университет Портленда.
Лекарм, Оливье; Дельвар, Карин (январь 2013 г.). Книга GIMP: полное руководство практически ко всему. Пресс без крахмала. п. 429. ISBN 978-1593273835.
Гамстер, Джейсон ван; Шимонски, Роберт (март 2012). GIMP Библия. Wiley. С. 438–442. ISBN 978-0470523971.
Шапиро, Линда Г.; Стокман, Джордж К. (февраль 2001 г.). Компьютерное зрение. Prentice Hall. С. 53–54. ISBN 978-0130307965.

внешние ссылки

[1] ttp://www.songho.ca/dsp/convolution/convolution2d_example.html

[1]