Поля усадки (восстановление изображения) - Shrinkage Fields (image restoration)

Поля усадки это случайное поле -основан машинное обучение техника, направленная на качественное выполнение восстановление изображения (шумоподавление и удаление размытия ) с низкими вычислительными затратами.

Метод

Восстановленное изображение ${ displaystyle x}$ предсказано на основе искаженного наблюдения ${ displaystyle y}$ после обучения на наборе образцов изображений ${ displaystyle S}$.

Функция усадки (отображения) ${ displaystyle {f} _ {{ pi} _ {i}} left (v right) = { sum} _ {j = 1} ^ {M} { pi} _ {i, j} exp left (- { frac { gamma} {2}} { left (v - { mu} _ {j} right)} ^ {2} right)}$ непосредственно моделируется как линейная комбинация ядра радиальных базисных функций, куда ${ displaystyle gamma}$ - общий параметр точности, ${ displaystyle mu}$ обозначает (эквидистантные) позиции ядра, а M - количество гауссовых ядер.

Поскольку функция усадки моделируется напрямую, процедура оптимизации сводится к одной квадратичной минимизации на итерацию, обозначаемой как прогноз поля усадки. ${ displaystyle {g} _ { mathrm { Theta}} left ({ text {x}} right) = { mathcal {F}} ^ {- 1} left lbrack { frac {{{ mathcal {F}} left ( lambda {K} ^ {T} y + { sum} _ {i = 1} ^ {N} {F} _ {i} ^ {T} {f} _ {{ pi} _ {i}} left ({F} _ {i} x right) right)} { lambda { check {K}} ^ { text {*}} circ { check { K}} + { sum} _ {i = 1} ^ {N} { check {F}} _ {i} ^ { text {*}} circ { check {F}} _ {i} }} right rbrack = { mathrm { Omega}} ^ {- 1} eta}$ куда ${ Displaystyle { mathcal {F}}}$ обозначает дискретное преобразование Фурье и ${ displaystyle F_ {x}}$ это двумерная свертка ${ displaystyle { text {f}} otimes { text {x}}}$ с функция разброса точки фильтр, ${ displaystyle { breve {F}}}$ - оптическая передаточная функция, определяемая как дискретное преобразование Фурье ${ displaystyle { text {f}}}$, и ${ displaystyle { breve {F}} ^ { text {*}}}$ является комплексным сопряжением ${ displaystyle { breve {F}}}$.

${ displaystyle { hat {x}} _ {t}}$ учится как ${ displaystyle { hat {x}} _ {t} = {g} _ {{ mathrm { Theta}} _ {t}} left ({ hat {x}} _ {t-1} верно)}$ для каждой итерации ${ displaystyle t}$ с начальным случаем ${ displaystyle { hat {x}} _ {0} = y}$, это образует каскад гауссовских условные случайные поля (или каскад полей усадки (CSF)). Минимизация потерь используется для изучения параметров модели. ${ displaystyle { mathrm { Theta}} _ {t} = { left lbrace { lambda} _ {t}, { pi} _ { mathit {ti}}, {f} _ { mathit {ti}} right rbrace} _ {i = 1} ^ {N}}$.

Целевая функция обучения определяется как ${ displaystyle J left ({ mathrm { Theta}} _ {t} right) = { sum} _ {s = 1} ^ {S} l left ({ hat {x}} _ { t} ^ { left (s right)}; {x} _ {gt} ^ { left (s right)} right)}$, куда ${ displaystyle l}$ это дифференцируемый функция потерь который жадно минимизируется с помощью обучающих данных ${ displaystyle { left lbrace {x} _ {gt} ^ { left (s right)}, {y} ^ { left (s right)}, {k} ^ { left (s right)} right rbrace} _ {s = 1} ^ {S}}$ и ${ displaystyle { hat {x}} _ {t} ^ { left (s right)}}$.

Спектакль

Предварительные тесты автора позволяют предположить, что RTF₅^[1] получает немного лучшие характеристики шумоподавления, чем ${ displaystyle { text {CSF}} _ {7 times 7} ^ { left lbrace mathrm {3,4,5} right rbrace}}$, с последующим ${ displaystyle { text {CSF}} _ {5 times 5} ^ {5}}$, ${ displaystyle { text {CSF}} _ {7 times 7} ^ {2}}$, ${ displaystyle { text {CSF}} _ {5 times 5} ^ { left lbrace mathrm {3,4} right rbrace}}$, и BM3D.

BM3D скорость шумоподавления падает между ${ displaystyle { text {CSF}} _ {5 times 5} ^ {4}}$ и ${ displaystyle { text {CSF}} _ {7 times 7} ^ {4}}$, RTF на порядок медленнее.

Преимущества

• Результаты сопоставимы с результатами, полученными BM3D (ссылка на современное шумоподавление с момента его создания в 2007 году)
• Минимальное время выполнения по сравнению с другими высокопроизводительными методами (потенциально применимо в встроенные устройства )
• Возможность распараллеливания (например, возможная реализация на GPU)
• Предсказуемость: ${ Displaystyle О (D журнал D)}$ время выполнения, где ${ displaystyle D}$ это количество пикселей
• Быстрое обучение даже с CPU

Реализации

• Эталонная реализация написана на MATLAB и выпущен под BSD, параграф 2 лицензия: усадочные поля

Смотрите также

• Случайное поле
• Дискретное преобразование Фурье
• Свертка
• Подавление шума
• Удаление размытия

Рекомендации

• Шмидт, Уве; Рот, Стефан (2014). Поля усадки для эффективного восстановления изображения (PDF). Компьютерное зрение и распознавание образов (CVPR), конференция IEEE 2014 г. Колумбус, Огайо, США: IEEE. Дои:10.1109 / CVPR.2014.349. ISBN  978-1-4799-5118-5.