Векторный поток градиента - Gradient vector flow

Векторный поток градиента (GVF), а компьютерное зрение фреймворк, представленный Чэньян Сюй и Джерри Л. Принс[1][2], - векторное поле, которое создается процессом, который сглаживает и рассеивает входное векторное поле. Обычно он используется для создания векторного поля из изображений, которое указывает на края объекта на расстоянии. Он широко используется в приложениях для анализа изображений и компьютерного зрения для отслеживания объектов, распознавания форм, сегментация, и обнаружение края. В частности, он обычно используется вместе с активная контурная модель.

Результаты применения алгоритма Gradient Vector Flow к данным 3-D Metasphere

Задний план

Поиск объектов или однородных областей на изображениях - это процесс, известный как сегментация изображения. Во многих приложениях расположение краев объектов можно оценить с помощью локальных операторов, которые дают новое изображение, называемое картой краев. Затем карту краев можно использовать для направления деформируемой модели, иногда называемой активным контуром или змейкой, так, чтобы она плавно проходила через карту краев, тем самым определяя сам объект.

Обычный способ побудить деформируемую модель двигаться к карте краев - это взять пространственный градиент карты краев, что дает векторное поле. Поскольку крайняя карта имеет наибольшую интенсивность непосредственно на краю и падает до нуля по мере удаления от края, эти векторы градиента обеспечивают направление движения активного контура. Когда векторы градиента равны нулю, активный контур не перемещается, и это правильное поведение, когда контур опирается на вершину самой карты границ. Однако, поскольку сама кромка определяется локальными операторами, эти векторы градиента также будут равны нулю вдали от кромки, и, следовательно, активный контур не будет двигаться к кромке при инициализации далеко от кромки.

Поток вектора градиента (GVF) - это процесс, который пространственно расширяет векторы градиента карты границ, давая новое векторное поле, которое содержит информацию о расположении краев объекта по всей области изображения. GVF определяется как процесс распространения, воздействующий на компоненты входного векторного поля. Он предназначен для уравновешивания точности исходного векторного поля, поэтому он не изменяется слишком сильно, с регуляризацией, которая предназначена для создания гладкого поля на его выходе.

Хотя изначально GVF был разработан для сегментации объектов с использованием активных контуров, притягиваемых к краям, с тех пор он был адаптирован и использовался для многих альтернативных целей. Некоторые новые цели, включая определение непрерывного представления медиальной оси[3], регуляризирующие алгоритмы анизотропной диффузии изображений[4], нахождение центров лентообразных объектов[5], построение графиков для оптимального сегментации поверхностей[6], создавая форму до[7], и многое другое.

Теория

Теория GVF была первоначально описана в[2]. Позволять быть краевой картой, определенной в области изображения. Для единообразия результатов важно ограничить интенсивность карты границ между 0 и 1, и по соглашению принимает большие значения (близкие к 1) на краях объекта. Поле градиентного векторного потока (GVF) задается векторным полем что минимизирует функционал энергии

 

 

 

 

(1)

В этом уравнении нижние индексы обозначают частные производные, а градиент краевой карты задается векторным полем . На рисунке 1 показана карта краев, градиент (слегка размытой) карты краев и поле GVF, сгенерированное путем минимизации .

Рис. 1. Карта краев (слева) описывает границу объекта. Градиент (слегка размытой) карты краев (в центре) указывает на границу, но очень локален. Поле градиентного векторного потока (GVF) (справа) также указывает на границу, но имеет гораздо больший диапазон захвата.

Уравнение 1 представляет собой вариационную формулировку, которая имеет как член данных, так и член регуляризации. Первый член подынтегрального выражения - это член данных. Это поощряет решение чтобы точно согласовать с градиентами карты краев, так как это сделает маленький. Однако это должно происходить только тогда, когда градиенты карты краев большие, поскольку умножается на квадрат длины этих градиентов. Второй член подынтегрального выражения - член регуляризации. Он способствует тому, чтобы пространственные вариации компонентов решения были небольшими, за счет штрафов за сумму всех частных производных . Как это принято в таких вариационных формулировках, присутствует параметр регуляризации это должно быть указано пользователем, чтобы сбалансировать влияние каждого из двух условий. Если большой, например, то результирующее поле будет очень гладким и может не совпадать с нижележащими краевыми градиентами.

Теоретическое решение. обнаружение Чтобы минимизировать уравнение 1, необходимо использовать вариационное исчисление, поскольку это функция, а не переменная. Соответственно, уравнения Эйлера, обеспечивающие необходимые условия для быть решением может быть найдено путем вариационного исчисления, что дает

 

 

 

 

(2а)

 

 

 

 

(2b)

где - лапласов оператор. Поучительно изучить вид уравнений в (2). Каждое из них является уравнением в частных производных, в котором компоненты и из должен удовлетворить. Если величина краевого градиента мала, то решение каждого уравнения полностью основывается на уравнении Лапласа, например , который создаст гладкое скалярное поле, полностью зависящее от граничных условий. Граничные условия эффективно обеспечиваются местами на изображении, где величина краевого градиента велика, где решение приводится в большее соответствие с краевыми градиентами.

Вычислительные решения. Есть два основных способа вычисления GVF. Во-первых, энергетическая функция само (1) может быть непосредственно дискретизировано и минимизировано, например, с помощью градиентного спуска. Во-вторых, уравнения в частных производных в (2) можно дискретизировать и решать итеративно. В исходной статье GVF использовался итеративный подход, а в более поздних статьях были представлены значительно более быстрые реализации, такие как метод на основе октодерева.[8], многосеточный метод[9], и расширенный лагранжев метод[10]. Кроме того, очень быстрые реализации GPU были разработаны в[11][12]

Расширения и достижения. GVF легко расширяется до более высоких измерений. Энергетическая функция легко записывается в векторной форме как

 

 

 

 

(3)

которое может быть решено градиентным спуском или путем нахождения и решения его уравнения Эйлера. На рисунке 2 показана иллюстрация трехмерного поля GVF на карте краев простого объекта (см. [13]).

Рис. 2. Объект, показанный в верхнем левом углу, используется в качестве карты границ для создания трехмерного поля GVF. Векторы и линии тока поля GVF показаны в увеличенной области (Z), в вертикальной плоскости (V) и в горизонтальной плоскости (H).

Термины данных и регуляризации в подынтегральном выражении функционала GVF также могут быть изменены. Модификация, описанная в[14], называется обобщенный градиентный векторный поток (GGVF) определяет две скалярные функции и переформулирует энергию как

 

 

 

 

(4)

Пока выбор и уменьшить GGVF до GVF, альтернативные варианты и , для константа, выбираемая пользователем, может улучшить компромисс между термином данных и его регуляризацией в некоторых приложениях.

Формулировка GVF была дополнительно расширена на векторные изображения в[15] где используется взвешенный структурный тензор векторнозначного изображения. Вероятностно-взвешенное расширение GVF на основе обучения было предложено в[16] для дальнейшего улучшения сегментации изображений с сильно загроможденными текстурами или высоким уровнем шума.

Вариационная формулировка GVF также была изменена в движение GVF (MGVF) для включения движения объекта в последовательность изображений[17]. В то время как распространение векторов GVF из обычной карты краев действует изотропным образом, формулировка MGVF включает ожидаемое движение объекта между кадрами изображения.

Альтернатива GVF, называемая сверткой векторного поля (VFC), обеспечивает многие преимущества GVF, имеет превосходную устойчивость к шуму и может быть вычислена очень быстро.[18]. Поле VFC определяется как свертка карты ребер с ядром векторного поля

 

 

 

 

(5)

где

 

 

 

 

(6)

Ядро векторного поля имеет векторы, которые всегда указывают на начало координат, но их величины, детально определяемые функцией , уменьшаются до нуля с увеличением расстояния от начала координат.

Преимущество VFC в том, что его можно очень быстро вычислить с помощью быстрого преобразования Фурье (БПФ), умножения и обратного БПФ. Диапазон захвата может быть большим и явно определяется радиусом ядра векторного поля. Возможный недостаток VFC состоит в том, что слабые ребра могут быть перекрыты сильными ребрами, но эту проблему можно облегчить, используя гибридный метод, который переключается на обычные силы, когда змея приближается к границе.

Свойства. GVF обладает характеристиками, которые сделали его полезным во многих различных приложениях. Уже было отмечено, что его основная первоначальная цель заключалась в том, чтобы расширить локальное поле края по всей области изображения, во многих случаях далеко от фактического края. Это свойство было описано как расширение диапазон захвата внешней силы активной контурной модели. Он также может перемещать активные контуры в вогнутые области границы объекта. Эти два свойства показаны на рисунке 3.

Рис. 3. Активный контур с традиционными внешними силами (слева) должен быть инициализирован очень близко к границе, и он все равно не будет сходиться к истинной границе в вогнутых областях. Активный контур, использующий внешние силы GVF (справа), может быть инициализирован дальше, и он будет полностью сходиться к истинной границе, даже в вогнутых областях.

Предыдущие силы, которые использовались в качестве внешних сил (на основе градиентов карты краев и просто связанных вариантов), требовали сил давления, чтобы перемещать границы с больших расстояний в вогнутые области. Силы давления, также называемые силами баллона, создают постоянную силу на границе в одном направлении (наружу или внутрь) и имеют тенденцию к выталкиванию через слабые границы. GVF часто может заменить силы давления и обеспечить лучшую производительность в таких ситуациях.

Поскольку процесс диффузии является неотъемлемой частью решения GVF, векторы, которые указывают в противоположных направлениях, имеют тенденцию конкурировать, поскольку они встречаются в центральном месте, тем самым определяя тип геометрической особенности, которая связана с конфигурацией границы, но не очевидна непосредственно из карты краев. Например, границы восприятия это пробелы в карте краев, которые обычно визуально связаны с человеческим восприятием[19]. GVF помогает соединить их, рассеивая векторы градиента противоположных краев через зазор; и даже если фактической карты краев нет, активный контур будет сходиться к воспринимаемому краю, потому что векторы GVF направляют их туда (см.Xu, C .; Принц, J.L. (2012). «Активные контуры, деформируемые модели и векторный градиент потока». Интернет-ресурс, включая загрузку кода.Это свойство сохраняется при наличии так называемых слабые края определяется областями краевых карт с более низкими значениями.

Векторы GVF также встречаются в оппозиции в центральных местах объектов, тем самым определяя тип медиальности. Это свойство было использовано как альтернативное определение каркаса объектов.[20] а также как способ инициализировать деформируемые модели внутри объектов, чтобы схождение к границе было более вероятным.

Приложения

Наиболее фундаментальное применение GVF - это внешняя сила в деформируемой модели. Типичное приложение рассматривает изображение с объектом, очерченным по интенсивности на его фоне. Таким образом, подходящая карта ребер может быть определен

 

 

 

 

(7)

где ядро размытия по Гауссу со стандартным отклонением и свертка. Это определение применимо в любом измерении и дает карту границ, которая попадает в диапазон . Размытие по Гауссу используется в первую очередь для того, чтобы всегда можно было вычислить значимый вектор градиента, но обычно остается довольно маленьким, чтобы не было чрезмерного искажения истинного положения кромок. Учитывая эту карту ребер, векторное поле GVF можно вычислить, решив (2).

Сама деформируемая модель может быть реализована различными способами, включая параметрические модели, такие как оригинальная змея.[19] или активные поверхности и неявные модели, включая геометрические деформируемые модели[21]. В случае параметрических деформируемых моделей векторное поле ГВФ могут использоваться непосредственно как внешние силы в модели. Если деформируемая модель определяется эволюцией (двумерного) активного контура , то простое параметрическое уравнение эволюции активного контура можно записать в виде

 

 

 

 

(8)

Здесь нижние индексы указывают на частные производные, а и - константы, выбираемые пользователем.

Рис. 4. Внутренняя, центральная и внешняя поверхности коры головного мозга человека (вверху) найдены последовательно с использованием сил GVF в трех геометрических деформируемых моделях. Центральная поверхность использует функцию принадлежности серого вещества (внизу слева) в качестве самой карты границ, которая рисует центральную поверхность к центральному слою серого вещества коры. Положения трех поверхностей показаны как вложенные поверхности в корональном разрезе (внизу справа).

В случае геометрических деформируемых моделей векторное поле ГВФ сначала проецируется против нормального направления неявного волнового фронта, что определяет дополнительную функцию скорости. Соответственно, тогда эволюция функции расстояния со знаком определение простого геометрического деформируемого контура можно записать как

 

 

 

 

(9)

где кривизна контура и - константа, выбираемая пользователем.

Более сложная формулировка деформируемой модели, сочетающая геодезический активный контурный поток с силами GVF, была предложена в[22]. В этом документе также показано, как применить схему разделения AdditiveOperator.[23] для быстрого вычисления этого метода сегментации. Уникальность и существование этой комбинированной модели были доказаны в[24]. Дальнейшая модификация этой модели с использованием члена внешней силы, минимизирующего расходимость GVF, была предложена в[25] для достижения еще лучшей сегментации изображений со сложными геометрическими объектами.

GVF использовался для поиска внутренней, центральной и центральной кортикальных поверхностей при анализе изображений мозга.[5], как показано на рисунке 4. Процесс сначала находит внутреннюю поверхность, используя трехмерную геометрическую деформируемую модель с обычными силами. Затем находят центральную поверхность, используя свойство центральной тенденции GVF. В частности, кортикальная функция принадлежности коры головного мозга человека, полученная с использованием нечеткого классификатора, используется для вычисления GVF, как если бы она была толстой краевой картой. Вычисленные векторы GVF указывают на центр коры и затем могут использоваться в качестве внешних сил для приведения внутренней поверхности к центральной поверхности. Наконец, другая геометрическая деформируемая модель с обычными силами используется для приведения центральной поверхности в положение на внешней поверхности коры.

Несколько известных недавних приложений GVF включают построение графиков для оптимальной сегментации поверхности в объемах оптической когерентной томографии в спектральной области.[6], основанная на обучении вероятностная формулировка активного контура GVF для придания большего веса интересующим объектам при сегментации ультразвукового изображения[16], а также адаптивный многофункциональный активный контур GVF для улучшенной сегментации ультразвукового изображения без ручной настройки параметров[26]

Связанные концепции

использованная литература

  1. ^ Xu, C .; Принс, J.L. (июнь 1997 г.). «Векторный градиент потока: новая внешняя сила для змей» (PDF). Proc. IEEE Conf. на комп. Vis. Патт. Recog. (CVPR). Лос-Аламитос: Comp. Soc. Нажмите. С. 66–71.
  2. ^ а б Xu, C .; Принц, Дж. Л. (1998). «Змеи, фигуры и векторный градиент» (PDF). IEEE Transactions по обработке изображений. 7 (3): 359–369.
  3. ^ Hassouna, M.S .; Фараг, А. (2009). «Каркасы вариационных кривых с использованием градиентного векторного потока». IEEE Transactions по анализу шаблонов и машинному анализу. 31 (12): 2257–2274.
  4. ^ Yu, H .; Чуа, С.С. (2006). «Модели анизотропной диффузии на основе ГВФ». IEEE Transactions по обработке изображений. 15 (6): 1517--1524.
  5. ^ а б Хан, X .; Pham, D.L .; Tosun, D .; Rettmann, M.E .; Xu, C .; Prince, J.L .; и другие. (2004). «КРУИЗ: реконструкция коры с использованием неявной поверхностной эволюции». NeuroImage. 23 (3): 997--1012.
  6. ^ а б Мири, M.S .; Роблес, В.А .; Абрамов, доктор медицины; Kwon, Y.H .; Гарвин, М. (2017). «Включение поля градиентного вектора потока в мультимодальный теоретико-графический подход для сегментации внутренней ограничивающей мембраны из объемов SD-OCT, центрированных на головке глаукомного зрительного нерва». Компьютеризированная медицинская визуализация и графика. 55: 87–94.
  7. ^ Bai, J .; Шах, А .; Ву, X. (2018). «Оптимальная многообъектная сегментация с новыми приоритетами формы на основе вектора градиента». Компьютеризированная медицинская визуализация и графика. Эльзевир. 69: 96–111.
  8. ^ Esteban, C.H .; Шмитт, Ф. (2004). «Слияние силуэта и стерео для моделирования 3D-объектов». Компьютерное зрение и понимание изображений. Эльзевир. 96 (3): 367–392.
  9. ^ Хан, X .; Xu, C .; Принц, J.L. (2007). «Быстрая численная схема для расчета векторных градиентных потоков многосеточным методом». Обработка изображений IET. 1 (1): 48–55.
  10. ^ Ren, D .; Zuo, W .; Чжао, X .; Lin, Z .; Чжан, Д. (2013). «Вычисление быстрого градиентного векторного потока на основе расширенного метода Лагранжа». Письма с распознаванием образов. Эльзевир. 34 (2): 219–225.
  11. ^ Smistad, E .; Elster, A.C .; Линдсет, Ф. (2015). «Поток вектора градиента в реальном времени на графических процессорах с использованием OpenCL». Журнал обработки изображений в реальном времени. Springer. 10 (1): 67–74.
  12. ^ Smistad, E .; Линдсет, Ф. (2016). «Расчет многосеточного вектора градиента потока на GPU». Журнал обработки изображений в реальном времени. Springer. 12 (3): 593–601.
  13. ^ Xu, C .; Хан, X .; Принц, J.L. (2008). "Градиентно-векторные деформируемые модели". В Исааке Бэнкмане (ред.). Справочник по обработке и анализу медицинских изображений (2-е изд.). Академическая пресса. С. 181–194.
  14. ^ Xu, C .; Принц, Дж. Л. (1998). «Обобщенный градиент вектора внешних сил потока для активных контуров». Обработка сигнала. 71 (2): 131–139.
  15. ^ Jaouen, V .; Gonzalez, P .; Stute, S .; Guilloteau, D .; Chalon, S .; и другие. (2014). «Вариационная сегментация векторных изображений с градиентным векторным потоком». IEEE Transactions по обработке изображений. 23 (11): 4773–4785.
  16. ^ а б Hafiane, A .; Vieyres, P .; Дельбос, А. (2014). «Фазовый вероятностный активный контур для обнаружения нервов на ультразвуковых изображениях для регионарной анестезии». Компьютеры в биологии и медицине. 52: 88–95.
  17. ^ Ray, N .; Актон, С. (2004). «Поток вектора градиента движения: внешняя сила для отслеживания катящихся лейкоцитов с активными контурами, ограниченными формой и размером». IEEE Transactions по медицинской визуализации. 23 (12): 1466–1478.
  18. ^ Li, B .; Актон, С. (2007). «Активная контурная внешняя сила с использованием свертки векторного поля для сегментации изображения». IEEE Transactions по обработке изображений. 16 (8): 2096–2106.
  19. ^ а б Касс, М .; Виткин, А .; Терзопулос, Д. (1988). «Змеи: активные контурные модели». Международный журнал компьютерного зрения. 1: 321–331.
  20. ^ Hassouna, M.S .; Фараг, А. (2009). «Каркасы вариационных кривых с использованием градиентного векторного потока». IEEE Transactions по анализу шаблонов и машинному анализу. 31 (12): 2257–2274.
  21. ^ Xu, C .; Yezzi, A .; Принс, J.L. (октябрь 2000 г.). «О взаимосвязи параметрических и геометрических активных контуров и их применениях». 34-я конференция Asilomar по сигналам, системам и компьютерам. 1. С. 483–489.
  22. ^ Paragios, N .; Mellina-Gottardo, O .; Рамеш, В. (2004). «Градиент вектора потока быстрых геометрических активных контуров». IEEE Transactions по анализу шаблонов и машинному анализу. 26 (3): 402–407.
  23. ^ Goldenberg, R .; Kimmel, R .; Ривлин, Е .; Рудский, М. (2001). «Быстрые геодезические активные контуры». IEEE Transactions по обработке изображений. {10 (10): 1467–1475.
  24. ^ Guilot, L .; Бергуниу, М. (2009). «Результаты существования и уникальности смешанной модели градиентного векторного потока и геодезических активных контуров». Коммуникации по чистому и прикладному анализу. 8 (4): 1333–1349.
  25. ^ «Активные контуры, обусловленные дивергенцией потока вектора градиента». Обработка сигнала. Эльзевир. 120: 185–199. 2016.
  26. ^ Родтук, А .; Маханов, С.С. (2013). «Многофункциональные змейки с градиентным вектором потока для адаптивной сегментации ультразвуковых изображений рака груди». Журнал визуальной коммуникации и изображения. Эльзевир. 24 (8): 1414–1430.