Eigenface - Eigenface

А набор собственных граней может быть сгенерирован путем выполнения математического процесса, называемого Анализ главных компонентов (PCA) на большом наборе изображений, изображающих разные человеческие лица. Неформально собственные лица можно рассматривать как набор «стандартизованных ингредиентов лица», полученных из статистический анализ из многих изображений лиц. Любое человеческое лицо можно рассматривать как сочетание этих стандартных лиц. Например, лицо человека может состоять из среднего лица плюс 10% из собственного лица 1, 55% из собственного лица 2 и даже −3% из собственного лица 3. Примечательно, что не требуется много собственных граней, объединенных вместе, чтобы достичь справедливого приближения к большинство лиц. Кроме того, поскольку лицо человека не записывается цифровая фотография, но вместо этого в виде просто списка значений (одно значение для каждого собственного лица в используемой базе данных) для лица каждого человека требуется гораздо меньше места.

Создаваемые собственные лица будут выглядеть как светлые и темные области, расположенные по определенному шаблону. Этот паттерн - это то, как различные черты лица выделяются для оценки и оценки. Будет образец для оценки симметрия, есть ли какой-либо стиль волос на лице, линия роста волос или оценка размера носа или рта. У других собственных лиц есть шаблоны, которые труднее идентифицировать, и изображение собственного лица может очень мало походить на лицо.

Техника, используемая для создания собственных лиц и их использования для распознавания, также используется вне распознавания лиц: распознавание почерка, чтение по губам, распознавание голоса, язык знаков /рука жесты интерпретация и медицинская визуализация анализ. Поэтому некоторые не используют термин собственное лицо, а предпочитают использовать «собственное изображение».

Практическая реализация

Чтобы создать набор собственных граней, необходимо:

1. Подготовьте обучающий набор изображений лиц. Изображения, составляющие обучающую выборку, должны быть сделаны при одинаковых условиях освещения и должны быть нормализованы, чтобы глаза и рот были выровнены на всех изображениях. Все они также должны быть передискретизированы до общего пиксель разрешающая способность (р × c). Каждое изображение рассматривается как один вектор, просто сцепление строки пикселей в исходном изображении, в результате чего получается один столбец с р × c элементы. Для этой реализации предполагается, что все изображения обучающего набора хранятся в одном матрица Т, где каждый столбец матрицы - изображение.
2. Вычтите иметь в виду. Среднее изображение а необходимо вычислить, а затем вычесть из каждого исходного изображения в Т.
3. Рассчитайте собственные векторы и собственные значения из ковариационная матрица S. Каждый собственный вектор имеет ту же размерность (количество компонентов), что и исходные изображения, и, таким образом, сам по себе может рассматриваться как изображение. Поэтому собственные векторы этой ковариационной матрицы называются собственными гранями. Это направления, в которых изображения отличаются от среднего изображения. Обычно это будет дорогостоящим в вычислительном отношении шагом (если вообще возможно), но практическая применимость собственных граней проистекает из возможности вычислить собственные векторы S эффективно, без вычислений S явно, как подробно описано ниже.
4. Выберите основные компоненты. Отсортируйте собственные значения в порядке убывания и расположите собственные векторы соответственно. Количество основных компонентов k определяется произвольно, устанавливая порог ε для общей дисперсии. Общая дисперсия ${ displaystyle v = ( lambda _ {1} + lambda _ {2} + ... + lambda _ {n})}$, п = количество компонентов.
5. k - наименьшее число, удовлетворяющее ${ displaystyle { frac {( lambda _ {1} + lambda _ {2} + ... + lambda _ {k})} {v}}> epsilon}$

Эти собственные лица теперь можно использовать для представления как существующих, так и новых лиц: мы можем спроецировать новое (с вычетом среднего) изображение на собственные лица и, таким образом, записать, как это новое лицо отличается от среднего лица. Собственные значения, связанные с каждым собственным лицом, представляют, насколько изображения в обучающем наборе отличаются от среднего изображения в этом направлении. Информация теряется из-за проецирования изображения на подмножество собственных векторов, но потери сводятся к минимуму, сохраняя эти собственные грани с наибольшими собственными значениями. Например, при работе с изображением размером 100 × 100 будет получено 10 000 собственных векторов. В практических приложениях большинство лиц обычно можно идентифицировать с помощью проекции от 100 до 150 собственных граней, так что можно отбросить большую часть из 10 000 собственных векторов.

Пример кода Matlab

Вот пример вычисления собственных лиц с помощью расширенной базы данных лиц Йельского университета B. Чтобы избежать узких мест в вычислениях и хранении, изображения лиц отбираются с коэффициентом 4 × 4 = 16.

Чисто все;Закрыть все;нагрузка Yalefaces[час, ш, п] = размер(Yalefaces);d = час * ш;% векторизовать изображенияИкс = изменить форму(Yalefaces, [d п]);Икс = двойной(Икс);% вычесть среднееmean_matrix = иметь в виду(Икс, 2);Икс = bsxfun(@минус, Икс, mean_matrix);% вычислить ковариациюs = cov(Икс');% получить собственное значение и собственный вектор[V, D] = eig(s);Eigval = диагональ(D);% сортировать собственные значения в порядке убыванияEigval = Eigval(конец: - 1:1);V = fliplr(V);% показывают среднее значение и основные собственные векторы с 1-го по 15-йфигура, подсюжет(4, 4, 1)изображенияc(изменить форму(mean_matrix, [час, ш]))палитра серыйза я = 1:15    подсюжет(4, 4, я + 1)    изображенияc(изменить форму(V(:, я), час, ш))конец

Обратите внимание, что хотя ковариационная матрица S генерирует множество собственных граней, только часть из них необходима для представления большинства граней. Например, для представления 95% от общей вариации всех изображений лиц необходимы только первые 43 собственных лица. Чтобы вычислить этот результат, реализуйте следующий код:

% оценивают количество основных компонентов, необходимых для представления 95% общей дисперсии.Eigsum = сумма(Eigval);csum = 0;за я = 1: d    csum = csum + Eigval(я);    телевидение = csum / Eigsum;    если телевизор> 0,95        k95 = я;        переменаконец;конец;

Вычисление собственных векторов

Выполнение PCA непосредственно на ковариационной матрице изображений часто невозможно с вычислительной точки зрения. Если используются небольшие изображения, скажем 100 × 100 пикселей, каждое изображение представляет собой точку в 10000-мерном пространстве, а ковариационная матрица S матрица 10,000 × 10,000 = 10⁸ элементы. Тем не менее классифицировать ковариационной матрицы ограничено количеством обучающих примеров: если есть N обучающих примеров, будет не более N - 1 собственный вектор с ненулевыми собственными значениями. Если количество обучающих примеров меньше размерности изображений, главные компоненты могут быть вычислены более легко следующим образом.

Позволять Т - матрица предварительно обработанных обучающих примеров, где каждый столбец содержит одно изображение с вычитанием среднего значения. Затем ковариационная матрица может быть вычислена как S = TT^Т и разложение по собственным векторам S дан кем-то

${ displaystyle mathbf {Sv} _ {i} = mathbf {T} mathbf {T} ^ {T} mathbf {v} _ {i} = lambda _ {i} mathbf {v} _ { я}}$

тем не мение TT^Т - большая матрица, и если вместо этого мы возьмем разложение по собственным значениям

${ displaystyle mathbf {T} ^ {T} mathbf {T} mathbf {u} _ {i} = lambda _ {i} mathbf {u} _ {i}}$

затем мы замечаем, что, предварительно умножив обе части уравнения на Т, мы получаем

${ displaystyle mathbf {T} mathbf {T} ^ {T} mathbf {T} mathbf {u} _ {i} = lambda _ {i} mathbf {T} mathbf {u} _ { я}}$

Это означает, что если ты_я является собственным вектором Т^ТТ, тогда v_я = Вт_я является собственным вектором S. Если у нас есть обучающий набор из 300 изображений размером 100 × 100 пикселей, матрица Т^ТТ представляет собой матрицу 300 × 300, которая намного более управляема, чем ковариационная матрица 10 000 × 10 000. Обратите внимание, однако, что результирующие векторы v_я не нормируются; если требуется нормализация, ее следует применить как дополнительный шаг.

Связь с СВД

Позволять Икс обозначить ${ displaystyle d times n}$ матрица данных со столбцом ${ displaystyle x_ {i}}$ как вектор изображения с вычтенным средним. Потом,

${ displaystyle mathrm {ковариация} (X) = { frac {XX ^ {T}} {n}}}$

Пусть разложение по сингулярным числам (СВД) из Икс быть:

${ Displaystyle X = U { Sigma} V ^ {T}}$

Тогда разложение на собственные значения для ${ displaystyle XX ^ {T}}$ является:

${ Displaystyle XX ^ {T} = U { Sigma} {{ Sigma} ^ {T}} U ^ {T} = U { Lambda} U ^ {T}}$, где Λ = diag (собственные значения ${ displaystyle XX ^ {T}}$)

Таким образом, мы легко видим, что:

Собственные грани = первые ${ displaystyle k}$ (${ Displaystyle к Leq п}$) столбцы ${ displaystyle U}$ связанных с ненулевыми сингулярными значениями.

I-е собственное значение ${ displaystyle XX ^ {T} = { frac {1} {n}} (}$ с единственным значением ${ displaystyle X) ^ {2}}$

Использование SVD на матрице данных Икс, нет необходимости вычислять фактическую ковариационную матрицу для получения собственных граней.

Использование в распознавании лиц

Распознавание лиц было мотивацией для создания собственных лиц. Для этого использования собственные грани имеют преимущества перед другими доступными методами, например, скорость и эффективность системы. Поскольку собственное лицо - это в первую очередь метод уменьшения размеров, система может представлять множество объектов с относительно небольшим набором данных. Как система распознавания лиц, она также довольно инвариантна к значительному уменьшению размера изображения; тем не менее, он начинает значительно выходить из строя, когда разница между наблюдаемыми изображениями и изображениями зонда велика.

Для распознавания лиц изображения галереи - те, которые видит система - сохраняются в виде наборов весов, описывающих вклад каждого собственного лица в это изображение. Когда новое лицо представляется системе для классификации, его собственные веса определяются путем проецирования изображения на набор собственных лиц. Это обеспечивает набор весов, описывающих поверхность зонда. Затем эти веса классифицируются по всем весам в галерее, чтобы найти наиболее близкое соответствие. Метод ближайшего соседа - это простой подход для поиска Евклидово расстояние между двумя векторами, минимум которых можно отнести к самому близкому объекту (Терк и Пентланд 1991, п. 590) Ошибка harv: цель отсутствует: CITEREFTurkPentland1991 (помощь)

Интуитивно процесс распознавания с помощью метода eigenface заключается в проецировании изображений запроса в пространство лиц, охватываемое вычисленными собственными лицами, и поиск наиболее близкого соответствия классу лиц в этом пространстве лиц.

Псевдокод^[8]

• Данный вектор входного изображения ${ Displaystyle U в Re ^ {п}}$, средний вектор изображения из базы данных ${ displaystyle M}$, вычислим вес k-й собственной грани как:

  ${ displaystyle w_ {k} = V_ {k} ^ {T} (UM)}$

  Затем сформируйте вектор веса ${ displaystyle W = [w_ {1}, w_ {2}, ..., w_ {k}, ..., w_ {n}]}$

• Сравните W с весовыми векторами ${ displaystyle W_ {m}}$ изображений в базе данных. Найдите евклидово расстояние.

  ${ displaystyle d = || W-W_ {m} || ^ {2}}$

• Если ${ displaystyle d < epsilon _ {1}}$, то m-я запись в базе данных является кандидатом на распознавание.
• Если ${ displaystyle epsilon _ {1}$, тогда U лицо может быть неизвестным и может быть добавлено в базу данных.
• Если ${ displaystyle d> epsilon _ {2}, U}$ это не изображение лица.

Вес каждого изображения галереи передает только информацию, описывающую это изображение, а не предмет. Изображение одного объекта при фронтальном освещении может иметь совсем другой вес, чем изображения того же объекта при ярком левом освещении. Это ограничивает применение такой системы. Эксперименты в исходной статье Eigenface дали следующие результаты: в среднем 96% с изменением освещенности, 85% с изменением ориентации и 64% с изменением размера. (Терк и Пентланд 1991, п. 590) Ошибка harv: цель отсутствует: CITEREFTurkPentland1991 (помощь)

В метод собственных граней были внесены различные расширения, такие как собственные особенности. Этот метод сочетает в себе лицевые метрики (измерение расстояния между чертами лица) с представлением собственного лица. Другой метод, похожий на технику собственного лица, - это 'рыбаки 'который использует линейный дискриминантный анализ.^[9] Этот метод распознавания лиц менее чувствителен к изменению освещения и позы лица, чем использование собственных лиц. Fisherface использует помеченные данные, чтобы сохранить больше информации, относящейся к классу, на этапе уменьшения размерности.

Еще одна альтернатива eigenfaces и fisherfaces - это модель активного внешнего вида. Этот подход использует активная модель формы для описания контура лица. Собирая множество контуров лиц, можно использовать анализ главных компонентов для формирования базового набора моделей, которые инкапсулируют вариации различных лиц.

Многие современные подходы по-прежнему используют анализ главных компонентов как средство уменьшения размерности или для формирования базовых изображений для различных режимов вариации.

Рассмотрение

Eigenface предоставляет простой и дешевый способ реализовать распознавание лиц:

• Процесс обучения полностью автоматизирован и его легко кодировать.
• Eigenface адекватно снижает статистическую сложность представления изображения лица.
• После расчета собственных лиц базы данных распознавание лиц может быть выполнено в реальном времени.
• Eigenface может обрабатывать большие базы данных.

Однако недостатки метода собственных граней также очевидны:

• Он очень чувствителен к освещению, масштабированию и перемещению и требует строго контролируемой среды.
• Eigenface с трудом фиксирует изменения выражения лица.
• Наиболее важные собственные лица в основном связаны с кодированием освещения и не предоставляют полезной информации о реальном лице.

Чтобы справиться с отвлечением освещения на практике, метод собственной грани обычно отбрасывает первые три собственные грани из набора данных. Поскольку освещение обычно является причиной самых больших изменений в изображениях лиц, первые три собственных лица будут в основном захватывать информацию об изменениях трехмерного освещения, что имеет небольшой вклад в распознавание лиц. Отказавшись от этих трех собственных лиц, вы получите приличное повышение точности распознавания лиц, но другие методы, такие как fisherface и linear space, по-прежнему имеют преимущество.

Смотрите также

• Черепно-лицевая антропометрия
• Человеческий облик
• Распознавание образов

Примечания

Рекомендации

• Л. Сирович; М. Кирби (1987). «Низкоразмерная процедура описания человеческих лиц». Журнал Оптического общества Америки A. 4 (3): 519–524. Bibcode:1987JOSAA ... 4..519S. Дои:10.1364 / JOSAA.4.000519. PMID  3572578.
• М. Кирби; Л. Сирович (1990). «Применение процедуры Karhunen-Loeve для характеристики человеческих лиц». IEEE Transactions по анализу шаблонов и машинному анализу. 12 (1): 103–108. Дои:10.1109/34.41390.
• М. Тюрк; А. Пентланд (1991). «Распознавание лиц с использованием собственных лиц» (PDF). Proc. Конференция IEEE по компьютерному зрению и распознаванию образов. С. 586–591.
• М. Тюрк; А. Пентланд (1991). «Собственные лица для узнавания» (PDF). Журнал когнитивной неврологии. 3 (1): 71–86. Дои:10.1162 / jocn.1991.3.1.71. PMID  23964806.
• A. Pentland, B. Moghaddam, T. Starner, O. Oliyide и M. Turk. (1993). "Модульные Eigenspaces на основе представлений для распознавания лиц ". Технический отчет 245, M.I.T Media Lab.
• П. Белхьюмер; J. Hespanha; Д. Кригман (июль 1997 г.). «Собственные лица против рыбаков: распознавание с использованием линейной проекции, специфичной для класса». IEEE Transactions по анализу шаблонов и машинному анализу. 19 (7): 711. CiteSeerX  10.1.1.5.1467. Дои:10.1109/34.598228.
• М. Х. Ян (2000). «Распознавание лиц с использованием собственных граней ядра». Труды Международной конференции по обработке изображений. 1. С. 37–40. Дои:10.1109 / ICIP.2000.900886.
• Р. Сендриллон; Б. Ловелл (2000). «Распознавание лиц в реальном времени с использованием собственных лиц» (PDF). Визуальные коммуникации и обработка изображений. С. 269–276. Дои:10.1117/12.386642.
• Т. Хезелтин, Н. Пирс, Дж. Остин, З. Чен (2003). "Распознавание лиц: сравнение подходов, основанных на внешнем виде ". Proc. VII-я выставка цифровых изображений: методы и приложения, Vol 1. 59–68.
• Д. Писсаренко (2003). Распознавание лиц на основе Eigenface.
• Ф. Цалаканидуа; Д. Цоварасб; М.Г. Стринциса (2003). «Использование глубины и цвета собственных лиц для распознавания лиц». Письма с распознаванием образов. 24 (9): 1427–1435. Дои:10.1016 / S0167-8655 (02) 00383-5.
• Делак К., Гргич М., Лиатсис П. (2005). "Статистические методы распознавания лиц на основе внешнего вида ". Материалы 47-го Международного симпозиума ELMAR-2005 по мультимедийным системам и приложениям., Задар, Хорватия, 8–10 июня 2005 г., стр. 151–158.

внешняя ссылка

• Домашняя страница распознавания лиц
• PCA в наборе данных FERET
• Развитие интеллекта Собственные грани и веретенообразная область лица
• Учебное пособие по распознаванию лиц с использованием собственных лиц и дистанционных классификаторов
• Пример кода Matlab для собственных граней
• OpenCV + C ++ Builder6 реализация PCA
• Java-апплет, демонстрирующий собственные лица
• Введение в собственные грани
• Функция распознавания лиц в OpenCV
• Распознавание мимики на основе Eigenface в Matlab