Захват движений лица - Википедия - Facial motion capture

Захват движения лица это процесс электронного преобразования движений лица человека в цифровую базу данных с помощью камер или лазерные сканеры. Затем эту базу данных можно использовать для создания компьютерная графика (CG), компьютерная анимация для фильмов, игр или аватаров в реальном времени. Поскольку движение компьютерных персонажей происходит от движений реальных людей, это приводит к более реалистичной и детализированной компьютерной анимации персонажей, чем если бы анимация была создана вручную.

Уход за лицом захвата движения база данных описывает координаты или относительное положение опорных точек на лице актера. Захват может быть двухмерным, и в этом случае процесс захвата иногда называют "выражение отслеживание ", или в трех измерениях. Двумерный захват может быть достигнут с помощью одной камеры и программного обеспечения для захвата. Это обеспечивает менее сложное отслеживание и не может полностью фиксировать трехмерные движения, такие как вращение головы. Трехмерный захват выполняется с помощью многокамерные установки или система лазерного маркера. Такие системы обычно намного дороже, сложнее и требуют много времени в использовании. Существуют две преобладающие технологии; маркерные и безмаркерные системы слежения.

Захват движений лица связан с захватом движений тела, но является более сложной задачей из-за требований к более высокому разрешению для обнаружения и отслеживания едва уловимых выражений лица небольшие движения глаз и губ. Эти движения часто составляют менее нескольких миллиметров, что требует еще большего разрешения и точности, а также других методов фильтрации, чем обычно используется при захвате всего тела. Дополнительные ограничения лица также предоставляют больше возможностей для использования моделей и правил.

Захват выражения лица похож на захват движения лица. Это процесс использования визуальных или механических средств для управления персонажами, сгенерированными компьютером, с вводом от человека. лица, или в распознавать эмоции от пользователя.

История

Одна из первых статей, посвященных анимации, управляемой производительностью, была опубликована Лэнс Уильямс в 1990 году. Там он описывает «средства получения выражений реальных лиц и применения их к лицам, сгенерированным компьютером».[1]

Технологии

На основе маркера

Традиционные системы на основе маркеров наносят до 350 маркеров на актеров. лицо и отслеживайте движение маркера с высоким разрешением камеры. Это использовалось в таких фильмах, как Полярный экспресс и Беовульф чтобы позволить актеру, такому как Том Хэнкс управлять выражениями лиц нескольких разных персонажей. К сожалению, это относительно громоздко и делает выражения актеров чрезмерно активными после выполнения сглаживания и фильтрации. Системы следующего поколения, такие как CaptiveMotion использовать ответвления традиционной системы на основе маркеров с более высоким уровнем детализации.

Технология Active LED Marker в настоящее время используется для управления лицевой анимацией в режиме реального времени, чтобы обеспечить обратную связь с пользователем.

Без маркера

Безмаркерные технологии используют такие черты лица, как ноздри, уголки губ и глаз, а также морщины, а затем отслеживать их. Эта технология обсуждается и демонстрируется на CMU,[2] IBM,[3] Манчестерский университет (где многое из этого началось с Тим Кутс,[4] Гарет Эдвардс и Крис Тейлор) и в других местах, используя модели активного внешнего вида, Анализ главных компонентов, собственное отслеживание, модели деформируемой поверхности и другие методы отслеживания желаемых черт лица от Рамка к кадру. Эта технология гораздо менее громоздка и позволяет актеру более выразительно.

Эти подходы, основанные на зрении, также позволяют отслеживать движение зрачков, век, окклюзию зубов губами и языком, что является очевидной проблемой в большинстве компьютерных анимационных функций. Типичными ограничениями подходов, основанных на зрении, являются разрешение и частота кадров, которые снижаются, как высокая скорость, высокое разрешение. CMOS камеры становятся доступными из нескольких источников.

Технология безмаркерного отслеживания лица родственна технологии в Система распознавания лиц, поскольку система распознавания лиц потенциально может применяться последовательно к каждому кадру видео, что приводит к отслеживанию лиц. Например, система Neven Vision[5] (ранее Eyematics, теперь приобретенная Google) позволяла отслеживать лица в 2D в реальном времени без индивидуального обучения; их система также была одной из самых эффективных систем распознавания лиц в тесте поставщиков распознавания лиц (FRVT), проведенном правительством США в 2002 г. С другой стороны, некоторые системы распознавания не отслеживают явным образом выражения или даже не работают с ненейтральными выражениями, и поэтому не подходит для отслеживания. И наоборот, такие системы, как модели деформируемой поверхности объединить временную информацию, чтобы устранить неоднозначность и получить более надежные результаты, и, следовательно, не может быть применен к одной фотографии.

Отслеживание лица без маркеров перешло в коммерческие системы, такие как Показатели изображения, который применялся в таких фильмах, как Матрица сиквелы[6]и Загадочная история Бенджамина Баттона Последний использовал Mova система для захвата деформируемой модели лица, которая затем была анимирована с помощью комбинации ручного и визуального отслеживания.[7] Аватар был еще одним известным фильмом о захвате перформанса, однако в нем использовались раскрашенные маркеры, а не безмаркерные. Dynamixyz[постоянная мертвая ссылка ] это еще одна коммерческая система, которая используется в настоящее время.

Безмаркерные системы можно классифицировать по нескольким отличительным критериям:

  • Сравнение 2D и 3D отслеживания
  • требуется ли индивидуальное обучение или другая человеческая помощь
  • производительность в реальном времени (что возможно только в том случае, если не требуется обучение или контроль)
  • нужен ли им дополнительный источник информации, такой как проецируемые узоры или невидимая краска, например, используемая в системе Mova.

На сегодняшний день ни одна система не является идеальной по всем этим критериям. Например, система Neven Visions была полностью автоматической и не требовала скрытых шаблонов или индивидуального обучения, но была двухмерной.[8]является трехмерным, автоматическим и работает в режиме реального времени, но требует проецирования шаблонов.

Захват выражения лица

Технологии

Методы, основанные на цифровом видео, становятся все более предпочтительными, поскольку механические системы имеют тенденцию быть громоздкими и сложными в использовании.

С помощью цифровые фотоаппараты, выражения входящего пользователя обрабатываются для получения заголовка поза, что позволяет программе находить глаза, нос и рот. Лицо изначально откалибровано с использованием нейтрального выражения. Затем, в зависимости от архитектуры, брови, веки, щеки и рот можно обрабатывать как отличия от нейтрального выражения. Это можно сделать, например, отыскивая края губ и распознавая их как уникальный объект. Часто наносят контрастный макияж или маркеры, или какой-либо другой способ ускорить обработку. Как и в случае с распознаванием голоса, лучшие методы работают только в 90% случаев, требуя большой ручной настройки или терпимости к ошибкам.

Поскольку компьютерные символы фактически не имеют мышцы, используются разные методы для достижения одинаковых результатов. Некоторые аниматоры создают кости или объекты, управляемые программой захвата, и перемещают их соответствующим образом, что при правильной настройке персонажа дает хорошее приближение. Поскольку лица очень эластичны, эту технику часто смешивают с другими, корректируя веса по-разному. кожа эластичность и другие факторы в зависимости от желаемого выражения.

использование

Несколько коммерческих компаний разрабатывают продукты, которые уже были в употреблении, но довольно дорогие.

Ожидается, что это станет основным Устройство ввода для компьютерных игр, как только программное обеспечение будет доступно в доступном формате, но аппаратное и программное обеспечение еще не существует, несмотря на то, что исследования, проведенные за последние 15 лет, дали почти применимые результаты.

Смотрите также

Рекомендации

  1. ^ Анимация лица, управляемая производительностью, Лэнс Уильямс, компьютерная графика, том 24, номер 4, август 1990 г.
  2. ^ Алгоритмы настройки AAM В архиве 2017-02-22 в Wayback Machine из Карнеги-Меллона Институт робототехники
  3. ^ «Автоматическое распознавание мимики в реальном времени в реальном времени» (PDF). Архивировано из оригинал (PDF) в 2015-11-19. Получено 2015-11-17.
  4. ^ Программное обеспечение для моделирования и поиска («В этом документе описывается, как создавать, отображать и использовать статистические модели внешнего вида».)
  5. ^ Вискотт, Лоренц; Ж.-М. Fellous; Н. Крюгер; К. фон дер Мальсург (1997), «Распознавание лиц с помощью сопоставления упругих групповых графов», Конспект лекций по информатике, Спрингер, 1296: 456–463, CiteSeerX  10.1.1.18.1256, Дои:10.1007/3-540-63460-6_150, ISBN  978-3-540-63460-7
  6. ^ Борщуков Георгий; Д. Пипони; О. Ларсен; Дж. Льюис; К. Темпллаар-Литц (2003), «Универсальный снимок - анимация лица на основе изображений» для «Матрицы: перезагрузка»"", ACM Siggraph
  7. ^ Барба, Эрик; Стив Приг (18 марта 2009 г.), «Любопытное лицо Бенджамина Баттона», Презентация в Ванкувере ACM SIGGRAPH Chapter, 18 марта 2009 г.
  8. ^ Weise, Thibaut; Х. Ли; Л. Ван Гул; М. Поли (2009), «Face / off: Live Face Puppetry», Симпозиум ACM по компьютерной анимации

внешняя ссылка