Базы данных по выражению лица - Facial expression databases
А база данных выражений лиц представляет собой набор изображений или видеоклипов с выражения лица ряда эмоции.Хорошо аннотированный (эмоция -помеченный) медиа-контент о поведении лица важен для обучения, тестирования и проверки алгоритмы для развития системы распознавания экспрессии. Аннотацию эмоций можно сделать в дискретная эмоция этикетки или на непрерывной шкале. Большинство баз данных обычно основаны на основные эмоции теория (авторПол Экман ), который предполагает наличие шести отдельных основных эмоций (гнев, страх, отвращение, удивление, радость, печаль). Однако некоторые базы данных включают маркировку эмоций по шкале непрерывного возбуждения-валентности.
В базах данных постановочных выражений участников просят отображать различные основные эмоциональные выражения, в то время как в базе данных спонтанных выражений выражения являются естественными. Спонтанные выражения заметно отличаются от установленных по интенсивности, конфигурации и продолжительности. Кроме того, синтез некоторых AU практически невозможен без сопутствующего эмоционального состояния. Поэтому в большинстве случаев поставленные выражения преувеличены, а спонтанные - тонкие и различаются по внешнему виду.
Здесь представлены многие общедоступные базы данных.[1][2] Вот некоторые подробности Выражение лица базы данных.
| База данных | Выражение лица | Количество субъектов | Количество изображений / видео | Серый цвет | Разрешение, частота кадров | Основная правда | Тип |
|---|---|---|---|---|---|---|---|
| FERG-3D-DB (3D-база данных группы исследования выражения лица) для стилизованных персонажей [3] | злой, отвращение, страх, радость, нейтральный, грустный, удивительный | 4 | 39574 аннотированных примеров | Цвет | Ярлыки эмоций | Фронтальная поза | |
| Аудиовизуальная база данных эмоциональной речи и песни Райерсона (RAVDESS) [4] | Речь: спокойная, счастливая, грустная, сердитая, пугающая, удивленная, с отвращением и нейтральная. Песня: спокойная, счастливая, грустная, злая, пугающая и нейтральная. Каждое выражение на двух уровнях эмоциональной напряженности. | 24 | 7356 видео и аудио файлов | Цвет | 1280x720 (720p) | Этикетки для выражения лица Оценки предоставили 319 человек-оценщиков | Поставлен |
| Расширенный набор данных Кон-Канаде (CK +)[5] | нейтральный, печаль, удивление, счастье, страх, гнев, презрение и отвращение | 123 | 593 последовательности изображений (327 последовательностей с дискретными метками эмоций) | В основном серый | 640* 490 | Метки выражения лица и FACS (метка AU для последнего кадра в каждой последовательности изображений) | Позировал; спонтанные улыбки |
| Японское женское выражение лица (JAFFE)[6] | нейтральный, печаль, удивление, счастье, страх, гнев и отвращение | 10 | 213 статических изображений | Серый | 256* 256 | Этикетка для выражения лица | Поставлен |
| База данных MMI[7] | 43 | 1280 видео и более 250 изображений | Цвет | 720* 576 | Метка AU для кадра изображения с верхним выражением лица в каждой последовательности изображений | Постановка и спонтанность | |
| База данных Белфаста[8] | Набор 1 (отвращение, страх, веселье, разочарование, удивление) | 114 | 570 видеоклипов | Цвет | 720*576 | Естественная эмоция | |
| Набор 2 (отвращение, страх, веселье, разочарование, удивление, гнев, печаль) | 82 | 650 видеоклипов | Цвет | ||||
| Набор 3 (отвращение, страх, веселье) | 60 | 180 видеоклипов | Цвет | 1920*1080 | |||
| Индийская база данных полуактивного выражения лица (iSAFE)[9] | Счастливый, Печальный, Страх, Сюрприз, Злой, Нейтральный, Отвращение | 44 | 395 клипов | Цвет | 1920x1080 (60 кадров в секунду) | Ярлыки эмоций | Спонтанный |
| DISFA[10] | - | 27 | 4845 кадров видео | Цвет | 1024 * 768; 20 кадров в секунду | Интенсивность AU для каждого кадра видео (12 AU) | Спонтанный |
| Группа понимания мультимедиа (MUG)[11] | нейтральный, грусть, удивление, счастье, страх, гнев и отвращение | 86 | 1462 последовательности | Цвет | 896 * 896, 19 кадров в секунду | Ярлыки эмоций | Поставлен |
| Индийская база данных спонтанного выражения (ISED)[12] | печаль, удивление, счастье и отвращение | 50 | 428 видео | Цвет | 1920 * 1080, 50 кадров в секунду | Ярлыки эмоций | Спонтанный |
| База данных Radboud Faces (RaFD)[13] | нейтральный, печаль, презрение, удивление, счастье, страх, гнев и отвращение | 67 | Три разных направления взгляда и пять углов камеры (8 * 67 * 3 * 5 = 8040 изображений) | Цвет | 681*1024 | Ярлыки эмоций | Поставлен |
| База данных Oulu-CASIA NIR-VIS | удивление, счастье, грусть, гнев, страх и отвращение | 80 | три различных режима освещения: нормальное, слабое и темное (всего 2880 видеопоследовательностей) | Цвет | 320×240 | Поставлен | |
| FERG (база данных группы исследования выражения лица) -DB[14] для стилизованных персонажей | злой, отвращение, страх, радость, нейтральный, грустный, удивительный | 6 | 55767 | Цвет | 768x768 | Ярлыки эмоций | Фронтальная поза |
| AffectNet[15] | нейтральный, счастливый, грустный, удивление, страх, отвращение, гнев, презрение | ~ 450 000 с аннотациями вручную ~ 500 000 автоматически аннотированных | Цвет | Различный | Ярлыки эмоций, валентность, возбуждение | Дикая обстановка | |
| IMPA-FACE3D[16] | нейтральный фронтальный, радость, печаль, удивление, гнев, отвращение, страх, открытый, закрытый, поцелуй, левая сторона, правая сторона, нейтральная сагиттальная левая, нейтральная сагиттальная правая, затылок и лоб (иногда приобретается) | 38 | 534 статических изображения | Цвет | 640X480 | Ярлыки эмоций | Поставлен |
| База данных FEI Face | нейтральный, улыбка | 200 | 2800 статических изображений | Цвет | 640X480 | Ярлыки эмоций | Поставлен |
| Aff-Wild[17] [18] | валентность и возбуждение | 200 | ~ 1,250,000 с аннотациями вручную | Цвет | Разные (в среднем = 640x360) | Валентность, Возбуждение | Сеттинг в дикой природе |
| Aff-Wild2[19] [20] | нейтральный, счастье, печаль, удивление, страх, отвращение, гнев + валентное возбуждение + единицы действия 1,2,4,6,12,15,20,25 | 458 | ~ 2 800 000 аннотированных вручную | Цвет | Разные (в среднем = 1030x630) | Валентность, Возбуждение, 7 основных выражений, единицы действия для каждого кадра видео | Сеттинг в дикой природе |
| Реальная база данных аффективных лиц (RAF-DB)[21][22] | 6 классов основные эмоции (Удивлен, Страх, Отвращение, Счастье, Печаль, Злость) плюс нейтральный и 12 классов сложные эмоции (Страшно удивлен, ужасно отвращен, печально зол, печально испуган, сердито отвращен, сердито удивлен, грустно отвращен, неприятно удивлен, радостно удивлен, грустно удивлен, страшно зол, счастливо отвращен) | 29672 аннотированных примеров | Цвет | Различный для исходного набора данных и 100x100 для выровненного набора данных | Ярлыки эмоций | Постановка и спонтанность |
использованная литература
- ^ «сборник эмоциональных баз». Архивировано из оригинал на 2018-03-25.
- ^ "базы данных по выражению лица".
- ^ Анеха, Дипали и др. «Учимся генерировать стилизованные 3D-выражения персонажей из людей». Зимняя конференция IEEE 2018 по приложениям компьютерного зрения (WACV). IEEE, 2018.
- ^ Ливингстон и Руссо (2018). Аудиовизуальная база данных эмоциональной речи и песни Ryerson (RAVDESS): динамический, мультимодальный набор мимики и вокала на североамериканском английском. Дои:10.1371 / journal.pone.0196391
- ^ П. Люси, Дж. Ф. Кон, Т. Канаде, Дж. Сараги, З. Амбадар и И. Мэтьюз, «Расширенный набор данных Кон-Канаде (CK +): полный набор данных по выражению лица для единиц действия и выражений, определяемых эмоциями», в 3-й семинар IEEE по CVPR для анализа коммуникативного поведения человека, 2010
- ^ Лайонс, Майкл; Камачи, Миюки; Гёба, Дзиро (1998). База данных по выражению лица японских женщин (JAFFE). Дои:10.5281 / zenodo.3451524.
- ^ М. Валстар и М. Пантик, «Вызванное отвращение, счастье и удивление: дополнение к базе данных выражений лиц MMI», в Proc. Int. Конф. Языковые ресурсы и оценка, 2010
- ^ И. Снеддон, М. МакРори, Дж. МакКаун и Дж. Ханратти, «База данных индуцированных естественных эмоций в Белфасте», IEEE Trans. Аффективные вычисления, т. 3, вып. 1. С. 32-41, 2012.
- ^ Сингх, Шивендра; Бенедикт, Шаюлин (2020). Thampi, Sabu M .; Hegde, Rajesh M .; Кришнан, Шри; Мукхопадхьяй, Джаянта; Чаудхари, Випин; Marques, Oge; Пирамуту, Селвин; Корчадо, Хуан М. (ред.). "Набор данных по индийскому полуактивному выражению лица (iSAFE) для распознавания человеческих эмоций". Достижения в области обработки сигналов и интеллектуальных систем распознавания. Коммуникации в компьютерных и информационных науках. Сингапур: Springer: 150–162. Дои:10.1007/978-981-15-4828-4_13. ISBN 978-981-15-4828-4.
- ^ С. М. Мавадати, М. Х. Махур, К. Бартлетт, П. Трин и Дж. Кон. "DISFA: База данных по интенсивности спонтанного лицевого воздействия", IEEE Trans. Аффективные вычисления, т. 4, вып. 2. С. 151–160, 2013.
- ^ Н. Айфанти, К. Папахристу и А. Делопулос, База данных по выражению лица MUG, в Proc. 11-й Int. Семинар по анализу изображений для мультимедийных интерактивных сервисов (WIAMIS), Дезенцано, Италия, 12–14 апреля 2010 г.
- ^ С. Л. Хэппи, П. Патнаик, А. Рутрей и Р. Гуха, «Индийская база данных спонтанных выражений для распознавания эмоций», в IEEE Transactions on Affective Computing, 2016 г., Дои:10.1109 / TAFFC.2015.2498174.
- ^ Лангнер, О., Дотч, Р., Бейлстра, Г., Вигболдус, Д.Х.Дж., Хок, С.Т., и ван Книппенберг, А. (2010). Презентация и проверка базы данных Radboud Faces. Познание и эмоции, 24 (8), 1377–1388. Дои:10.1080/02699930903485076
- ^ "База данных группы исследования выражения лица (FERG-DB)". grail.cs.washington.edu. Получено 2016-12-06.
- ^ Mollahosseini, A .; Hasani, B .; Махур, М. Х. (2017). «AffectNet: база данных для вычислений выражения лица, валентности и возбуждения в дикой природе». IEEE Transactions по аффективным вычислениям. PP (99): 18–31. arXiv:1708.03985. Дои:10.1109 / TAFFC.2017.2740923. ISSN 1949-3045.
- ^ "Технические отчеты IMPA-FACE3D". visgraf.impa.br. Получено 2018-03-08.
- ^ Zafeiriou, S .; Коллиас, Д .; Nicolaou, M.A .; Papaioannou, A .; Zhao, G .; Коця, И. (2017). "Aff-Wild: вызов валентности и возбуждения в дикой природе" (PDF). Мастерские по компьютерному зрению и распознаванию образов (CVPRW), 2017 г..
- ^ Коллиас, Д .; Tzirakis, P .; Nicolaou, M.A .; Papaioannou, A .; Zhao, G .; Schuller, B .; Kotsia, I .; Зафейриу, С. (2019). "Deep Affect Prediction in the wild: Aff-Wild Database and Challenge, Deep Architectures, and Beyond". Международный журнал компьютерного зрения (IJCV), 2019.
- ^ Коллиас, Д .; Зафейриу, С. (2019). «Выражение, аффект, распознавание единиц действия: Aff-wild2, многозадачное обучение и arcface» (PDF). Британская конференция по машинному зрению (BMVC), 2019.
- ^ Коллиас, Д .; Schulc, A .; Гаджиев, Э .; Зафейриу, С. (2020). «Анализ аффективного поведения на первом конкурсе abaw 2020». Международная конференция IEEE по автоматическому распознаванию лиц и жестов (FG), 2020 г..
- ^ Ли., С. "РАФ-ДБ". База данных аффективных лиц в реальном мире.
- ^ Li, S .; Deng, W .; Ду, Дж. (2017). «Надежный краудсорсинг и глубокое обучение с сохранением локальности для распознавания экспрессии в дикой природе». Конференция IEEE 2017 по компьютерному зрению и распознаванию образов (CVPR): 2584–2593. Дои:10.1109 / CVPR.2017.277.