Онтология крупномасштабных концепций для мультимедиа - Large Scale Concept Ontology for Multimedia

В Онтология крупномасштабных концепций для мультимедиа Проект представлял собой серию семинаров, проведенных с апреля 2004 г. по сентябрь 2006 г.[1] с целью определения стандартного формального словаря для аннотации и поиска видео.

Мандат

Проект «Крупномасштабная онтология концепции мультимедиа» был спонсирован Офис подрывных технологий и объединил представителей различных исследовательских сообществ, таких как мультимедийное обучение, поиск информации, компьютерная лингвистика, библиотечное дело и представление знаний, а также сообщества пользователей, такие как разведывательные агентства и вещательные компании, для совместной работы над определением набора 1000 концепций.[2] По отдельности каждая концепция должна была соответствовать следующим критериям:[3]

  • Утилита: концепции должны поддерживать реалистичные проблемы поиска видео
  • Осуществимость: концепции способны или будут способны обнаруживать, учитывая краткосрочное (прогнозируемое на 5 лет) состояние технологий.
  • Наблюдаемость: концепции возникают с относительно высокой частотой в реальных наборах видеоданных.

В совокупности эти концепции должны были соответствовать дополнительному критерию обеспечения широкого (независимого от домена) покрытия.[3] Целевые области высокого уровня для охвата включали физические объекты, включая одушевленные объекты (такие как люди, мобы и животные), и неодушевленные объекты, от крупномасштабных (например, здания и шоссе) до мелких (таких как телефоны и т. Д.). бытовая техника); действия и события; локации и настройки; и графика. Работой руководил доктор Милинд Напад, который был главным исследователем вместе с исследователями из Университет Карнеги Меллон, Колумбийский университет, и IBM.[1]

Следы развития

У проекта было два основных «трека»: разработка и внедрение инструментов аннотации ключевых кадров (выполняемых CMU и Columbia) и разработка самой крупномасштабной онтологии концепций для иерархии концепций мультимедиа. Второй этап был выполнен в два этапа: первый заключался в ручном построении иерархии концепций 884, выполнялся совместно исследователями и представителями сообщества пользователей.

Второй трек, исполненный экспертами по представлению знаний Cycorp, Inc., включал отображение концепций в Цикл база знаний и использование механизма вывода Cyc для полуавтоматического уточнения, исправления и расширения иерархии концепций. Фаза сопоставления / расширения проекта была мотивирована желанием расширить диапазон - сопоставление имело эффект перехода от 884 понятий, чтобы значительно превзойти первоначальную цель 1000 - и переместить крупномасштабную онтологию концептов для мультимедиа из одномерной иерархии концептов в полноценную онтологию богатых семантических связей.[3]

Результаты проекта

Результаты усилий включали:[1]

  1. «Облегченная» версия крупномасштабной онтологии понятий для иерархии понятий мультимедиа, состоящая из подмножества 449 понятий.
  2. Корпус из 61 901 ключевого кадра видео, взятого из набора данных TRECVID 2006 года, аннотирован с использованием крупномасштабной онтологии концепции для мультимедиа "lite".
  3. Полная таксономия из 2638 концепций, построенная полуавтоматически путем сопоставления 884 концепций, вручную идентифицированных соавторами, с базой знаний Cyc и запросов к механизму вывода Cyc на предмет полезных дополнений.
  4. Полная онтология в форме выпуска ResearchCyc 2006 года, который содержал крупномасштабную онтологию концепций для отображения мультимедиа в онтологию Cyc.

Общественные детекторы

Было разработано и выпущено для публичного использования несколько наборов концептуальных детекторов:

  1. ВИРЕО-374, 374 детектора разработки Городской университет Гонконга.
  2. Колумбия374, 374 детектора разработки Колумбийский университет.
  3. Медиамилл101, 101 детектор разработки Амстердамский университет.

Использование в более широком исследовательском сообществе

С момента выпуска крупномасштабная концептуальная онтология для мультимедиа начала успешно использоваться в исследованиях визуального распознавания: помимо исследований, проведенных участниками проекта, она использовалась независимыми исследованиями при извлечении концепций из изображений,[4][5] и послужил основой для инструмента видеоаннотации.[6]

Смотрите также

Рекомендации

  1. ^ а б c Нафад, и другие., «Онтология крупномасштабных концепций для мультимедиа: отчет семинара VACE»,
  2. ^ Нафад, и другие., «Онтология крупномасштабных концепций для понимания мультимедиа», презентация на ppt, опубликованная МИТРА В архиве 2006-05-06 на Wayback Machine
  3. ^ а б c Нафад, и другие., «Онтология крупномасштабных концепций для мультимедиа», IEEE MultiMedia, vol. 13, нет. 3, стр. 86-91, июль-сентябрь 2006 г.
  4. ^ Снук, и другие., «Добавление семантики к детекторам для поиска видео», предстоящий в IEEE Transactions on Multimedia, 2007 г.
  5. ^ Worring, и другие., "Механизм предложения концепций с использованием большого словаря MediaMill", предстоящий, в Труды Международной конференции IEEE по акустике, речи и обработке сигналов, Гонолулу, Гавайи, США, апрель 2007 г.
  6. ^ Эмили Гарано, Смитон, А., и Коскела, М., «Оценка инструмента видеоаннотации на основе онтологии LSCOM», в Материалы Первой Международной конференции по семантике и цифровым медиа-технологиям, Афины, Греция, 6-8 декабря 2006 г. В архиве 20 июля 2011 г. Wayback Machine

внешняя ссылка