LabelMe - LabelMe

LabelMe это проект, созданный Лаборатория компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL), который обеспечивает набор данных из цифровые изображения с аннотации. Набор данных является динамичным, бесплатным для использования и открытым для публики. Наиболее применимое использование LabelMe - компьютерное зрение исследование. По состоянию на 31 октября 2010 г. LabelMe содержит 187 240 изображений, 62 197 изображений с аннотациями и 658 992 объекта с пометками.

Мотивация

Мотивация создания LabelMe исходит из истории общедоступных данных для исследователей компьютерного зрения. Большинство доступных данных были адаптированы к проблемам конкретной исследовательской группы и заставляли новых исследователей собирать дополнительные данные для решения своих собственных проблем. LabelMe был создан для устранения нескольких распространенных недостатков доступных данных. Ниже приводится список качеств, которые отличают LabelMe от предыдущей работы.

Предназначен для признание класса объектов вместо отдельных экземпляров объекта. Например, традиционный набор данных может содержать изображения собак, каждая из которых имеет одинаковый размер и ориентацию. Напротив, LabelMe содержит изображения собак под разными углами, размерами и ориентациями.
Предназначен для распознавания объектов, встроенных в произвольные сцены, вместо изображений, которые обрезанный, нормализованный, и / или измененный размер для отображения одного объекта.
Сложная аннотация: вместо того, чтобы маркировать все изображение (что также ограничивает каждое изображение, содержащее один объект), LabelMe позволяет аннотировать несколько объектов внутри изображения, указав многоугольник ограничивающая рамка, содержащая объект.
Содержит большое количество классов объектов и позволяет легко создавать новые классы.
Разнообразные изображения: LabelMe содержит изображения из самых разных сцен.
Обеспечивает не-защищенный авторским правом изображения и разрешает общедоступные добавления к аннотациям. Это создает свободную среду.

Инструмент аннотации

Инструмент аннотации LabelMe предоставляет пользователям возможность внести свой вклад в проект. Доступ к инструменту можно получить анонимно или войдя в бесплатную учетную запись. Для доступа к инструменту пользователи должны иметь совместимый веб-браузер с JavaScript поддерживать. Когда инструмент загружен, он выбирает случайное изображение из набора данных LabelMe и отображает его на экране. Если с изображением уже связаны метки объектов, они будут наложены поверх изображения в формате многоугольника. Каждая отдельная метка объекта отображается разным цветом.

Если изображение не полностью помечено, пользователь может использовать мышь для рисования многоугольника, содержащего объект на изображении. Например, на соседнем изображении, если человек стоял перед зданием, пользователь мог щелкнуть точку на границе человека и продолжать щелкать по внешнему краю, пока не вернется в исходную точку. После закрытия многоугольника на экране появляется пузырек, который позволяет пользователю ввести метку для объекта. Пользователь может выбрать любую метку, которая, по его мнению, лучше всего описывает объект. Если пользователь не согласен с предыдущей маркировкой изображения, он может щелкнуть контурный многоугольник объекта и либо полностью удалить многоугольник, либо отредактировать текстовую подпись, чтобы дать ему новое имя.

Как только пользователь вносит изменения в изображение, они сохраняются и становятся общедоступными для загрузки из набора данных LabelMe. Таким образом, данные всегда меняются благодаря вкладу сообщества пользователей, использующих инструмент. Как только пользователь закончит с изображением, Покажи мне другое изображение можно щелкнуть ссылку, и для отображения пользователю будет выбрано другое случайное изображение.

Проблемы с данными

У набора данных LabelMe есть некоторые проблемы. Некоторые из них присущи данным, например, объекты на изображениях неравномерно распределены по размеру и местоположению изображения. Это связано с тем, что изображения в основном делаются людьми, которые склонны фокусировать камеру на интересных объектах сцены. Однако случайное кадрирование и изменение масштаба изображений может имитировать равномерное распределение.^[1] Другие проблемы вызваны степенью свободы, предоставляемой пользователям инструмента аннотации. Возникают следующие проблемы:

Пользователь может выбрать, какие объекты в сцене выделять. Если окклюзия человека быть помеченным? Следует ли включать закрытую часть объекта при его контуре? Надо ли пометить небо?
Пользователь должен описать форму самого объекта, обведя его многоугольником. Следует ли детально обрисовать пальцы руки человека? Насколько точно нужно выделять объекты?
Пользователь выбирает, какой текст ввести в качестве метки для объекта. Если этикетка человек, человек, или же пешеход?

Создатели LabelMe решили оставить эти решения на усмотрение аннотатора. Причина этого в том, что, по их мнению, люди будут комментировать изображения в соответствии с тем, что, по их мнению, является естественной маркировкой изображений. Это также обеспечивает некоторую вариативность данных, что может помочь исследователям настроить их алгоритмы чтобы учесть эту изменчивость.^[2]

Расширение данных

Использование WordNet

Поскольку текстовые метки для объектов, представленные в LabelMe, поступают от пользователя, используемые метки сильно различаются (как описано выше). Из-за этого анализ объектов может быть затруднен. Например, изображение собаки может быть помечено как собака, собачий, гончая, дворняга, или же животное. В идеале при использовании данных класс объекта собака на абстрактном уровне должны включать все эти текстовые метки.

WordNet представляет собой базу данных слов, организованную в структурном порядке. Он позволяет присвоить слово категории или на языке WordNet: смысл. Смысловое назначение нелегко выполнить автоматически. Когда авторы LabelMe попробовали автоматическое присвоение смысла, они обнаружили, что оно подвержено высокому уровню ошибок, поэтому вместо этого они назначили слова смыслам вручную. Сначала это может показаться сложной задачей, поскольку новые метки добавляются в проект LabelMe постоянно. Справа находится график, сравнивающий рост многоугольников с ростом слов (описаний). Как видите, количество слов невелико по сравнению с непрерывным ростом многоугольников, и поэтому команда LabelMe может легко поддерживать его в актуальном состоянии вручную.^[3]

После выполнения назначения WordNet поиск в базе данных LabelMe станет намного эффективнее. Например, поиск животное может показывать фотографии собаки, кошки и змеи. Однако, поскольку назначение было выполнено вручную, изображение компьютерной мыши, помеченное как мышь не появится в поиске животные. Кроме того, если объекты помечены более сложными терминами, например выгул собак, WordNet по-прежнему позволяет искать собака чтобы вернуть эти объекты как результаты. WordNet делает базу данных LabelMe намного более полезной.

Иерархия объектов и частей

Наличие большого набора данных объектов, где допускается перекрытие, предоставляет достаточно данных, чтобы попытаться классифицировать объекты как часть другого объекта. Например, большинство присвоенных ярлыков колесо вероятно, являются частью объектов, присвоенных другим ярлыкам, например машина или же велосипед. Они называются ярлыки деталей. Чтобы определить, есть ли этикетка п это этикетка детали для этикетки О:^[4]

Позволять ${displaystyle mathrm {I} _ {mathrm {O}},}$ обозначают набор изображений, содержащих объект (например, автомобиль)
Позволять ${displaystyle mathrm {I} _ {mathrm {P}},}$ обозначают набор изображений, содержащих деталь (например, колесо)
Пусть баллы перекрытия между объектами О и часть п, ${displaystyle mathrm {S} _ {mathrm {O}, mathrm {P}},}$ , можно определить как отношение площади пересечения к площади многоугольника детали. (например. ${displaystyle {frac {mathrm {A} (mathrm {O} cap mathrm {P})} {mathrm {A} (mathrm {P})}},}$ )
Позволять ${displaystyle mathrm {I} _ {mathrm {O}, mathrm {P}} substeq mathrm {I} _ {mathrm {P}},}$ обозначают изображения, на которых полигоны объектов и частей имеют ${displaystyle mathrm {S} _ {mathrm {O}, mathrm {P}}> eta,}$ куда ${displaystyle eta,}$ - некоторое пороговое значение. Авторы LabelMe используют ${displaystyle eta = 0,5,}$
Оценка части объекта для метки кандидата составляет ${displaystyle {frac {mathrm {N} _ {mathrm {O}, mathrm {P}}} {mathrm {N} _ {mathrm {P}} + alpha}},}$ куда ${displaystyle mathrm {N} _ {mathrm {O}, mathrm {P}},}$ и ${displaystyle mathrm {N} _ {mathrm {P}},}$ количество изображений в ${displaystyle mathrm {I} _ {mathrm {O}, mathrm {P}},}$ и ${displaystyle mathrm {I} _ {mathrm {P}},}$ соответственно и ${displaystyle alpha,}$ - параметр концентрации. Авторы LabelMe используют ${displaystyle alpha = 5,}$ .

Этот алгоритм позволяет автоматически классифицировать части объекта, когда объекты-части часто содержатся во внешнем объекте.

Упорядочивание глубины объекта

Другой пример перекрытия объектов - это когда один объект фактически находится поверх другого. Например, изображение может содержать человека, стоящего перед зданием. Человек не этикетка детали как указано выше, поскольку человек не является частью здания. Вместо этого это два отдельных объекта, которые перекрываются. Чтобы автоматически определять, какой объект является передним планом, а какой - фоном, авторы LabelMe предлагают несколько вариантов:^[5]

Если объект полностью содержится в другом объекте, то внутренний объект должен находиться на переднем плане. В противном случае его не было бы видно на изображении. Единственное исключение - прозрачные или полупрозрачные объекты, но это случается редко.
Один из объектов может быть помечен как нечто, чего не может быть на переднем плане. Примеры небо, земля, или же Дорога.
Объект с большим количеством точек многоугольника внутри области пересечения, скорее всего, находится на переднем плане. Авторы проверили эту гипотезу и нашли ее очень точной.
Пересечение гистограммы^[6] может быть использован. Для этого цветная гистограмма в пересекающихся областях сравнивается с цветовой гистограммой двух объектов. Объект с более близкой цветовой гистограммой назначается передним планом. Этот метод менее точен, чем подсчет точек многоугольника.

Набор инструментов Matlab

Проект LabelMe предоставляет набор инструментов для использования набора данных LabelMe из Matlab. Поскольку исследования часто проводятся в Matlab, это позволяет интегрировать набор данных с существующими инструментами компьютерного зрения. Весь набор данных можно загрузить и использовать в автономном режиме, или набор инструментов позволяет динамически загружать контент по запросу.

Смотрите также

внешняя ссылка

http://labelme.csail.mit.edu/ - LabelMe - инструмент для открытых аннотаций

[1] Russell et al. 2008 г., Раздел 2.5

[2] Russell et al. 2008 г., Раздел 2.2

[3] Russell et al. 2008 г., Раздел 3.1

[4] Russell et al. 2008 г., Раздел 3.2

[5] Russell et al. 2008 г., Раздел 3.3

[6] Суэйн и Баллард 1991

[1]

[2]

[3]

[4]

[5]

[6]