Конференция и лаборатории оценочного форума - Conference and Labs of the Evaluation Forum
В Конференция и лаборатории оценочного форума (ранее Форум межъязыковой оценки), или же КЛЮЧ, это организация, продвигающая исследования в области многоязычных доступ к информации (в настоящее время сосредоточено на Европейские языки ). Его конкретные функции - поддерживать базовую структуру для тестирования. поиск информации систем и создавать репозитории данных для использования исследователями при разработке сопоставимых стандарты.[1]Организация проводит конференцию в Европе каждый сентябрь, начиная с первого учредительного семинара в 2000 году. С 1997 по 1999 год, TREC аналогичная конференция по оценке, организуемая ежегодно в США, включала трек для оценки межъязыкового IR для европейских языков. Этот трек координировался совместно NIST и группой европейских добровольцев, которая росла с годами. В конце 1999 г. некоторые участники приняли решение перенести деятельность в Европу и организовать ее самостоятельно. Цель заключалась в том, чтобы охватить большее количество языков и сосредоточить внимание на более широком круге вопросов, включая оценку одноязычной системы для языков, отличных от английского. На протяжении многих лет CLEF поддерживался рядом различных проектов и инициатив, финансируемых ЕС.[2]
Структура CLEF
До 2010 г.[3] CLEF был организован как семинар, расположенный вместе с Европейская конференция по электронным библиотекам, состоящий из ряда оценочных лабораторий или треков, аналогично TREC. В 2010 году CLEF превратился в самодостаточно организованную конференцию с оценочными лабораториями, лабораторными семинарами и основным конференц-центром. В 2012 году INEX, семинар по поиску и доступу к структурированному тексту, ранее проводившийся ежегодно в Schloß Dagstuhl, объединилась с CLEF и стала одной из его оценочных лабораторий.
Перед каждой конференцией CLEF участники оценочных лабораторий получают набор сложных задач. Задачи предназначены для тестирования различных аспектов информационно-поисковых систем и поощрения их развития. Группы исследователей предлагают и организуют кампании для решения этих задач, а результаты используются в качестве ориентиры за состояние дел в конкретных областях.,[4][5]
Вначале CLEF фокусировался в основном на довольно типичных задачах поиска информации, но теперь перешел к более конкретным задачам. Например, задача интерактивного поиска изображений 2005 года работала с иллюстрацией научно-художественных текстов с использованием изображений из Flickr [6] и задача медицинского поиска 2010 года была сосредоточена на поиске компьютерной томографии, МРТ и радиографических изображений.[7] В 2017 году CLEF решила ряд задач, например: по идентификации биологических видов по фотографиям или видеоклипам, по стилистическому анализу авторства и по доступу к информации, связанной со здоровьем.
Список семинаров и конференций CLEF
| Год | Место расположения | Примечание | Труды | Редакторы | |
|---|---|---|---|---|---|
| 2000 | Лиссабон | Создание мастерской | Поиск и оценка межъязыковой информации: семинар форума межъязыковой оценки (CLEF 2000) | Кэрол Энн Питерс | |
| 2001 | Дармштадт | Оценка межъязыковых систем поиска информации: второй семинар Форума межъязыковой оценки (CLEF 2001), исправленные документы | Кэрол Энн Питерс и Мартин Брашлер, Хулио Гонсало и Мартин Клак | ||
| 2002 | Рим | Достижения в поиске межъязыковой информации: третий семинар Форума межъязыковой оценки (CLEF 2002), исправленные документы | Кэрол Энн Питерс и Мартин Брашлер, Хулио Гонсало и Мартин Клак | ||
| 2003 | Тронхейм | Сравнительная оценка многоязычных систем доступа к информации: Четвертый семинар Форума межъязыковой оценки (CLEF 2003), пересмотренные избранные документы | Кэрол Энн Питерс и Мартин Брашлер, Хулио Гонсало и Мартин Клак | ||
| 2004 | Ванна | Многоязычный доступ к информации для текста, речи и изображений: Пятый семинар Форума межъязыковой оценки (CLEF 2004) Пересмотренные избранные документы | Кэрол Энн Питерс и Пол Клаф, Хулио Гонсало и Гарет Дж. Ф. Джонс, Мартин Клак и Бернардо Маньини | ||
| 2005 | Вена | Доступ к многоязычным хранилищам информации: шестой семинар Форума межъязыковой оценки (CLEF 2005). Отредактированные избранные статьи | Кэрол Энн Петерс, Фред Си Гей, Хулио Гонсало и Гарет Дж. Ф. Джонс, Мартин Клак, Бернардо Маньини и Хеннинг Мюллер и Maarten de Rijke | ||
| 2006 | Аликанте | Оценка многоязычного и мультимодального поиска информации: седьмой семинар Форума межъязыковой оценки (CLEF 2006). Отредактированные избранные статьи | Кэрол Энн Питерс и Клаф, П. и Фред С. Гей и Юсси Карлгрен и Бернардо Маньини, Дуг Орд и Maarten de Rijke и M Stempfhuber | ||
| 2007 | Будапешт | Достижения в области многоязычного и мультимодального поиска информации: восьмой семинар Форума межъязыковой оценки (CLEF 2007). Пересмотренные избранные статьи | Кэрол Энн Петерс и Джиджкун, В. и Мандл, Т., Хеннинг Мюллер и Оард, Д. В. и Пеньяс, А., Петрас, В. и Сантос, Д. | ||
| 2008 | Орхус | Системы оценки для многоязычного и мультимодального доступа к информации: Девятый семинар Форума межъязыковой оценки (CLEF 2008). Отредактированные избранные статьи | Кэрол Энн Петерс и Дезелэрс, Т. и Никола Ферро, и Хулио Гонсало, и Гарет Дж. Ф. Джонс и Куримо, М. и Мандл, Т. и Пеньяс, А. | ||
| 2009 | Корфу | Оценка доступа к многоязычной информации Vol. I Эксперименты по поиску текста - Десятый семинар Форума межъязыковой оценки (CLEF 2009). Пересмотренные избранные статьи | Кэрол Энн Петерс и Ди Нунцио, Г. М., Куримо, М., Мандл, Т., Мостефа, Д. и Пеньяс, А. и Рода, Г. | ||
| 2010 | Падуя | Первая конференция | Оценка доступа к многоязычной и мультимодальной информации. Труды Международной конференции Форума межъязыковой оценки (CLEF 2010 | Маристелла Агости и Никола Ферро и Кэрол Энн Питерс и Maarten de Rijke и Алан Смитон | |
| 2011 | Амстердам | Оценка доступа к многоязычной и мультимодальной информации. Труды Второй Международной конференции форума межъязыковой оценки (CLEF 2011) | Форнер П., Хулио Гонсало и Кекяляйнен Дж. И Лалмас М. и Maarten de Rijke | ||
| 2012 | Рим | Оценка доступа к информации. Многоязычность, мультимодальность и визуальная аналитика. Труды Третьей международной конференции инициативы CLEF (CLEF 2012) | Катарчи, Т., Форнер, П. и Хиемстра, Д., и Пеньяс, А. и Сантуччи, Г. | ||
| 2013 | Валенсия | Оценка доступа к информации соответствует многоязычию, мультимодальности и визуализации. Материалы Четвертой международной конференции инициативы CLEF (CLEF 2013) | Форнер П. и Хеннинг Мюллер и Паредес Р. и Россо П. и Стейн Б. | ||
| 2014 | Шеффилд | Оценка доступа к информации - многоязычность, мультимодальность и взаимодействие. Труды Пятой международной конференции инициативы CLEF (CLEF 2014) | Канулас, Э., Лупу, М., Клаф, П., Сандерсон, М., Холл, М., и Ханбери, А., и Томс, Э. | ||
| 2015 | Тулуза | Экспериментальный IR встречает многоязычность, мультимодальность и взаимодействие. Материалы Шестой Международной конференции Ассоциации CLEF (CLEF 2015) | Мот, Дж. И Савой, Дж., И Яап Кампс, и Пинель-Совагнат, К. и Гарет Дж. Ф. Джонс, Сан-Хуан, Э. и Каппеллато, Л. и Никола Ферро | ||
| 2016 | Evoria | Экспериментальный IR встречает многоязычность, мультимодальность и взаимодействие. Материалы Седьмой Международной конференции Ассоциации CLEF (CLEF 2016) | Фур, Н., Куарежма, П., Гонсалвес, Т., Ларсен, Б., Балог, К., Макдональд, К., Каппеллато, Л. и Никола Ферро | ||
| 2017 | Дублин | Экспериментальный IR встречает многоязычность, мультимодальность и взаимодействие. Материалы Восьмой Международной конференции Ассоциации CLEF (CLEF 2017) | Гарет Дж. Ф. Джонс и Лоулесс, С. и Хулио Гонсало и Келли, Л. и Лоррейн Гойрио, и Томас Мандл и Каппеллато, Л. и Никола Ферро | ||
| 2018 | Авиньон | Экспериментальный IR встречает многоязычность, мультимодальность и взаимодействие. Материалы Девятой Международной конференции Ассоциации CLEF (CLEF 2018) | Патрис Беллот, Шираз Трабелси, Джозиан Моте, Фионн Мурта, Цзян-Юн Не, Лор Сулье, Эрик СанХуан, Линда Каппеллато и Никола Ферро | ||
| 2019 | Лугано | ... | ... |
Рекомендации
- ^ Питерс, Кэрол; Брашлер, Мартин; Чукри, Халид; Гонсало, Хулио; Клак, Майкл. Будущее оценки межъязыковых систем поиска информации. Второй семинар Форума межъязыковой оценки, CLEF 2001. CiteSeerX 10.1.1.109.7647.
- ^ Питерс, Кэрол и Мартин Брашлер. «Европейское исследовательское письмо: оценка межъязыковой системы: кампании CLEF». Журнал Ассоциации информационных наук и технологий 52.12 (2001): 1067-1072.
- ^ История CLEF до 2010 г.
- ^ «Спецвыпуск на CLEF». Поиск информации. 7 (1–2). 2004. Дои:10.1023 / B: INRT.0000009472.59294.f6.
- ^ Фредерик К. Гей, Норико Кандо и Кэрол Петерс «Межъязыковой поиск информации: путь вперед» в Обработка информации и управлениет. 41, нет. 3, с. 415-431, май 2005 г., Дои:10.1016 / j.ipm.2004.06.006
- ^ Карлгрен, Юсси; Гонсало, Хулио; Клаф, Пол (2006). Обзор iclef 2006: поиск в репозитории для обмена фотографиями на сайте flickr www.. Седьмой семинар Форума межъязыковой оценки CLEF 2006..
- ^ Мюллер, Хеннинг (20 мая 2010 г.). «Медицинское поисковое задание». ImageCLEF - межъязыковая оценка поиска изображений. Получено 27 мая 2010.
внешняя ссылка
| Эта статья о компьютерной конференции - заглушка. Вы можете помочь Википедии расширяя это. |