Конференция по поиску текста - Text Retrieval Conference

Чтобы узнать о других вариантах использования «TREC», см. TREC (значения).

В Конференция по восстановлению текста (TREC) является продолжающейся серией мастерские сосредоточившись на списке различных поиск информации (IR) области исследований, или треки. Он спонсируется Национальный институт стандартов и технологий (NIST) и Деятельность в области перспективных исследовательских проектов разведки (часть офиса Директор национальной разведки ) и началось в 1992 году как часть TIPSTER Текстовая программа. Его цель - поддерживать и поощрять исследования в сообществе поиска информации, предоставляя инфраструктуру, необходимую для крупномасштабных оценка из поиск текста методологии и увеличить скорость от лаборатории до продукта передача технологии.

У каждого трека есть задача, в которой NIST предоставляет участвующим группам наборы данных и тестовые задачи. В зависимости от трека, тестовые задачи могут быть вопросами, темами или целевыми извлекаемыми Особенности. Выполняется единообразная оценка, чтобы можно было справедливо оценить системы. После оценки результатов, семинар предоставляет участникам возможность собраться вместе с мыслями и идеями и представить текущие и будущие исследования. Конференция по поиску текста началась в 1992 году, финансируется DARPA (Проект перспективных исследований в области обороны США) и проводится NIST. Его цель заключалась в поддержке исследований в сообществе поиска информации путем предоставления инфраструктуры, необходимой для крупномасштабной оценки методологий поиска текста.

Цели

  • Поощрение поискового поиска на основе больших текстовых коллекций
  • Расширение взаимодействия между промышленностью, академическими кругами и правительством путем создания открытого форума для обмена исследовательскими идеями.
  • Ускорьте перенос технологий из исследовательских лабораторий в коммерческие продукты, продемонстрировав существенные улучшения методологий поиска по реальным проблемам.
  • Увеличить доступность соответствующих методов оценки для использования в промышленности и академических кругах, включая разработку новых методов оценки, более применимых к существующим системам.

TREC курирует программный комитет, состоящий из представителей правительства, промышленности и академических кругов. Для каждого TREC NIST предоставляет набор документов и вопросов. Участники запускают свою собственную систему поиска данных и возвращают в NIST список извлеченных документов с наивысшим рейтингом. NIST объединяет отдельные результаты, оценивая правильность извлеченных документов и оценивает результаты. Цикл TREC завершается семинаром, на котором участники могут поделиться своим опытом.

Решения о релевантности в TREC

TREC использует бинарный критерий релевантности: документ актуален или не актуален. Поскольку размер коллекции TREC велик, невозможно рассчитать абсолютный отзыв для каждого запроса. Чтобы оценить релевантность документов по отношению к запросу, TREC использует специальный пул вызовов методов для вычисления относительного отзыва. Все релевантные документы, которые попали в 100 лучших документов для каждой системы и для каждого запроса, объединяются вместе для создания пула соответствующих документов. Вспомните долю пула релевантных документов, которые одна система извлекла по теме запроса.

Различные TREC

В 1992 году в НИСТ прошел TREC-1. Первая конференция собрала 28 групп исследователей из академических кругов и промышленности. Он продемонстрировал широкий спектр различных подходов к извлечению текста из больших коллекций документов. Наконец, TREC1 показал факты, что автоматическое построение запросов из запросов на естественном языке, похоже, работает. Методы, основанные на обработке естественного языка, были не лучше, чем методы, основанные на векторном или вероятностном подходе.

TREC2 Прошел в августе 1993 года. В нем участвовала 31 группа исследователей. Были исследованы два типа поиска. Получение с использованием специального запроса и получение с помощью запроса маршрутизации.

В TREC-3 небольшая группа экспериментов работала с коллекцией на испанском языке, а другие имели дело с интерактивной формулировкой запросов в нескольких базах данных.

TREC-4 они сделали еще короче, чтобы исследовать проблемы с очень короткими заявлениями пользователей.

TREC-5 включает как краткую, так и полную версии тем с целью проведения более глубокого исследования того, какие типы методов хорошо работают с темами различной длины.

В TREC-6 введены три новых трека: речь, кросс-язык, поиск информации высокой точности. Цель поиска информации на разных языках - облегчить исследование системы, которая способна извлекать соответствующий документ независимо от языка исходного документа.

TREC-7 содержал семь дорожек, из которых две были новой дорожкой запросов и дорожкой очень большого корпуса. Целью трека запросов было создание большой коллекции запросов.

TREC-8 содержит семь треков, из которых два - ответы на вопросы и веб-треки были новыми. Цель QA-запроса - изучить возможности предоставления ответов на конкретные запросы на естественном языке.

TREC-9 Включает семь треков

В TREC-10 «Видеодорожки» представлен дизайн видеодорожек для содействия исследованиям в поиске контента из цифрового видео.

В TREC-11 введены треки новизны. Целью отслеживания новизны является исследование возможностей систем по обнаружению актуальной и новой информации в ранжированном наборе документов, возвращаемых традиционной системой поиска документов.

TREC-12, проведенный в 2003 году, добавил три новых трека: геномный трек, надежный поисковый трек, HARD (высокоточное извлечение из документов). [1]

Треки

Текущие треки

Новые треки добавляются по мере выявления новых потребностей в исследованиях, этот список актуален на TREC 2018.[2]

  • ЦЕНТР Трек - Цель: параллельно запустить CLEF 2018, NTCIR-14, TREC 2018 для разработки и настройки протокола оценки воспроизводимости IR (новый трек на 2018 год).
  • Общий основной трек - Цель: специальная задача поиска по новостным документам.
  • Получение комплексного ответа (CAR) - Цель: разрабатывать системы, способные отвечать на сложные информационные потребности путем сопоставления информации из всего корпуса.
  • Трек потоков инцидентов - Цель: исследовать технологии автоматической обработки потоков в социальных сетях во время чрезвычайных ситуаций (новый трек для TREC 2018).
  • Новостной трек - Цель: партнерство с Вашингтон Пост создавать тестовые коллекции в новостной среде (новинка 2018 года).
  • Трек прецизионной медицины - Цель: специализация трека поддержки принятия клинических решений, чтобы сосредоточить внимание на привязке данных онкологических пациентов к клиническим испытаниям.
  • Трек суммирования в реальном времени (RTS) - Цель: изучить методы получения сводок обновлений в реальном времени из потоков социальных сетей.

Прошлые треки

  • Химический трек - Цель: разработать и оценить технологии для крупномасштабного поиска в химия связанных документов, включая научные статьи и патенты, для лучшего удовлетворения потребностей профессиональных поисковиков, и в частности патентные искатели и химики.
  • Дорожка поддержки принятия клинических решений - Цель: исследовать методы связи медицинских случаев с информацией, относящейся к уходу за пациентами
  • Дорожка контекстных предложений - Цель: для исследования методов поиска сложных информационных потребностей, которые сильно зависят от контекста и интересов пользователей.
  • Краудсорсинг Отслеживать - Цель: чтобы обеспечить совместную площадку для изучения краудсорсинг методы как для оценки поиска, так и для выполнения поисковых задач.
  • Genomics Track - Цель: изучать поиск геномный данные, а не только последовательности генов, но и подтверждающая документация, такая как исследовательские работы, лабораторные отчеты и т. д. Последний раз проводился на TREC 2007.
  • Динамическое отслеживание домена - Цель: для исследования специализированных поисковых алгоритмов, которые адаптируются к динамическим информационным потребностям профессиональных пользователей, исследующих сложные области.
  • Enterprise Track - Цель: изучить поиск по данным организации для выполнения некоторой задачи. Последний раз запускался на TREC 2008.
  • Юридическое лицо Отслеживать - Цель: для выполнения поиска по данным в Интернете. Эти поисковые задачи (такие как поиск сущностей и свойств сущностей) удовлетворяют общие информационные потребности, которые не так хорошо моделируются, как специальный поиск документов.
  • Кросс-языковой Отслеживать - Цель: исследовать способность поисковых систем тематически находить документы независимо от исходного языка. После 1999 года этот трек превратился в КЛЮЧ.
  • FedWeb Отслеживать - Цель: чтобы выбрать лучшие ресурсы для пересылки запроса и объединить результаты, чтобы самые релевантные оказались вверху.
  • Дорожка федеративного веб-поиска - Цель: исследовать методы отбора и комбинирования результатов поиска из большого количества реальных онлайновых поисковых служб.
  • Фильтрация трека - Цель: принимать двоичное решение об извлечении новых входящих документов при стабильной информационная потребность.
  • ЖЕСТКИЙ трек - Цель: для достижения высокой точности поиска из документов за счет использования дополнительной информации об искателе и / или контексте поиска.
  • Интерактивный трек - Цель: изучать пользователя взаимодействие с системами поиска текста.
  • Курс ускорения базы знаний - Цель: разработать методы для значительного повышения эффективности кураторов (человеческих) баз знаний за счет того, что система будет предлагать модификации / расширения для базы знаний на основе мониторинга потоков данных.
  • Правовой трек - Цель: разработать поисковую технологию, которая отвечает потребностям юристов в эффективном открытие в цифровой документ коллекции.
  • LiveQA Track - Цель: генерировать ответы на реальные вопросы, исходящие от реальных пользователей, в режиме реального времени в режиме реального времени.
  • Трек медицинских записей - Цель: изучить методы поиска неструктурированной информации в медицинских картах пациентов.
  • Микроблог Отслеживать - Цель: изучить природу информационных потребностей в реальном времени и их удовлетворение в контексте сред микроблогов, таких как Twitter.
  • Обработка естественного языка Отслеживать - Цель: изучить, как конкретные инструменты, разработанные компьютерными лингвистами, могут улучшить поиск.
  • Новинка трек - Цель: для исследования способности систем находить новую (т.е. неизбыточную) информацию.
  • OpenSearch Track - Цель: изучить парадигму оценки IR, которая включает реальных пользователей действующих поисковых систем. Для первого года прохождения трека задачей был специальный академический поиск.
  • Ответ на вопрос Отслеживать - Цель: добиться большего поиск информации чем просто поиск документов отвечая на фактоидные, списковые и определяющие вопросы.
  • Дорожка суммирования в реальном времени - Цель: изучить методы построения сводок обновлений в реальном времени из потоков социальных сетей в ответ на информационные потребности пользователей.
  • Надежный поисковый трек - Цель: сосредоточиться на эффективности отдельных тем.
  • Отзыв о релевантности Отслеживать - Цель: для дальнейшей глубокой оценки релевантных процессов обратной связи.
  • Трек сеанса - Цель: для разработки методов измерения сеансов с несколькими запросами, когда информация должна дрейфовать или становиться более или менее конкретной в течение сеанса.
  • Спам Отслеживать - Цель: предоставить стандартную оценку текущих и предлагаемых фильтрация спама подходы.
  • Трек задач - Цель: чтобы проверить, могут ли системы вызывать возможные задачи, которые пользователи могут пытаться выполнить с учетом запроса.
  • Дорожка темпорального обобщения - Цель: для разработки систем, которые позволяют пользователям эффективно отслеживать информацию, связанную с событием, с течением времени.
  • Терабайт Отслеживать - Цель: выяснить, действительно ли ИК сообщество может масштабировать традиционную оценку на основе набора IR-тестов до значительно больших коллекций.
  • Трек общего отзыва - Цель:: для оценки методов достижения очень высокой степени запоминания, включая методы, которые включают в себя человека-оценщика.
  • видео Отслеживать - Цель: проводить исследования в области автоматической сегментации, индексация, и поиск на основе содержимого цифровое видео. В 2003 году трек стал самостоятельной оценкой под названием TRECVID
  • Веб-трек - Цель: для изучения поведения при поиске информации, типичного для обычного веб-поиска.

Связанные события

В 1997 г. был запущен японский аналог TREC (первый семинар в 1999 г.) под названием NTCIR (НИИ Сборник тестов для ИК-систем), а в 2000 г. КЛЮЧ был запущен европейский аналог, специально ориентированный на изучение межъязыкового поиска информации. Форум по оценке поиска информации (ОГОНЬ) началась в 2008 году с целью создания южноазиатского аналога для TREC, CLEF и NTCIR,

Вклад конференции в эффективность поиска

NIST утверждает, что за первые шесть лет семинаров эффективность поисковых систем увеличилась примерно вдвое.[3] Конференция также была первой, где были проведены крупномасштабные оценки неанглоязычных документов, речи, видео и поиска на разных языках. Кроме того, проблемы вдохновили большое количество публикации. Технология, впервые разработанная в TREC, теперь включена во многие мировые коммерческие поисковые системы. В независимом отчете RTII говорится, что «около одной трети улучшений в поисковых системах в период с 1999 по 2009 гг. Приходится на TREC. Эти улучшения, вероятно, позволили сэкономить до 3 миллиардов часов времени при использовании поисковых систем. ... Кроме того, Отчет показал, что на каждый доллар, который NIST и его партнеры инвестировали в TREC, американским исследователям в области поиска информации из частного сектора и академических кругов было начислено от 3,35 до 5,07 долларов в виде пособий ».[4][5]

В то время как одно исследование показывает, что состояние специального поиска существенно не улучшилось за десятилетие, предшествующее 2009 году,[6] речь идет только о поиске тематически релевантных документов в небольших новостях и веб-коллекциях объемом несколько гигабайт. Были достигнуты успехи и в других видах специального поиска. Например, для веб-поиска по известным элементам были созданы тестовые коллекции, в которых были обнаружены улучшения за счет использования якорного текста, веса заголовка и длины URL, которые не были полезными методами в старых специальных тестовых коллекциях. В 2009 году была представлена ​​новая веб-коллекция на миллиард страниц, и фильтрация спама оказалась полезным методом для специального веб-поиска, в отличие от прошлых тестовых сборников.

Коллекции тестов, разработанные в TREC, полезны не только для (потенциально) помощи исследователям в продвижении современных технологий, но и для того, чтобы позволить разработчикам новых (коммерческих) продуктов для поиска оценивать их эффективность в стандартных тестах. За последнее десятилетие TREC создал новые тесты для корпоративного поиска по электронной почте, геномного поиска, фильтрации спама, электронного обнаружения и нескольких других областей поиска.[когда? ][нужна цитата ]

Системы TREC часто служат основой для дальнейших исследований. Примеры включают:

  • Хэл Вариан, Главный экономист Google, говорит Чем лучше данные, тем лучше наука. История поиска информации хорошо иллюстрирует этот принцип »и описывает вклад TREC.[7]
  • Правовой трек TREC оказал влияние на сообщество e-Discovery как в исследованиях, так и в оценке коммерческих поставщиков.[8]
  • В IBM тимбилдинг исследователей IBM Watson (он же DeepQA ), превзошедшие лучшие в мире Опасность! игроки,[9] использовали данные и системы из TREC QA Track в качестве базовых показателей эффективности.[10]

Участие

Конференция состоит из разнообразной международной группы исследователей и разработчиков.[11][12][13] В 2003 году в нем приняли участие 93 группы как из академических кругов, так и из промышленности из 22 стран.

Смотрите также

Рекомендации

  1. ^ Чоудхури, Г. Г. (2003). Введение в современный поиск информации. Лэндон: Издательство Facet. С. 269–279. ISBN  978-1856044806.
  2. ^ https://trec.nist.gov/tracks.html
  3. ^ С домашней страницы TREC: «... эффективность примерно удвоилась за первые шесть лет TREC»
  4. ^ «Инвестиции NIST значительно улучшили поисковые системы». Rti.org. Архивировано из оригинал на 2011-11-18. Получено 2012-01-19.
  5. ^ https://www.nist.gov/director/planning/upload/report10-1.pdf
  6. ^ Тимоти Г. Армстронг, Алистер Моффат, Уильям Уэббер, Джастин Зобель. Усовершенствования, которые не складываются: результаты специального поиска с 1998 года. CIKM 2009. ACM.
  7. ^ Почему данные имеют значение
  8. ^ The 451 Group: стандарты в e-Discovery - прогулка пешком
  9. ^ IBM и Jeopardy! Оживите историю с Encore Presentation of Jeopardy!: IBM Challenge
  10. ^ Дэвид Ферруччи, Эрик Браун, Дженнифер Чу-Кэрролл, Джеймс Фэн, Дэвид Гондек, Адитья А. Калянпур, Адам Лалли, Дж. Уильям Мердок, Эрик Ниберг, Джон Прагер, Нико Шлафер и Крис Велт. Building Watson: обзор проекта DeepQA
  11. ^ «Участники - IRF Wiki». Wiki.ir-facility.org. 2009-12-01. Архивировано из оригинал на 2012-02-23. Получено 2012-01-19.
  12. ^ http://trec.nist.gov/pubs/trec17/papers/LEGAL.OVERVIEW08.pdf
  13. ^ "Конференция по восстановлению текста (TREC) Результаты отслеживания миллионов запросов TREC 2008". Trec.nist.gov. Получено 2012-01-19.

внешняя ссылка