Система поиска информации SMART - SMART Information Retrieval System

В SMART (Система механического анализа и поиска текста) Система поиска информации является поиск информации система разработана в Корнелл Университет в 1960-е гг. Многие важные концепции информационного поиска были разработаны в рамках исследования УМНАЯ^{[мертвая ссылка ]} система, включая векторная космическая модель, обратная связь по релевантности, и Классификация роккио.

Джерард Солтон возглавил группу, которая разработала SMART. Другие участники включены Майк Леск.

Система SMART также предоставляет набор корпусов, запросов и рейтингов ссылок, взятых из различных предметов, в частности

• ADI^{[мертвая ссылка ]}: публикации из обзоров информатики
• CACM^{[мертвая ссылка ]}: Информатика
• Коллекция Крэнфилда^{[мертвая ссылка ]}: публикации из авиационных обзоров
• CISI^{[мертвая ссылка ]}: библиотечное дело
• Коллекция медларов^{[мертвая ссылка ]}: публикации из медицинских обзоров
• Коллекция журнала Time^{[мертвая ссылка ]}: архивы универсального обзора Время в 1963 г.

К наследию системы SMART принадлежит так называемая тройная нотация SMART, мнемоническая схема для обозначения tf-idf варианты взвешивания в модели векторного пространства. Мнемоника для представления комбинации весов принимает вид ddd.qqq, где первые три буквы представляют собой весовой коэффициент для вектора документа собрания, а вторые три буквы представляют собой весовой термин для вектора документа запроса. Например, ltc.lnn представляет ltc взвешивание, примененное к документу инкассо, и lnn взвешивание, примененное к документу запроса.

Следующие таблицы устанавливают нотацию SMART:^[1]

Символы и обозначения

${ textstyle D_ {i} = {w_ {i_ {1}}, w_ {i_ {2}}, ldots, w_ {i_ {t}} }}$ представляет вектор документа, где ${ textstyle w_ {i_ {k}}}$ это вес термина ${ textstyle T_ {k}}$ в ${ textstyle D_ {i}}$ и ${ displaystyle t}$ это количество уникальных терминов в ${ textstyle D_ {i}}$. Положительные характеристики характеризуют термины, которые присутствуют в документе, а нулевой вес используется для терминов, которые отсутствуют в документе.
${ textstyle f_ {i_ {k}}}$	Частота встречаемости термина ${ textstyle T_ {k}}$ в документе ${ textstyle D_ {i}}$	${ textstyle u_ {i}}$	Количество уникальных терминов в документе ${ textstyle D_ {i}}$
${ displaystyle N}$	Количество инкассовых документов	${ displaystyle operatorname {avg} (u)}$	Среднее количество уникальных терминов в документе
${ textstyle n_ {k}}$	Количество документов со сроком ${ textstyle T_ {k}}$ настоящее время	${ displaystyle b_ {t}}$	Количество символов в документе ${ displaystyle D_ {i}}$
${ Displaystyle макс (е_ {я_ {к}})}$	Частота встречаемости наиболее употребительного термина в документе ${ displaystyle D_ {i}}$	${ textstyle operatorname {avg} (b)}$	Среднее количество символов в документе
${ displaystyle operatorname {avg} (f_ {i_ {k}})}$	Средняя частота встречаемости термина в документе ${ displaystyle D_ {i}}$	${ textstyle G}$	Статистика глобального сбора
${ displaystyle s}$	Наклон в контексте нормализации длины повернутого документа[2]

Умная тройная запись с взвешиванием термов

Частота сроков ${ textstyle { text {tf}} (е_ {я_ {k}})}$				Частота документов ${ textstyle { текст {df}} (N, n_ {k})}$				Нормализация длины документа ${ textstyle g (G, D_ {i})}$
	б	${ textstyle 1}$	Двоичный вес	Икс	п	${ textstyle 1}$	Не учитывает частоту сбора	Икс	п	${ textstyle 1}$	Нет нормализации длины документа
т	п	${ textstyle f_ {i_ {k}}}$	Частота необработанного термина	ж		${ displaystyle log _ {2} left ({ frac {N} {n_ {k}}} right)}$	Обратная частота сбора		c	${ displaystyle { sqrt { sum _ {k = 1} ^ {t} w_ {i_ {k}} ^ {2}}}}$	Косинусная нормализация
	а	${ textstyle 0,5 + 0,5 { frac {f_ {i_ {k}}} { max (f_ {i_ {k}})}}}$	Увеличенная нормализованная частота запросов		т	${ displaystyle log _ {2} left ({ frac {N + 1} {n_ {k}}} right)}$	Обратная частота сбора		ты	${ displaystyle 1-s + s { frac {u_ {i}} { operatorname {avg} (u)}}}$	Поворотная уникальная нормализация[2]
	л	${ displaystyle 1+ log _ {2} f_ {i_ {k}}}$	Логарифм	п		${ displaystyle log _ {2} left ({ frac {N-n_ {k}} {n_ {k}}} right)}$	Вероятностная обратная частота сбора		б	${ displaystyle 1-s + s { frac {b_ {i}} { operatorname {avg} (b)}}}$	Нормализация развернутой характерной длины[2]
	L	${ displaystyle { frac {1+ log _ {2} (f_ {i_ {k}})} {1+ log _ {2} ( operatorname {avg} (f_ {i_ {k}})) }}}$	Нормализация на основе среднесрочной частоты[2]
	d	${ displaystyle 1+ log _ {2} (1+ log _ {2} (f_ {i_ {k}}))}$	Двойной логарифм

Серые буквы в первом, пятом и девятом столбцах - это схема, использованная Солтоном и Бакли в их статье 1988 года.^[3] Жирными буквами во втором, шестом и десятом столбцах обозначена схема, использованная в экспериментах, о которых сообщалось после этого.

Рекомендации

внешняя ссылка

• Программное обеспечение и тестовые коллекции^{[мертвая ссылка ]} (FTP в Корнелл Университет )
• Интерактивное руководство по SMART^{[мертвая ссылка ]}

Этот программная инженерия -связанная статья является заглушка. Вы можете помочь Википедии расширяя это.