Стоп-слово - Stop word

В вычисление, стоп слова слова, которые отфильтрованы до или после обработка естественного языка данные (текст).[1] Хотя «стоп-слова» обычно относятся к наиболее распространенным словам в языке, не существует единого универсального списка стоп-слов, используемых всеми. обработка естественного языка инструменты, да и не все инструменты даже используют такой список. Некоторые инструменты специально избегают удаления этих стоп-слов для поддержки поиск по фразе.

Любая группа слов может быть выбрана в качестве стоп-слов для данной цели. Для некоторых поисковые системы, это одни из самых распространенных, коротких служебные слова, такие как то, является, в, который, и на. В этом случае стоп-слова могут вызвать проблемы при поиске фраз, содержащих их, особенно в таких именах, как "ВОЗ ", "The ", или "Возьми это ". Другие поисковые системы удаляют некоторые из наиболее распространенных слов, в том числе лексические слова, например, "хочу" - из запроса для повышения производительности.[2]

Ханс Петер Лун, один из пионеров в поиск информации, приписывают создание фразы и использование концепции.[3] Фраза «стоп-слово», которой нет в презентации Луна 1959 года, и связанные с ней термины «стоп-лист» и «стоп-лист» появляются в литературе вскоре после этого.[4]

При создании некоторых согласования. Например, первое согласование на иврите, Me’ir nativ, содержало одностраничный список неиндексированных слов с несущественными предлогами и союзами, которые похожи на современные стоп-слова.[5]

В SEO терминологии, стоп-слова - это наиболее распространенные слова, которые избегают большинство поисковых систем в целях экономии места и времени при обработке больших данных во время ползать или индексация. Это помогает поисковым системам экономить место в своих базах данных.[6]

Смотрите также

использованная литература

  1. ^ Раджараман, А .; Ульман, Дж. Д. (2011). "Сбор данных" (PDF). Майнинг массивных наборов данных. С. 1–17. Дои:10.1017 / CBO9781139058452.002. ISBN  9781139058452.
  2. ^ Переполнение стека: "Одна из наших основных оптимизаций производительности для запроса" связанных вопросов "- это удаление первых 10 000 самых распространенных слов из словаря английского языка (по данным поиска Google) перед отправкой запроса в полнотекстовый механизм SQL Server 2008. Шокирует, насколько мало слева от большинства сообщений после удаления первых 10 тыс. слов английского словаря. Это помогает ограничить и сузить возвращаемые результаты, что значительно ускоряет выполнение запроса ".
  3. ^ Лун, Х. П. (1959). «Контекстный указатель ключевых слов для технической литературы (KWIC Index)». Американская документация. Йорктаун-Хайтс, штат Нью-Йорк: International Business Machines Corp. 11 (4): 288–295. Дои:10.1002 / asi.5090110403.
  4. ^ Флуд, Барбара Дж. (1999). «Историческая справка: начало стоп-листа в биологических рефератах». Журнал Американского общества информационных наук. 50 (12): 1066. Дои:10.1002 / (SICI) 1097-4571 (1999) 50:12 <1066 :: AID-ASI5> 3.0.CO; 2-A.
  5. ^ Вайнберг, Белла Хасс (2004). «Предшественники научных индексирующих структур в области религии» (PDF). Вторая конференция по истории и наследию научно-технических информационных систем: 126–134. Получено 17 февраля 2016.
  6. ^ «Стоп-слова и влияние на SEO - поисковые системы». Нация поисковых систем. 2018-04-24. Получено 2018-05-24.

внешние ссылки