DeepPeep - DeepPeep

DeepPeep был поисковый движок это нацелено на ползать и показатель каждая база данных в общедоступной сети.[1][2] В отличие от традиционных поисковых систем, которые сканируют существующие веб-страницы и их гиперссылки, DeepPeep стремился предоставить доступ к так называемым Глубокая паутина, Контент World Wide Web доступен только через типизированные запросы к базам данных.[3] Проект стартовал в Университет Юты и был под наблюдением Юлиана Фрейре, доцент в группе WebDB Школы вычислительной техники университета.[4][5] По словам Фрейре, цель заключалась в том, чтобы сделать 90% всего WWW-контента доступным.[6][7] В проекте использовалась бета-версия поисковой системы, и он спонсировался Университетом штата Юта и грантом в размере 243 000 долларов США. Национальный фонд науки.[8] Это вызвало интерес во всем мире.[9][10][11][12][13]

Как это устроено

Похожий на Google, Yahoo, и другие поисковые системы, DeepPeep позволяет пользователям вводить ключевое слово и возвращает список ссылок и баз данных с информацией о ключевом слове.

Однако DeepPeep отличается от других поисковых систем тем, что DeepPeep использует сканер ACHE, «Иерархическую идентификацию форм», «Контекстно-зависимую кластеризацию форм» и «LabelEx» для поиска, анализа и организации веб-форм, чтобы обеспечить легкий доступ для пользователей.[14]

Гусеничный ACHE

Сканер ACHE используется для сбора ссылок и использует стратегию обучения, которая увеличивает скорость сбора ссылок по мере того, как эти сканеры продолжают поиск. Что отличает ACHE Crawler от других поисковых роботов, так это то, что другие сканеры являются специализированными поисковыми роботами, которые собирают веб-страницы, имеющие определенные свойства или ключевые слова. Вместо этого Ache Crawlers включает в себя классификатор страниц, который позволяет сортировать нерелевантные страницы домена, а также классификатор ссылок, который ранжирует ссылку по ее наибольшей релевантности теме. В результате сканер ACHE сначала загружает веб-ссылки, которые имеют более высокую релевантность, и экономит ресурсы, не загружая нерелевантные данные.[15]

Идентификация иерархической формы

Чтобы еще больше исключить нерелевантные ссылки и результаты поиска, DeepPeep использует структуру иерархической идентификации форм (HIFI), которая классифицирует ссылки и результаты поиска на основе структуры и контента веб-сайта.[14] В отличие от других форм классификации, которые полагаются исключительно на метки веб-формы для организации, HIFI использует для классификации как структуру, так и содержание веб-формы. Используя эти два классификатора, HIFI организует веб-формы в иерархическом порядке, который ранжирует соответствие веб-формы целевому ключевому слову.[16]

Контекстно-зависимая кластеризация

Если интересующий домен отсутствует или указанный домен имеет несколько типов определения, DeepPeep должен разделить веб-форму и сгруппировать их в похожие домены. Поисковая машина использует кластеризацию с учетом контекста для группировки похожих ссылок в одном домене путем моделирования веб-формы в наборы гиперссылок и использования ее контекста для сравнения. В отличие от других методов, которые требуют сложного извлечения меток и ручной предварительной обработки веб-форм, контекстно-зависимая кластеризация выполняется автоматически и использует метаданные для обработки веб-форм, которые содержат много контента и содержат несколько атрибутов.[14]

LabelEx

DeepPeep дополнительно извлекает информацию, называемую Метаданные с этих страниц, что позволяет лучше ранжировать ссылки и базы данных с помощью LabelEx, подхода для автоматической декомпозиции и извлечения метаданных. Мета-данные - это данные из веб-ссылок, которые предоставляют информацию о других доменах. LabelEx идентифицирует сопоставление элемент-метка и использует сопоставление для точного извлечения метаданных, в отличие от традиционных подходов, в которых используются определенные вручную правила извлечения.[14]

Рейтинг

Когда результаты поиска появляются после того, как пользователь ввел свое ключевое слово, DeepPeep ранжирует ссылки на основе 3 функций: содержание термина, количество обратные ссылки. и pagerank. Во-первых, термин «контент» просто определяется содержанием веб-ссылки и ее релевантностью. Обратные ссылки - это гиперссылки или ссылки, которые направляют пользователя на другой веб-сайт. Pageranks - это рейтинг веб-сайтов в результатах поисковых систем, который основан на подсчете количества и качества ссылок на веб-сайт для определения его важности. Информация о рейтинге страниц и обратных ссылках получена из внешних источников, таких как Google, Yahoo, и Bing.[14]

Бета-запуск

DeepPeep Beta была запущена и охватывала только семь областей: авто, авиабилеты, биология, книги, гостиница, работа и аренда. В этих семи доменах DeepPeep предлагал доступ к 13 000 веб-форм.[17] Можно было получить доступ к веб-сайту deeppeep.org, но он был неактивен после закрытия бета-версии.

Рекомендации

  1. ^ Райт, Алекс (22 февраля 2009 г.). «Изучение« глубокой паутины », которую Google не может понять». Нью-Йорк Таймс. Получено 2009-02-23.
  2. ^ Франке, Сюзанна (24 февраля 2009 г.). "DeepPeep: Forscher wollen verborgene Datenbanken im Web zugänglich machen" [DeepPeep: Исследователи хотят сделать скрытые базы данных доступными в сети]. Комп. Ztg. Получено 2009-02-25 - через lanline.de.
  3. ^ Уорвик, Мартин (25 февраля 2009 г.). «DeepPeep пропускает свет в скрытую сеть». ТелекомТВ. Получено 2009-02-25.[постоянная мертвая ссылка ]
  4. ^ Савант, Нимиш (09.03.2010). "Сканирование глубокой сети". LiveMint. Мята. Получено 2010-12-13.
  5. ^ "Главная страница". WebDB. Школа вычислительной техники Университета Юты. 2008-10-04. Архивировано из оригинал на 2009-02-27. Получено 2009-02-23.
  6. ^ Пихлер, Томас (23 февраля 2009 г.). "Suchansätze dringen in die Tiefen des Internets: Erforschen von Datenbanken als wichtiger Schritt" [Поисковые фразы проникают в глубины Интернета: изучение баз данных как важный шаг] (на немецком языке). Пресс-текст. Получено 2009-02-23.
  7. ^ "Suchansätze dringen in die Tiefen des Internets" [Поисковые фразы проникают в глубины Интернета]. nachrichten.ch (на немецком). 2009-02-24. Архивировано из оригинал на 2011-07-07. Получено 2010-12-13.
  8. ^ "Резюме премии № 0713637: III-COR: Обнаружение и организация источников скрытой сети". Поиск награды NSF. Национальный фонд науки. Получено 2009-02-23.
  9. ^ "Esplorando il DeepWeb, i fondali della Rete dove Google non arriva" [Изучение DeepWeb, глубины Сети, куда не приходит Google]. Liberta di Stampa Diritto all'Informazione (Это итальянский перевод статьи Алекса Райта в New York Times «Изучение« глубокой паутины », которую Google не может понять») (на итальянском языке). Италия. 2009-04-05. Получено 2009-03-05.
  10. ^ Шандор, Берта (24 февраля 2009 г.). "Az internet mélyét kutatja a DeepPeep" [Интернет исследует глубины DeepPeep]. sg.hu (на венгерском). SG (Венгрия). Получено 2009-03-05.
  11. ^ "Niet alles is te vinden met Google" [Не все можно найти с помощью Google] (на голландском). Голландские ковбои. 2009-03-04. Получено 2009-03-05.
  12. ^ "谷 歌 尚未 把持 的 '深层 网络'" [Изучите «глубокую сеть», которую Google еще не доминирует] (Это китайский перевод статьи Алекса Райта «Изучение« глубокой сети », которую Google не может понять») (на китайском языке). 2006-03-03. Архивировано из оригинал на 2011-07-07. Получено 2009-03-05.
  13. ^ "Просмотр в глубокой сети: Космикс, открывающий новую страницу в Интернете" [Вызов глубокой сети: Kosmix пытается раскрыть скрытые страницы Интернета]. Messagg. 2009-02-23. Архивировано из оригинал на 2012-08-04. Получено 2010-12-13.
  14. ^ а б c d е Барбоза, Лучано; Нгуен, Хоа; Нгуен, Тхань; Пиннаманени, Рамеш; Фрейре, Юлиана (01.01.2010). «Создание и изучение репозиториев веб-форм». Материалы Международной конференции ACM SIGMOD 2010 по управлению данными. SIGMOD '10. Нью-Йорк, Нью-Йорк, США: ACM: 1175–1178. Дои:10.1145/1807167.1807311. ISBN  9781450300322.
  15. ^ «ВиДА-Нью-Йорк / Боль». GitHub. Получено 2016-11-06.
  16. ^ Дуйгулу, Пинар (1999-12-22). «Иерархическое представление форм документов для идентификации и поиска». Труды SPIE. 3967 (1). Дои:10.1117/12.373486. ISSN  0277-786X.
  17. ^ Беккет, Энди (25 ноября 2009 г.). «Темная сторона Интернета». Хранитель. ISSN  0261-3077. Получено 2016-11-06.

внешняя ссылка

  • Сайт DeepPeep.org, найден мертвым в ноябре 2016 года. Сайт связан с Register.com. Последний «Архивная копия». Архивировано 09 мая 2012 года.. Получено 2009-02-23.CS1 maint: заархивированная копия как заголовок (ссылка на сайт) CS1 maint: BOT: статус исходного URL-адреса неизвестен (ссылка на сайт).