Bingbot - Bingbot

Bingbot робот для сканирования веб-страниц (тип интернет-бот ), развернутый Microsoft Октябрь 2010 к поставке Bing.[1] Он собирает документы из Интернета для создания индекса с возможностью поиска для Bing (поисковая система). Он выполняет ту же функцию, что и Google с Googlebot.

Типичный пользовательский агент строка для Bingbot «Mozilla / 5.0 (совместимый; bingbot / 2.0; + http: //www.bing.com/bingbot.htm)». Это появляется в веб сервер журналы, чтобы рассказать веб-мастер кто запрашивает файл. Каждый веб-мастер может использовать включенный идентификатор агента, «bingbot», чтобы запретить или разрешить доступ к своему сайту (по умолчанию доступ разрешен). Если они не хотят предоставлять доступ, они могут использовать Стандарт исключения для роботов, чтобы заблокировать его (полагаясь на предполагаемое хорошее поведение bingbot), или использовать другие средства, специфичные для сервера (полагаясь на веб-сервер для выполнения блокировки).

Рекомендации

  1. ^ "Активность сканирования BingBot растет?". Получено 2016-07-16.

внешняя ссылка