Noindex - Noindex

В noindex ценность HTML-роботов метатег запросы, которые автоматизированы Интернет-боты избегать индексация веб-страницу.[1][2] Причины, по которым можно использовать этот метатег, включают в себя совет роботам не индексировать очень большую базу данных, веб-страницы, которые являются очень временными, веб-страницы, которые находятся в стадии разработки, веб-страницы, которые нужно сохранить немного более конфиденциальными, или принтер и мобильные версии страниц. Поскольку ответственность за соблюдение тега noindex веб-сайта лежит на авторе поискового робота, иногда эти теги игнорируются. Кроме того, интерпретация тега noindex иногда немного отличается от одной поисковой компании к другой.

Нет индексации целых страниц

1 <html>2 <голова>3   <мета имя="роботы" содержание="ноиндекс">4   <заглавие>Не индексируйте эту страницу</заглавие>5 </голова>

Возможные значения для содержимого метатега: «none», «all», «index», «noindex», «nofollow» и «follow». Также возможна комбинация значений,[1] Например:

<мета имя="роботы" содержание="noindex, следовать">

Директивы, специфичные для ботов

Директива noindex может быть ограничена только определенными ботами, указав другое значение «name» в метатеге.

Например, чтобы заблокировать бота Google,[3] указывать: 

<мета имя="googlebot" содержание="ноиндекс">

Или, чтобы заблокировать бота Bing, укажите: 

<мета имя="бингбот" содержание="ноиндекс">

Или, чтобы заблокировать бота BaidUu, укажите: 

<мета имя="байдуспайдер" содержание="ноиндекс">

файл robots.txt

А robots.txt файл можно использовать для блокировки сканирования.

Нет индексации части страницы

Также можно исключить из индексации часть веб-страницы, например текст навигации, а не всю страницу. Для этого есть разные техники; можно использовать несколько в комбинации. Главный паук индексирования Google, Googlebot, не известно, распознает какой-либо из этих методов.

тег

Российская поисковая система Яндекс представил новый тег , который предотвращает индексацию содержимого между тегами. Чтобы разрешить проверку исходного кода, можно также использовать :[4]

<п>Проиндексируйте этот текст.<noindex>Не индексируйте этот текст.</noindex><!--noindex-->Не индексируйте этот текст.<!--/noindex--></п>

Другой индексирующие пауки также распознают тег , включая Атомз.[5]

микроформат

Есть проект 2005 г. микроформаты спецификация с той же функциональностью. Профиль исключения роботов ищет атрибут и значение class = "robots-noindex" в тегах HTML:[6]

<п>Проиндексируйте этот текст.</п><div класс="роботы-ноиндекс">Не индексируйте этот текст.</div><размах класс="роботы-ноиндекс">Не индексируйте этот текст.</размах><п класс="роботы-ноиндекс">Не индексируйте этот текст.</п>

Возможна также комбинация значений,[6] Например:

<div класс="роботы-noindex-роботы-следовать">Текст.</div>

Yahoo!

В 2007, Yahoo! ввел аналогичные функции микроформата в свой паук. Однако паук Yahoo! Несовместим в том смысле, что он ищет ценность class = "robots-nocontent" и только это значение:[7]

<п>Проиндексируйте этот текст.</п><div класс="роботы-неконтент">Не индексируйте этот текст.</div><размах класс="роботы-неконтент">Не индексируйте этот текст.</размах><п класс="роботы-неконтент">Не индексируйте этот текст.</п>

SharePoint

SharePoint IFilter 2010 исключает содержимое внутри тега

с атрибутом и значением class = "noindex". Внутренние
изначально не исключались, но это могло измениться. Также неизвестно, можно ли применить этот атрибут к тегам, отличным от
.[8]

<п>Проиндексируйте этот текст.</п><div класс="ноиндекс">Не индексируйте этот текст.</div>

Структурированные комментарии

В Google Search Appliance использует структурированные комментарии:[9]

<п>Проиндексируйте этот текст.<!--googleoff: all-->Не индексируйте этот текст.<!--googleon: all--></п>

Другие пауки индексации используют свои собственные структурированные комментарии.

Смотрите также

использованная литература

  1. ^ а б Роботы и элемент МЕТА, Официальная спецификация W3
  2. ^ О теге роботов
  3. ^ Использование метатегов для блокировки доступа к вашему сайту, Справка Инструментов Google для веб-мастеров
  4. ^ «Использование HTML-тегов». вебмастер → помощь. Яндекс. Раздел: тег . Получено 25 марта, 2013.
  5. ^ "Общие вопросы по поиску". Помогите. Атомз. 2013. Раздел: Как мне исключить части моего сайта из поиска?. Получено 23 марта, 2013. Необходимо предотвратить поиск по частям отдельных страниц? Если вы хотите исключить части страницы из индексации, окружите текст тегами и . Это полезно, например, если вы хотите исключить навигационный текст из поиска.(требуется регистрация)
  6. ^ а б Джейн, Питер (18 июня 2005 г.). «Профиль исключения роботов». Микроформаты. Получено 24 марта, 2013.
  7. ^ Гарг, Приянк (2 мая 2007 г.). «Представляем роботов-неконтент для разделов страниц». Yahoo! Искать в блоге. Yahoo!. Архивировано из оригинал 20 августа 2014 г.. Получено 23 марта, 2013.
  8. ^ «Управление индексированием поиска (сканирование) на странице с помощью Noindex». Разработчик Microsoft. Microsoft. 7 июня 2010 г. В архиве с оригинала 4 ноября 2017 г.. Получено 4 ноября, 2017.
  9. ^ «Администрирование сканирования: подготовка к сканированию». Google Search Appliance. Google Inc. 23 августа 2012 г. Раздел: Исключение нежелательного текста из индекса. Архивировано из оригинал 23 ноября 2012 г.. Получено 23 марта, 2013.