Прямо из Google:
Мета-теги - отличный способ для веб-мастеров предоставить поисковым системам информацию о своих сайтах. Мета-теги могут использоваться для предоставления информации всем видам клиентов, и каждая система обрабатывает только те метатеги, которые они понимают, и игнорирует остальные.
Если вы хотите полностью заблокировать все поисковые системы:
Почему?
Возможно, это несколько закрытый URL-адрес на вашем сайте, но не защищенный таким образом, чтобы поисковый бот не мог его увидеть. Например, если для просмотра страницы требуется авторизация, поисковый бот в любом случае заблокирует ее. Но если это просто запутанный URL, кто знает, как обходятся поисковые боты, поэтому вы можете предотвратить индексацию.
Результаты поиска - еще одна распространенная проблема. Возможно, странно, что результат поиска является результатом поиска. Темы WordPress, как правило, включают следующее:
Я мог бы немного изменить это и сказать ботам: «Эй, вы можете перейти по ссылкам здесь, чтобы продолжить индексацию сайта, но не индексируйте эту страницу специально».
Другие
Поисковые системы обычно используют тег описания для текстового контента рядом с :
См. Страницу Google, чтобы узнать о других специфичных для Google функциях, таких как возможность останавливать специфичные для Google элементы пользовательского интерфейса, такие как их «окно поиска по ссылкам на сайты».