Meta noindex nofollow: Robots Meta Tags Specifications | Google Search Central  |  Documentation  |  Google Developers

Содержание

Метатег robots и HTTP-заголовок X-Robots-Tag

Вы можете указать роботам правила загрузки и индексирования определенных страниц сайта одним из способов:
  • прописать метатег robots в HTML-коде страницы в элементе head;

  • настроить HTTP-заголовок X-Robots-Tag для определенного URL на сервере вашего сайта.

Примечание. Если страница запрещена в файле robots.txt, то директива метатега или заголовка не действует.

По умолчанию метатег и заголовок учитываются поисковыми роботами. Можно указать директивы для определенных роботов.

  1. Поддерживаемые Яндексом директивы
  2. Указание нескольких директив
  3. Указания для определенных роботов

Разрешающие директивы используются роботом по умолчанию, поэтому их можно не указывать, если нет других директив. В сочетании с запрещающими директивами разрешающие имеют приоритет. Пример.

Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.

Пример:

Запись, которая запрещает индексирование страницы.

<html>
    <head>
        <meta name="robots" content="noindex" />
    </head>
    <body>...</body>
</html>

HTTP-ответ, где заголовок запрещает индексирование страницы.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex

Вы можете указать директивы через запятую.

<meta name="yandex" content="noindex, nofollow" />

Вы можете передать несколько заголовков в одном ответе, а также перечислить директивы через запятую.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchive

Если для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами метатега:

<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки 
на сохраненную копию страницы.-->

Указать директиву только для роботов Яндекса можно с помощью метатега robots. Пример:

<meta name="yandex" content="noindex" />

Если вы перечислите общие директивы и директивы для роботов Яндекса, то поисковая система учтет все указания.

<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />

Такие директивы робот Яндекса воспримет как noindex, nofollow.

Noindex и nofollow в метатеге Robots и другие способы запрета индексации

Содержание статьи

Когда нужно запретить индексацию целой категории или ряда страниц, это легче сделать с помощью правильного robots.txt. Но как быть, если требуется закрыть от индексации одну страницу либо вообще часть текста на странице? Поговорим сейчас об элементах, которые призваны решать именно эту проблему.

Что такое мета тег Robots

Сначала уясним, что есть мета тег Robots, а есть файл Robots.txt, и путать их не будем. Метатег имеет отношение только к одной html странице (на которой он указан), в то время, как файл txt может содержать директивы не только к странице, но к целым каталогам.

Важный момент — для поисковика директивы метатега Роботс имеют преимущество перед директивами из robots.txt. То есть если в .txt у вас указано, что страницу можно индексировать, а в её метатеге указано, что нельзя, поисковик будет слушаться именно директиве из метатега.

При помощи мета тега Robots можно запрещать индексировать содержимое всей страницы. На страницах моего блога он выглядит так:

<meta name="robots" content="noodp"/>

Это означает, что метатег роботс не запрещает индексировать страницу. Noodp тут означает, что он запрещает Google брать в сниппеты описание для страниц из каталога DMOZ — это одна из стандартных настроек плагина Yoast SEO, которым я пользуюсь.

А вот как выглядит метатег Robots, который запрещает индексацию страницы:

<meta name =“robots” content=”noindex,nofollow”/>

Как прописать

Дедовский способ — вручную прописать для страницы. Способ подходит для сайтов на чистом HTML.

Для сайтов на CMS рекомендую использовать SEO-плагины. Я, например, для WordPress использую плагин Yoast SEO, и там под каждой записью в режиме редактирования есть такая опция:

То есть проставить нужное значение можно парой щелчков.

Как использовать noindex и nofollow в meta robots

Посмотрим на возможные значения атрибута content:

  • noindex, nofollow – запрещена к индексации вся страница и переходы по ссылкам на ней; кстати, идентичной будет значение при записи: <meta name =”robots” content=”none”/>
  • noindex, follow – страница не индексируется, но поисковик может переходить по ссылкам;
  • index, nofollow – страница индексируется, но переход по ссылкам запрещен;
  • index, follow – разрешены к индексированию как страница, так и ссылки на ней;
  • noarchive – работает как в yandex, так и в google – не показывает страницу на сохраненную копию;
  • noyaca – работает только в Яндексе, если сайт зарегистрирован в каталоге YACA – запрещает использовать описание в результатах поиска, которое берется из Яндекс.Каталога; выглядит так: <meta name =”robots” content=”noyaca”/>
  • noodp – работает и в Яндексе, и в Google – запрещает использовать в результатах описания, которые взяты из Каталога ДМОЗ (разумеется, если сайт там зарегистрирован).

Поговорим чуть больше о noodp

Иногда Гугл может добавлять в сниппет описание из DMOZ. Именно для этого и используется атрибут noodp. Кстати, его можно использовать вместе с тегом nofollow. Выглядит это так:

<meta name=“robots” content=”noodp, nofollow”/>

Чего нужно опасаться при использовании

Из-за невнимательности (особенно у новичков) могут случаться конфликты между тегами: в таком случае главным будет положительное значение (разрешающее индексацию). Например тут:

<meta name =”robots” content=”all”/>
<meta name =”robots” content=”noindex, nofollow”/>

Тут выбрано будет первое значение, так как там оно положительно.

Что такое тег Noindex

Noindex — это тег, в который вы заключаете часть кода, и этот код по идее не должен индексироваться Яндексом. Тег ноиндекс был предложен именно Яндексом, и по сей день учитывается только системами Yandex и Rambler. Вот как он выглядит:

<noindex>скрываемый текст</noindex>

Noindex – парный тег, и его необходимо закрывать.

Noindex не чувствителен к вложенности.

Целесообразность использования тега

Лично я смысла в его использовании не вижу. Потому что Google этот тег игнорирует. Да и зачем скрывать что-то? Надо делать сайты для людей!

Раньше сеошники скрывали в него часть текста, чтобы не было переспама. Но лично я предпочитаю в целях борьбы с переспамом просто снижать количество ключей в наиболее важных зонах документа.

Если же вы все-таки решили пользоваться этим тегом, то гляньте видео от ТопЭксперт:

Как пользоваться тегом Noindex

Нужно просто обернуть им тег:

<noindex>текст, который нам не нужен</noindex>

Валидный Noindex

Чтобы сделать его валидным, нужно закомментировать тег. Выглядит это так:

<!- -noindex- ->вот так все норм<!- -/noindex- ->

Для чего нужны теги, запрещающие индексацию

Как я писал выше, тег Noindex вообще ни для чего не нужен. Он себя давно изжил. А вот метатег роботс — довольно нужная вещь. Вот примеры ситуаций, когда он бывает полезен:

  1. На сайте есть какая-то страница, которую бы вы не хотели видеть в индексе. Например, страница с информацией для рекламодателей. А прописывать в роботсе по каким-то причинам не хотите (например, хотите скрыть её от оптимизаторов, которые лазят по чужим роботсам). Тогда вы просто парой щелчков через плагин ставите ноиндекс для этой страницы;
  2. Поскольку мета тег роботс имеет приоритет перед robots.txt, можно запретить индексирование какой-либо страницы, которая находится в директории, разрешенной для индексации.

Для чего нужен атрибут rel nofollow

Если метатег robots должен закрывать от индексации страницу, а тег noindex — её часть, то атрибут rel nofollow должен запрещать поисковику переходить по ссылке. Он является атрибутом тега А и выглядит так:

<a href =”http://website.ru” rel=”nofollow”>скрытая ссылка</a> 

Зеленые вебмастера, которые впервые узнали о рел нофоллоу, сразу думают: «Отлично! Теперь я всем ссылкам его пропишу и вес не будет утекать никуда».

На самом деле поисковик вполне себе переходит по ссылкам с этим атрибутом и они вполне себе забирают ссылочный вес у ваших страниц.

То есть смысла в этом атрибуте, как и в noindex, нет. Ссылки закрывать эффективно только через Ajax, да и это я думаю не навсегда. Но, если же вы все-таки решили сконцентрировать внимание на этой точке, которая в лучшем случае даст вам микроскопический рост, то вот еще один видос от ТопЭксперт:

HTML МЕТА-тег ROBOTS

МЕТА тег robots служит для того, чтобы разрешать или запрещать роботам, приходящим на сайт, индексировать данную страницу. Кроме того, этот тег предназначен для того, чтобы предлагать роботам пройтись по всем страницам сайта и проиндексировать их. Кроме того, этим тегом могут воспользоваться те, кто не имеет доступа к корневому каталогу сервера и изменить файл robots.txt, но хочет запретить к индексированию свои файлы и директории.

Формат мета-тега Robots

МЕТА тег robots помещается в тег html-документа (внутри тега <HEAD>). Формат достаточно прост (регистр букв значения не играет)
<META NAME=»ROBOTS» CONTENT=»value»>

Данному мета-тегу можно присвоить варианта четыре значений. Атрибут CONTENT может содержать следующие значения:
Index (индексировать), noindex (не индексировать), follow (следовать по ссылкам), nofollow (не следовать по ссылкам)

Например, не индексировать данный документ:

<META NAME="ROBOTS" CONTENT="NOINDEX>

Робот поисковой машины не должен идти по ссылкам с данной страницы.

<META NAME="ROBOTS" CONTENT="NOFOLLOW">

Для одновременного запрета индексирования страницы и обхода ссылок с нее используйте

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
Если значений несколько, то они разделяются запятыми.
Чтобы запретить индексирование страницы на вашем сайте только роботам Google и разрешить ее индексирование другим роботам, используйте следующий тег:
<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW">
Чтобы разрешить роботам индексировать страницу, но запретить индексирование картинок на странице, используйте следующий тег:
<META NAME="ROBOTS" CONTENT="NOIMAGEINDEX">

Google автоматически создает и архивирует «снимок» каждой сканируемой страницы. Версия, сохраненная в кэше, позволяет показывать вашу страницу конечным пользователям, даже если исходная страница недоступна (из-за временной технической проблемы на веб-сервере). Сохраненная в кэше страница представляется пользователям в том виде, в котором ее в последний раз просканировал робот Google, при этом вверху страницы мы показываем сообщение о том, что это версия из кэша. Пользователи могут получить доступ к кэшированной версии, нажав на ссылку «Сохранено в кэше», расположенную на странице результатов поиска.

Чтобы запретить всем поисковым системам выводить эту ссылку на ваш сайт, добавьте в раздел <HEAD> следующий тег:

<META NAME="ROBOTS" CONTENT="NOARCHIVE">
Чтобы запретить выводить ссылку «Сохранено в кэше» только системе Google, а остальным разрешить, используйте следующий тег:
<META NAME="GOOGLEBOT" CONTENT="NOARCHIVE">
Примечание. Этот тег удаляет только ссылку «Сохранено в кэше» на соответствующую страницу. Google продолжит индексировать страницу и выводить ее фрагмент.

Предотвращение сканирования или удаление фрагментов

Фрагмент — это текст, который показывается под названием страницы в списке результатов поиска и описывает содержание страницы.

Чтобы запретить Google выводить фрагменты с вашей страницы, добавьте в раздел <HEAD> следующий тег:

<META NAME="GOOGLEBOT" CONTENT="NOSNIPPET">
Примечание. При удалении фрагментов удаляются также и сохраненные в кэше страницы.

Как сделать так, чтобы поисковые системы не использовали данные DMOZ в результатах поиска для вашего сайта

Одним из источников, которые используются при создании фрагментов описаний, является Open Directory Project. Чтобы никакие поисковые системы (поддерживающие метатеги) не использовали эту информацию для описания страницы, добавьте следующий тег:

<META NAME="ROBOTS" CONTENT="NOODP">

Чтобы только для Google запретить использовать эту информацию в описании страницы, добавьте тег:

<META NAME="GOOGLEBOT" CONTENT="NOODP">

Если метатег «robots» используется для других команд, их можно объединить. Пример:

<META NAME="GOOGLEBOT" CONTENT="NOODP, NOFOLLOW">

Пример использования описания:

<META NAME="Description" CONTENT="Информация для WEB-разработчиков,
	программистов и студентов ВУЗ-ов, изучающх WEB-технологии.">

Поисковые запреты

Как сказать поисковой машине, что определенный участок кода не нужно индесировать или что по определенной ссылке не нужно следовать?

Каждый поисковик тут изобретает свой велосипед: Yandex рекомендует заключать подобный текст в теги <noindex>, Google дописывать у ссылок атрибут rel=»nofollow», Yahoo добавлять класс.

Тег NOINDEX

Запретить индексирование можно не только для файлов, но также и для их частей. Для того, чтобы запретить индексирование определенных частей файлов (текстовых), необходимо пометить их специальными тегами .
При этом, тег NOINDEX не должен нарушать вложенность других тегов. Понимает только ПС Яндекс.

rel=»nofollow»

Чтобы указать поисковой системе не идти по ссылке, в теге A можно задать атрибут rel=»nofollow»:

<a rel="nofollow" href="htmlweb.ru>WEB-технологии</a>
Данный атрибут не влияет на индексацию ссылки. В большинстве поисковиков (кроме Google) переход по ней все-таки осуществляется. Единственная задача данного атрибута — сообщить поисковой системе, что рейтинг со страницы, на которой ссылка размещена, не должен передаваться странице, на которую данная ссылка ведет.

Если вам необходимо уменьшить количество внешних ссылок на странице, заключите их в теги <NOINDEX>здесь ссылки</NOINDEX> или <!—NOINDEX—>здесь ссылки<!—/NOINDEX—>

Использованны материалы с сайтов поисковых систем: Google

class=»robots-nocontent»

Применение «class=robots-nocontent» атрибут:
Ниже приводятся несколько примеров того, как применять этот атрибут для различных целей и различных вариантов синтаксиса:
<div>
    Это навигационного меню сайта и является общим на всех страницах.
    Она содержит много терминов и слов, не связанных с сайтом
</div>
<span>
Это сайт заголовок, который присутствует на всех страницах сайта
    и не связан с какой-либо конкретной страницей
</span>
<p>
    Это Юридическая информация требуется на каждую страницу сайта
</p>

Как часто индексировать документ поисковому роботу?

Вебмастер может «сказать» поисковому роботу или файлу bookmark пользователя, что содержимое того или иного файла будет изменяться. В этом случае робот не будет сохранять URL, а браузер пользователя внесет или не внесет это файл в bookmark. Пока эта информация описывается только в файле /robots.txt, Пользователь не будет знать о том, что эта страница будет изменяться.

Мета-таг DOCUMENT-STATE может быть полезен для этого. По умолчанию, этот мета-таг принимается с CONTENT=STATIC.

<META NAME="DOCUMENT-STATE" CONTENT="STATIC">
<META NAME="DOCUMENT-STATE" CONTENT="DYNAMIC">

Зеркала

Как исключить индексирование поисковой системой генерируемых страниц или дублирование документов, если есть зеркала сервера?

Генерируемые страницы — страницы, порождаемые действием CGI-скриптов. Их наверняка не следует индексировать, поскольку если попробовать провалиться в них из поисковой системы, будет выдана ошибка. Что касается зеркал, то негоже, когда выдаются две разные ссылки на разные сервера, но с одним и тем же содержимым. Чтобы этого избежать, следует использовать мета-таг URL с указанием абсолютного URL этого документа (в случае зеркал — на соответствующую страницу главного сервера).

<META NAME="URL" CONTENT="absolute_url">
Ещё почитать по теме:

Руководство по метатегам Robots и X-robots-tag

Перед вами дополненный (конечно же, выполненный с любовью) перевод статьи Robots Meta Tag & X-Robots-Tag: Everything You Need to Know c блога Ahrefs. Дополненный, потому что в оригинальном материале «Яндекс» упоминается лишь вскользь, а в главе про HTTP-заголовки затрагивается только сервер Apache. Мы дополнили текст информацией по метатегам «Яндекса», а в части про X-Robots-Tag привели примеры для сервера Nginx. Так что этот перевод актуален для наиболее популярных для России поисковых систем и веб-серверов. Круто, правда?

Приятного чтения!

Направить поисковые системы таким образом, чтобы они сканировали и индексировали ваш сайт именно так, как вы того хотите, порой может быть непросто. Хоть robots.txt и управляет доступностью вашего контента для ботов поисковых систем, он не указывает краулерам на то, стоит индексировать страницы или нет.

Для этой цели существуют метатеги robots и HTTP-заголовок X-Robots-Tag.

Давайте проясним одну вещь с самого начала: вы не можете управлять индексацией через robots.txt. Распространенное заблуждение — считать иначе.

Правило noindex в robots.txt официально никогда не поддерживалось Google. 2 июля 2019 года Google опубликовал новость, в которой описал нерелевантные и неподдерживаемые директивы файла robots.txt. С 1 сентября 2019 года такие правила, как noindex в robots.txt, официально не поддерживаются.

Из этого руководства вы узнаете:

  • что такое метатег robots;
  • почему robots важен для поисковой оптимизации;
  • каковы значения и атрибуты метатега robots;
  • как внедрить robots;
  • что такое X-Robots-Tag;
  • как внедрить X-Robots-Tag;
  • когда нужно использовать метатег robots, а когда — X-Robots-Tag;
  • как избежать ошибок индексации и деиндексации.

Что такое метатег robots

Это фрагмент HTML-кода, который указывает поисковым системам, как сканировать и индексировать определенную страницу. Robots помещают в контейнер <head> кода веб-страницы, и выглядит это следующим образом:

<meta name="robots" content="noindex" />

Почему метатег robots важен для SEO

Метатег robots обычно используется для того, чтобы предотвратить появление страниц в выдаче поисковых систем. Хотя у него есть и другие возможности применения, но об этом позже.

Есть несколько типов контента, который вы, вероятно, хотели бы закрыть от индексации поисковыми системами. В первую очередь это:

  • страницы, ценность которых крайне мала для пользователей или отсутствует вовсе;
  • страницы на стадии разработки;
  • страницы администратора или из серии «спасибо за покупку!»;
  • внутренние поисковые результаты;
  • лендинги для PPC;
  • страницы с информацией о грядущих распродажах, конкурсах или запуске нового продукта;
  • дублированный контент. Не забывайте настраивать тег canonical для того, чтобы предоставить поисковым системам наилучшую версию для индексации.

В общем, чем больше ваш веб-сайт, тем больше вам придется поработать над управлением краулинговой доступностью и индексацией. Еще вы наверняка хотели бы, чтобы Google и другие поисковые системы сканировали и индексировали ваш сайт с максимально возможной эффективностью. Да? Для этого нужно правильно комбинировать директивы со страницы, robots.txt и sitemap.

Какие значения и атрибуты есть у метатега robots

Метатег robots содержит два атрибута: name и content.

Следует указывать значения для каждого из этих атрибутов. Их нельзя оставлять пустыми. Давайте разберемся, что к чему.

Атрибут name и значения user-agent

Атрибут name уточняет, для какого именно бота-краулера предназначены следующие после него инструкции. Это значение также известно как user-agent (UA), или «агент пользователя». Ваш UA отражает то, какой браузер вы используете для просмотра страницы, но вот у Google UA будет, например, Googlebot или Googlebot-image.

Значения user-agent, robots, относится только к ботам поисковых систем. Цитата из официального руководства Google:

Тег <meta name="robots" content="noindex" /> и соответствующая директива применяются только к роботам поисковых систем. Чтобы заблокировать доступ другим поисковым роботам, включая AdsBot-Google, возможно, потребуется добавить отдельные директивы для каждого из них, например <meta name="AdsBot-Google" content="noindex" />.

Вы можете добавить столько метатегов для различных роботов, сколько вам нужно. Например, если вы не хотите, чтобы картинки с вашего сайта появлялись в поисковой выдаче Google и Bing, то добавьте в шапку следующие метатеги:

<meta name="googlebot-image" content="noindex" />
<meta name="MSNBot-Media" content="noindex" />

Примечание: оба атрибута — name и content — нечувствительны к регистру. То есть абсолютно не важно, напишите ли вы их с большой буквы или вообще ЗаБоРчИкОм.

Атрибут content и директивы сканирования и индексирования

Атрибут content содержит инструкции по поводу того, как следует сканировать и индексировать контент вашей страницы. Если никакие метатеги не указаны или указаны с ошибками, и бот их не распознал, то краулеры расценят гнетущую тишину их отсутствия как «да», т. е. index и follow. В таком случае страница будет проиндексирована и попадет в поисковую выдачу, а все исходящие ссылки будут учтены. Если только ссылки непосредственно не завернуты в тег rel=»nofollow» .

Ниже приведены поддерживаемые значения атрибута content.

all

Значение по умолчанию для index, follow. Вы спросите: зачем оно вообще нужно, если без этой директивы будет равным образом то же самое? И будете чертовски правы. Нет абсолютно никакого смысла ее использовать. Вообще.

<meta name="robots" content="all" />

noindex

Указывает ПС на то, что данную страницу индексировать не нужно. Соответственно, в SERP она не попадет.

<meta name="robots" content="noindex" />

nofollow

Краулеры не будут переходить по ссылкам на странице, но следует заметить, что URL страниц все равно могут быть просканированы и проиндексированы, в особенности если на них ведут внешние ссылки.

<meta name="robots" content="nofollow" />

none

Комбинация noindex и nofollow как кофе «два в одном». Google и Yandex поддерживают данную директиву, а вот, например, Bing — нет.

<meta name="robots" content="none" />

noarchive

Предотвращает показ кешированной версии страницы в поисковой выдаче.

<meta name="robots" content="noarchive" />

notranslate

Говорит Google о том, что ему не следует предлагать перевод страницы в SERP. «Яндексом» не поддерживается.

<meta name="robots" content="notranslate" />

noimageindex

Запрещает Google индексировать картинки на странице. «Яндексом» не поддерживается.

<meta name="robots" content="noimageindex" />

unavailadle_after

Указывает Google на то, что страницу нужно исключить из поисковой выдачи после указанной даты или времени. В целом это отложенная директива noindex с таймером. Бомба деиндексации с часовым механизмом, если изволите. Дата и время должны быть указаны в формате RFC 850. Если время и дата указаны не будут, то директива будет проигнорирована. «Яндекс» ее тоже не знает.

<meta name="robots" content="unavailable_after: Sunday, 01-Sep-19 12:34:56 GMT" />

nosnippet

Отключает все текстовые и видеосниппеты в SERP. Кроме того, работает и как директива noarchive. «Яндексом» не поддерживается.

<meta name="robots" content="nosnippet" />

Важное примечание

С октября 2019 года Google предлагает более гибкие варианты управления отображением сниппетов в поисковой выдаче. Сделано это в рамках модернизации авторского права в Евросоюзе. Франция стала первой страной, которая приняла новые законы вместе со своим обновленным законом об авторском праве.

Новое законодательство хоть и введено только в Евросоюзе, но затрагивает владельцев сайтов повсеместно. Почему? Потому что Google больше не показывает сниппеты вашего сайта во Франции (пока только там), если вы не внедрили на страницы новые robots-метатеги.

Мы описали каждый из нововведенных тегов ниже. Но вкратце: если вы ищете быстрое решение для исправления сложившейся ситуации, то просто добавьте следующий фрагмент HTML-кода на каждую страницу сайта. Код укажет Google на то, что вы не хотите никаких ограничений по отображению сниппетов. Поговорим об этом более подробно далее, а пока вот:

<meta name="robots" content=”max-snippet:-1, max-image-preview:large, max-video-preview:-1" />

Заметьте, что если вы используете Yoast SEO, этот фрагмент кода уже добавлен на все ваши страницы, при условии, что они не отмечены директивами noindex или nosnippet.

Нижеуказанные директивы не поддерживаются ПС «Яндекс».

max-snippet

Уточняет, какое максимальное количество символов Google следует показывать в своих текстовых сниппетах. Значение «0» отключит отображение текстовых сниппетов, а значение «-1» укажет на то, что верхней границы нет.

Вот пример тега, указывающего предел в 160 символов (стандартная длина meta description):

<meta name="robots" content="max-snippet:160" />

max-image-preview

Сообщает Google, какого размера картинку он может использовать при отображении сниппета и может ли вообще. Есть три опции:

  • none — картинки в сниппете не будет вовсе;
  • standart — в сниппете появится (если появится) картинка обыкновенного размера;
  • large — может быть показана картинка максимального разрешения из тех, что могут влезть в сниппет.

<meta name="robots" content="max-image-preview:large" />

max-video-preview

Устанавливает максимальную продолжительность видеосниппета в секундах. Аналогично текстовому сниппету значение «0» выключит опцию показа видео, значение «-1» укажет, что верхней границы по продолжительности видео не существует.

Например, вот этот тег скажет Google, что максимально возможная продолжительность видео в сниппете — 15 секунд:

<meta name="robots" content="max-video-preview:15" />

noyaca

Запрещает «Яндексу» формировать автоматическое описание с использованием данных, взятых из «Яндекс.Каталога». Для Google не поддерживается.

Примечание относительно использования HTML-атрибута data-nosnippet

Вместе с новыми директивами по метатегу robots, представленными в октябре 2019 года, Google также ввел новый HTML-атрибут data-nosnippet. Атрибут можно использовать для того, чтобы «заворачивать» в него фрагменты текста, который вы не хотели бы видеть в качестве сниппета.

Новый атрибут может быть применен для элементов <div>, <span> и <section>. Data-nosnippet — логический атрибут, то есть он корректно функционирует со значениями или без них.

Вот два примера:

<p>Фрагмент этого текста может быть показан в сниппете <span data-nosnippet>за исключением этой части.</span></p>
<div data-nosnippet>Этот текст не появится в сниппете.</div><div data-nosnippet="true">И этот тоже.</div>

Использование вышеуказанных директив

В большинстве случаев при поисковой оптимизации редко возникает необходимость выходить за рамки использования директив noindex и nofollow, но нелишним будет знать, что есть и другие опции.

Вот таблица для сравнения поддержки различными ПС упомянутых ранее директив.

Директива Google «Яндекс» Bing
all
noindex
nofollow
none
noarchive
nosnippet
max-snippet
max-snippet-preview
max-video-preview
notranslate
noimageindex
unavailable_after:
noyaca
index|follow|archive

Вы можете сочетать различные директивы.

И вот здесь очень внимательно

Если директивы конфликтуют друг с другом (например, noindex и index), то Google отдаст приоритет запрещающей, а «Яндекс» — разрешающей директиве. То есть боты Google истолкуют такой конфликт директив в пользу noindex, а боты «Яндекса» — в пользу index.

Примечание: директивы, касающиеся сниппетов, могут быть переопределены в пользу структурированных данных, позволяющих Google использовать любую информацию в аннотации микроразметки. Если вы хотите, чтобы Google не показывал сниппеты, то измените аннотацию соответствующим образом и убедитесь, что у вас нет никаких лицензионных соглашений с ПС, таких как Google News Publisher Agreement, по которому поисковая система может вытягивать контент с ваших страниц.

Как настроить метатеги robots

Теперь, когда мы разобрались, как выглядят и что делают все директивы этого метатега, настало время приступить к их внедрению на ваш сайт.

Как уже упоминалось выше, метатегам robots самое место в head-секции кода страницы. Все, в принципе, понятно, если вы редактируете код вашего сайта через разные HTML-редакторы или даже блокнот. Но что делать, если вы используете CMS (Content Management System, в пер. — «система управления контентом») со всякими SEO-плагинами? Давайте остановимся на самом популярном из них.

Внедрение метатегов в WordPress с использованием плагина Yoast SEO

Тут все просто: переходите в раздел Advanced и настраивайте метатеги robots в соответствии с вашими потребностями. Вот такие настройки, к примеру, внедрят на вашу страницу директивы noindex, nofollow:

Строка meta robots advanced дает вам возможность внедрять отличные от noindex и nofollow директивы, такие как max-snippet, noimageindex и так далее.

Еще один вариант — применить нужные директивы сразу по всему сайту: открывайте Yoast, переходите в раздел Search Appearance. Там вы можете указать нужные вам метатеги robots на все страницы или на выборочные, на архивы и структуры сайта.

Примечание: Yoast — вовсе не единственный способ управления вашим метатегами в CMS WordPress. Есть альтернативные SEO-плагины со сходным функционалом.

Что такое X-Robots-Tag

Метатеги robots замечательно подходят для того, чтобы закрывать ваши HTML-страницы от индексирования, но что делать, если, например, вы хотите закрыть от индексирования файлы типа изображений или PDF-документов? Здесь в игру вступает X-Robots-Tag.

X-Robots-Tag — HTTP-заголовок, но, в отличие от метатега robots, он находится не на странице, а непосредственно в файле конфигурации сервера. Это позволяет ему сообщать ботам поисковых систем инструкции по индексации страницы даже без загрузки содержимого самой страницы. Потенциальная польза состоит в экономии краулингового бюджета, так как боты ПС будут тратить меньше времени на интерпретацию ответа страницы, если она, например, будет закрыта от индексации на уровне ответа веб-сервера.

Вот как выглядит X-Robots-Tag:

Чтобы проверить HTTP-заголовок страницы, нужно приложить чуть больше усилий, чем требуется на проверку метатега robots. Например, можно воспользоваться «дедовским» методом и проверить через Developer Tools или же установить расширение на браузер по типу Live HTTP Headers.

Последнее расширение мониторит весь HTTP-трафик, который ваш браузер отправляет (запрашивает) и получает (принимает ответы веб-серверов). Live HTTP Headers работает, так сказать, в прямом эфире, так что его нужно включать до захода на интересующий сайт, а уже потом смотреть составленные логи. Выглядит все это следующим образом:

Как правильно внедрить X-Robots-Tag

Конфигурация установки в целом зависит от типа используемого вами сервера и того, какие страницы вы хотите закрыть от индексирования.

Строчка искомого кода для веб-сервера Apache будет выглядеть так:

Header set X-Robots-Tag «noindex»

Для nginx — так:

add_header X-Robots-Tag «noindex, noarchive, nosnippet»;

Наиболее практичным способом управления HTTP-заголовками будет их добавление в главный конфигурационный файл сервера. Для Apache обычно это httpd.conf или файлы .htaccess (именно там, кстати, лежат все ваши редиректы). Для nginx это будет или nginx.conf, где лежат общие конфигурации всего сервера, или файлы конфигурации отдельных сайтов, которые, как правило, находятся по адресу etc/nginx/sites-available.

X-Robots-Tag оперирует теми же директивами и значениями атрибутов, что и метатег robots. Это из хороших новостей. Из тех, что не очень: даже малюсенькая ошибочка в синтаксисе может положить ваш сайт, причем целиком. Так что два совета:

  • при каких-либо сомнениях в собственных силах, лучше доверьте внедрение X-Robots-Tag тем, кто уже имеет подобный опыт;
  • не забывайте про бекапы — они ваши лучшие друзья.

Подсказка: если вы используете CDN (Content Delivery Network), поддерживающий бессерверную архитектуру приложений для Edge SEO, вы можете изменить как метатеги роботов, так и X-Robots-теги на пограничном сервере, не внося изменений в кодовую базу.

Когда использовать метатеги robots, а когда — X-Robots-tag

Да, внедрение метатегов robots хоть и выглядит более простым и понятным, но зачастую их применение ограничено. Рассмотрим три примера.

Файлы, отличные от HTML

Ситуация: нужно впихнуть невпихуемое.

Фишка в том, что у вас не получится внедрить фрагмент HTML-кода в изображения или, например, в PDF-документы. В таком случае X-Robots-Tag — безальтернативное решение.

Вот такой фрагмент кода задаст HTTP-заголовок со значением noindex для всех PDF-документов на сайте для сервера Apache:

Header set X-Robots-Tag «noindex»

А такой — для nginx:

location ~* \.pdf$ { add_header X-Robots-Tag «noindex»; }

Масштабирование директив

Если есть необходимость закрыть от индексации целый домен (поддомен), директорию (поддиректорию), страницы с определенными параметрами или что-то другое, что требует массового редактирования, ответ будет один: используйте X-Robots-Tag. Можно, конечно, и через метатеги, но так будет проще. Правда.

Изменения заголовка HTTP можно сопоставить с URL-адресами и именами файлов с помощью различных регулярных выражений. Массовое редактирование в HTML с использованием функции поиска и замены, как правило, требует больше времени и вычислительных мощностей.

Трафик с поисковых систем, отличных от Google

Google поддерживает оба способа — и robots, и X-Robots-Tag. «Яндекс» хоть и с отставанием, но в конце концов научился понимать X-Robots-Tag и успешно его поддерживает. Но, например, чешский поисковик Seznam поддерживает только метатеги robots, так что пытаться закрыть сканирование и индексирование через HTTP-заголовок не стоит. Поисковик просто не поймет вас. Придется работать с HTML-версткой.

Как избежать ошибок доступности краулинга и деиндексирования страниц

Вам, естественно, нужно показать пользователям все ваши страницы с полезным контентом, избежать дублированного контента, всевозможных проблем и не допустить попадания определенных страниц в индекс. А если у вас немаленький сайт с тысячами страниц, то приходится переживать еще и за краулинговый бюджет. Это вообще отдельный разговор.

Давайте пробежимся по распространенным ошибкам, которые допускают люди в отношении директив для роботов.

Ошибка 1. Внедрение noindex-директив для страниц, закрытых через robots.txt

Официальные инструкции основных поисковых систем гласят:

«Яндекс»Google

Никогда не закрывайте через disallow в robots.txt те страницы, которые вы пытаетесь удалить из индекса. Краулеры поисковых систем просто не будут переобходить такие страницы и, следовательно, не увидят изменения в noindex-директивах.

Если вас не покидает чувство, что вы уже совершили подобную ошибку в прошлом, то не помешает выяснить истину через Ahrefs Site Audit. Смотрите на страницы, отмеченные ошибкой noindex page receives organic traffic («закрытые от индексации страницы, на которые идет органический трафик»).

Если на ваши страницы с директивой noindex идет органический трафик, то очевидно, что они все еще в индексе, и вполне вероятно, что робот их не просканировал из-за запрета в robots.txt. Проверьте и исправьте, если это так.

Ошибка 2. Плохие навыки работы с sitemap.xml

Если вы пытаетесь удалить контент из индекса, используя метатеги robots или X-Robots-Tag, то не стоит удалять их из вашей карты сайта до момента их деиндексации. В противном случае переобход этих страниц может занять у Google больше времени.

— …ускоряет ли процесс деиндексации отправка Sitemap.xml с URL, отмеченным как noindex?

— В принципе все, что вы внесете в sitemap.xml, будет рассмотрено быстрее.

Для того чтобы потенциально ускорить деиндексацию ваших страниц, установите дату последнего изменения вашей карты сайта на дату добавления тега noindex. Это спровоцирует переобход и переиндексацию.

Еще один трюк, который вы можете проделать, — загрузить sitemap.xml с датой последней модификации, совпадающей с датой, когда вы отметили страницу 404, чтобы вызвать переобход.

Джон Мюллер говорит здесь про страницы с ошибкой 404, но можно полагать, что это высказывание справедливо и для директив noindex.

Важное замечание

Не оставляйте страницы, отмеченные директивой noindex, в карте сайта на долгое время. Как только они выпадут из индекса, удаляйте их.

Если вы переживаете, что старый, успешно деиндексированный контент по каким-то причинам все еще может быть в индексе, проверьте наличие ошибок noindex page sitemap в Ahrefs Site Audit.

Ошибка 3. Оставлять директивы noindex на страницах, которые уже не находятся на стадии разработки

Закрывать от сканирования и индексации все, что находится на стадии разработки, — это нормальная, хорошая практика. Тем не менее, иногда продукт выходит на следующую стадию с директивами noindex или закрытым через robots.txt доступом к нему. Органического трафика в таком случае вы не дождетесь.

Более того, иногда падение органического трафика может протекать незамеченным на фоне миграции сайта через 301-редиректы. Если новые адреса страниц содержат директивы noindex, или в robots.txt прописано правило disallow, то вы будете получать органический трафик через старые URL, пока они будут в индексе. Их деиндексация поисковой системой может затянуться на несколько недель.

Чтобы предотвратить подобные ошибки в будущем, стоит добавить в чек-лист разработчиков пункт о необходимости удалять правила disallow в robots.txt и директивы noindex перед отправкой в продакшен.

Ошибка 4. Добавление «секретных» URL в robots.txt вместо запрета их индексации

Разработчики часто стараются спрятать страницы о грядущих промоакциях, скидках или запуске нового продукта через правило disallow в файле robots.txt. Работает это так себе, потому что кто угодно может открыть такой файл, и, как следствие, информация зачастую сливается в интернет.

Не запрещайте их в robots.txt, а закрывайте индексацию через метатеги или HTTP-заголовки.

Заключение

Правильное понимание и правильное управление сканированием и индексацией вашего сайта крайне важны для поисковой оптимизации. Техническое SEO может быть довольно запутанным и на первый взгляд сложным, но метатегов robots уж точно бояться не стоит. Надеемся, что теперь вы готовы применять их на практике!

Мета-тег Robots | SEO-портал

Мета-тег Robots должен содержать инструкции для поисковых роботов по отношению к веб-странице, на которой он указан.

Видео по теме

Для чего нужен мета-тег Robots?

Указание данного мета-тега, в зависимости от используемых в нем значений, может обеспечить запрет или разрешение поисковым роботам на индексирование веб-страницы, на переход по ссылкам, размещенным на данной странице, для последующей индексации, или на комбинацию данных инструкций.

С помощью файла robots.txt можно запретить сканирование определённых страниц и каталогов сайта, однако это не гарантирует того, что данные страницы не будут проиндексированы, т. к. роботы могут попасть на неё по внешним ссылкам. С помощью мета-тега Robots можно точно указать роботу, что данную страницу не следует индексировать.

Корректные инструкции мета-тега Robots гарантированно исполняются роботами поисковых систем по отношению к веб-странице.

Как прописать мета-тег Robots?

Как и другие мета-теги в HTML, Meta Robots указывается в блоке head веб-страницы и должен содержать два обязательных атрибута name и content:

<head>
<meta name="robots" content="all" />
<head>

Атрибут Name мета-тега Robots

Важно знать, что атрибут name не обязательно должен содержать значение robots: в нём можно указывать название конкретного робота, для которого указана инструкция в атрибуте. Если указывается значение robots, то инструкция в атрибуте content предназначается для всех поисковых роботов. Таким образом, можно комбинировать инструкции для определённых роботов с помощью нескольких мета-тегов на одной веб-странице:

<head>

<!-- Запрет индексирования страницы для всех роботов: -->
<meta name="robots" content="noindex" />

<!-- Разрешение индексирования страницы роботу Яндекса: -->
<meta name="yandex" content="index" />

</head>

Отметим, что в 99.9% случаев мета-тег Robots содержит общие для всех роботов инструкции и прибегать к использованию нескольких мета-тегов нет необходимости.

Директивы мета-тега Robots

В качестве значения атрибута content указывается одна или несколько директив (инструкций), перечисленных через запятую. Существуют общие директивы, понятные всем поисковым роботам, а также директивы, понятные только роботам определённых поисковых систем.

Общие директивы

В таблице представлены директивы мета-тега Robots, понятные роботам Яндекса и Google.

Универсальные директивы мета-тега Robots
Директива Значение
all Используется по умолчанию. Означает, что в отношении веб-страницы не предусмотрены исключающие правила для роботов.
noindex Запрещает индексирование (отображение в поисковой выдаче) веб-страницы.
nofollow Запрещает переход по ссылкам на веб-странице.
none Запрещает индексирование и переход по ссылкам на веб-странице.
noarchive Запрещает выводить ссылку на сохраненную копию веб-страницы в сниппете поисковой выдачи.

Директивы для Google

В таблице ниже представлены директивы, понятные только роботам Google.

Директивы мета-тега Robots для Google
Директива Значение
nosnippet Запрещает отображать фрагмент содержания страницы в поисковой выдаче, размещенный под заголовком сниппета.
notranslate Запрещает отображать предложение перевести страницу в сниппете.
noimageindex Запрещает индексировать изображения на странице.
unavailable_after:[date] Запрещает отображать страницу в поисковой выдаче после указанного в формате RFC 850 времени.
nositelinkssearchbox Запрещает отображение поля поиска по сайту в поисковой выдаче.

Директивы для Яндекса

Кроме общих для всех роботов директив, робот Яндекса способен учитывать отдельную директиву noyaca, запрещающую использовать описание из Яндекс.Каталога при формировании сниппета поисковой выдачи:

<meta name="yandex" content="noyaca" />

Комбинирование директив

В качестве значения атрибута content в мета-теге Robots можно применять комбинации директив, перечисляя их через запятую. Рассмотрим на примерах.

Значение «index, follow» или «all»

Для разрешения индексирования и перехода по ссылкам можно не указывать мета-тег Robots совсем, или использовать следующие значения:

<!--отсутствие мета-тега-->
<!--или-->
<meta name="robots" content="index, follow" />
<!--или-->
<meta name="robots" content="all" />
Значение «noindex, nofollow» или «none»

Для запрета индексирования страницы и перехода по ссылкам на ней можно применять следующие значения:

<meta name="robots" content="noindex, nofollow" />
<!--или-->
<meta name="robots" content="none" />
Значение «noindex, follow»

Если страницу не следует отображать в поисковой выдаче, но можно её сканировать на предмет ссылок, то применяется комбинация директив noindex, follow:

<meta name="robots" content="noindex, follow" />
Значение «index, nofollow»

Если страницу следует отображать в поисковой выдаче, но не следует переходить по ссылкам на ней, то применяется комбинация index, nofollow:

<meta name="robots" content="index, nofollow" />

Рекомендации по применению

Необходимо очень внимательно использовать мета-тег Robots, т. к. он может стать причиной непопадания страниц сайта в поисковую выдачу. Чтобы исключить возможные недоразумения, следуйте указанным рекомендациям:

  • применяйте запрещающие директивы мета-тега Robots, совмещая их с директивами файла robots.txt и не допускайте конфликтов между ними;
  • учтите, что директивы файла robots.txt выполняются в первую очередь: если в robots.txt установлен запрет на сканирование страницы, а на странице указан мета-тег Robots со значением all или другим равнозначным значением, то робот, следуя инструкции в файле robots.txt, не перейдёт на страницу и не проиндексирует её;
  • исключайте индексирование ненужных в поисковой выдаче страниц сайта (виртуальная корзина, результаты поиска по сайту, дубли страниц и т. д.).

Nofollow, Noindex: как правильно использовать для SEO

Nofollow – это атрибут, который прописывается для определенной ссылки или всех ссылок на странице в мета-теге robots с целью запрета поисковым роботам на переход по ним.

Noindex – это атрибут, который закрывает от индексации текст на странице.

То есть, noindex отвечает за контент в документе и запрет на индексацию его, в то время как nofollow – за ссылку.

Правила применения и зачем нужен nofollow?​

Чтобы понять, в каких случаях может вообще пригодиться этот атрибут, рассмотрим, как к нему относятся популярнейшие поисковые системы.
  • Яндекс. Когда на вашем ресурсе содержатся разделы, предназначенные специально для обсуждения записей, написания комментариев к статьям или форум, важно следить за тем, какие исходящие ссылки оставляют в них посетители. Желательно модерировать каждый комментарий. Благодаря этому владелец сайта сможет предотвратить размещение различных вредоносных ссылок от спамеров. Хотя поисковик и не учитывает их, спам сильно влияет на репутацию веб-ресурса и к нему может быть применен фильтр. В связи с этим следует проверять все комментарии, и если есть какие-то сомнения относительно качества размещаемой ссылки, пропишите для них атрибут rel=”nofollow”. Сейчас, в измененном руководстве Яндекс, данный текст был удален и осталось только правило применения rel=»nofollow» Руководство Яндекс о nofollow
  • Google. Если у вашего сайта есть раздел, где пользователи могут комментировать записи, есть большой риск, что в комментариях появятся ссылки на вредоносные страницы. Спамеры «любят» сайты с комментариями без модерации. Атрибут nofollow для спам-ссылок спасет ваш ресурс и сохранит его чистую репутацию в глазах поисковой системы. Если же вы доверяете сайту, на который ссылается посетитель или вы сами ссылаетесь, то нет необходимости прописывать nofollow. Руководство Google о nofollow
Эти сообщения взяты с официальных сайтов поисковиков. Как видите, в Яндекс и Google написаны аналогичные вещи: значение nofollow нужно использовать в тех случаях, когда вы хотите сообщить ботам о недоверии в отношении сайта, на который ведет ссылка.

Только в Яндекс упор делается, что ссылка с rel=»nofollow» не будет индексироваться поисковой системой, а в Google говорится о том, что робот не будет переходить по такой ссылке.
Рассмотрим более конкретный пример, когда для ссылки требуется прописать запрещающий атрибут:

Материал сомнительного качества. Если вам не нравится содержание страницы, на которую посетитель оставляет ссылку в комментарии, и вы не желаете жертвовать репутацией своего сайта, прописывайте в теги данной ссылки значение rel=”nofollow”. Спамеры, заметив на вашем ресурсе тенденцию, когда к непроверенным ссылкам добавляется блокирующий атрибут, вскоре прекратят попытки навредить сайту. Если же вы видите, что пользователь оставляет ссылку на качественный материал, вручную или автоматически nofollow можно удалить.

Как правильно прописать nofollow?​

Это сейчас nofollow позволяет управлять каждой ссылкой отдельно, но когда-то данное значение можно было задействовать только в мета-теге, который закрывал от поисковой системы абсолютно все ссылки на странице. И для запрета перехода по отдельным ссылкам вебмастерам приходилось блокировать их URL в robots.txt.

Robots Nofollow​

Эти мета-теги так и остались по сей день. Если вы хотите закрыть от индексации все ссылки, содержащиеся на определенной странице, то на этой странице нужно прописать такой код:

Код:Скопировать

<meta name=”robots” content=”nofollow” />
Важно не путать данный тег с двумя нижеприведенными кодами, content=»none» и content=”noindex, nofollow” блокируют доступ ботов ко всей странице, а не только к ее ссылкам. Поэтому, если вы хотите чтобы страницы индексировались, то ни в коем случае не прописывайте для них два вот этих тега:

Код:Скопировать

<meta name=”robots” content=”none” />

Код:Скопировать

<meta name =”robots” content=”noindex, nofollow” />

Rel=»Nofollow»​

Выше мы рассмотрели варианты, как запретить переход поисковых роботов по всем ссылкам на страницах. Но еще можно назначить запрет на переход к конкретной ссылке.

Чтобы запретить для индексации и переход робота по ссылке, к ней надо прописать атрибут rel=”nofollow”, в коде это выглядит так:

Код:Скопировать

<a href=”URL” rel=”nofollow”>анкор гиперссылки</a>

Утекает ли вес ссылки через nofollow?​

Хотя Google в своих заявлениях позиционирует применение атрибута nofollow как переход по ссылке. И это подтвердило обращение бывшего главы компании по борьбе с поисковым спамом, Мэтта Катса. Он заявил, что «Google может учитывать ссылки из социальных сетей, даже несмотря на nofollow».
А вот с Яндексом вопрос не явный. Он четко пишет в своей документации, что данный атрибут запрещает индексацию таких ссылок.

А если мы перейдем в описание атрибута robots nofollow, то здесь уже видим запрет на переход, и не слово про индексацию.

Но, раньше можно было это проверить, если применить в поиске такую конструкцию url: ваш урл << inlink“анкор ссылки”), и Яндекс нам отображал только те страницы, где содержится наш искомый анкор ссылки. Сейчас же этот метод не работает, поисковая система Яндекс запретила использовать такую конструкцию в поиске. Поэтому можно с большей долью вероятностью сказать, что Яндекс может учитывать такие ссылки, потому что они появляются в Яндекс Вебмастер.

Видно, например, что Яндекс учитывает ссылки с Твиттера, даже если они отдаются через редирект и закрыты nofollow.

В целом можно сказать, что применение данного атрибута для поисковых роботов не всегда является запретом, если особенно сайт авторитетный.

Стоит ли закрывать внутренние ссылки в nofollow?​

В прошлом, seo оптимизаторы сильно злоупотребляли rel=»nofollow» тем самым манипулирую передаваемым весом внутри сайта. Поэтому поисковая система Google заявила, что все внутренние ссылки отмеченные rel=»nofollow» будут отдавать вес вникуда https://www.mattcutts.com/blog/pagerank-sculpting/.

То есть со страницы где стоит такая ссылка будет уходить вес, но на страницу на которую стоит ссылка он не будет передаваться, получается он будет обнуляться.

Об этом в видео говорит бывший руководитель поиска в Google. Видео на английском, поэтому включите русские субтитры.

Атрибут noindex: что это и чем отличается от nofollow?​

Многие начинающие вебмастера ломают голову, не понимая, чем noindex отличается от nofollow. Все просто:
  • nofollow — применяется к ссылкам
  • noindex — применяется к тексту
Если вы хотите запретить текст на всей странице сайта для индексации, но при этом учитывать ссылки, на странице нужно прописать следующий код:

Код:Скопировать

<meta name=”robots” content=”noindex, follow: />
Если вы хотите закрыть часть текста, то в Google нет такого атрибута, но в Яндексе это возможно. Тег noindex был внедрен поисковиком Яндекс, так как раньше он не понимал nofollow, а ненужные ссылки нужно было как-то закрывать от роботов.
Но в 2010 году поисковая система начала работать с атрибутом rel=”nofollow”, при этом noindex не исчез, а остался отвечать за скрытие текста. Теперь, если вы хотите закрыть от индексации текст или например анкор ссылки, пропишите команду:

<noindex><a href=”url”>анкор ссылки</a></noindex>

Сама ссылка будет открыта для перехода роботами поисковых систем, не учтется только ее текст (анкор). Так же можно закрывать не только анкоры ссылок, но и контент.

Например это удобно было, когда Яндекс ввел новый алгоритм Баден-Баден, который накладывал санкции за seo тексты. Стоило закрыть портянки текста в noindex, и можно было выйти из под этого фильтра, причем не потерять позиции в Google, так как поисковая система Google не учитывает тег <noindex></noindex>.

Выводы​

Nofollow отвечает за переход поисковых систем по этим ссылкам, как на всей странице, так и для определенной ссылки. Ранее noindex тоже выполнял аналогичную функцию, но только по отношению к Яндексу, который со временем начал понимать nofollow, в результате чего значением noindex начали закрывать от индексации контент на странице.

Владелец сайта должен грамотно использовать атрибут nofollow и понимать, в каких именно случаях это делать:

  1. Когда ссылка ведет на веб-ресурсы с некачественным контентом.
  2. Когда вы размещаете на странице коммерческий контент.
По атрибуту nofollow ссылка может индексироваться и передавать свой вес, если она стоит на качественный ресурс.

Главная задача использования nofollow — помочь указать приоритетные для сканирования ссылки, разделить продающие статьи от информационных, а также защитить сайт от спама, который, если не контролировать, может привести к снижению ранжирования или куда хуже, вылету ресурса из индекса.

Для всех других ситуаций можете смело применять dofollow ссылки, открытые для поисковых роботов. Репутация сайта ничуть не ухудшится, а даже улучшится, если вы будете оставлять ссылки на полезные для вашей целевой аудитории страницы. И никакой вес ваши документы не потеряют, а наоборот даже могут приобрести за счет обратного PageRank.

Тег meta name robots contents — noindex, follow, noodp и др.

Назначение тега robots состоит в том, чтобы давать возможность или запрещать роботам, посещающим сайт, добавлять сведения о нем в базу данных поисковых систем (индексировать страницу). Еще этот элемент может предложить роботам обойти весь сайт и проиндексировать его страницы. Запрещать индексирование файлов и каталогов предпочтительно через файл robots.txt Пользователи, не имеющие доступа к корневой директории сервера, могут использовать этот тег для запрета индексирования своих документов и каталогов.

Тег ставится в начале html-документа (значения помещаются в meta тег).

Его запись довольно проста (не имеет значения большие или маленькие буквы используются):

<meta name=»robots» content=»значение«>

Атрибут content элемента robots может принимать такие параметры:

  • index — робот может индексировать страницу
  • noindex — робот не может индексировать страницу
  • follow — робот может переходить по ссылкам со страницы
  • nofollow — робот не может переходить по ссылкам со страницы
  • all — то же, что и INDEX, FOLLOW
  • none — то же, что и NOINDEX, NOFOLLOW
  • noimageindex — робот не может индексировать картинки
  • noarchive — не сохранять копию и не показывать ссылку «сохраненная копия»
  • noyaca — для ПС yandex: не использовать описание из Яндекс.Каталога в результатах поиска.
  • noodp — не использовать описание из каталога DMOZ в результатах поиска.
  • notranslate — запретить перевод контента вашей страницы (для Google — не предлагать автоперевод)
  • nosnippet — запретить вывод описания страницы в результатах поиска, также запрещает кешировать (noarchive)

Meta name robots noindex и nofollow

Для того чтобы отключить индексацию нужно написать

<meta name=»robots» content=»noindex«>

Если вы хотите чтобы робот не переходил по ссылкам со страницы нужно изменить значение meta-тега атрибута content на nofollow.

Чтобы не дать определенному поисковому роботу индексировать вашу страницу, но разрешить это другим, нужно использовать такую запись:

<meta name=»имя_робота которому_запрещена_индексация» content=»noindex, nofollow«>

Как видите, если аргумент content имеет несколько параметров, то они перечисляются через запятую.

Meta name yandex

Имя робота в случае ПС Яндекса — yandex

<meta name=»yandex» content=»noindex, nofollow«>

Meta name google

Для поисковой системы Google имя робота следует указать — google, пример:

<meta name=»google» content=»noindex, nofollow«>

Meta name robots index и follow

Чтобы одновременно можно было переходить индексировать страницу и переходить по ссылкам следует записать:

<meta name=»robots» content=»index, follow«>

Чтобы не заносить в базу данных поисковой машины картинки пишут:

<meta name=»robots» content=»noimageindex«>

Meta name robots content noarchive

Поисковые машины Google и Yandex для каждого сканируемого сайта, делают и сохраняют его снимок. Архивированный вариант хранится в кэше, что дает возможность поисковику отображать эту страницу по специальной ссылке в результатах поиска, когда она по каким-то техническим причинам недоступна. Веб-страница, хранимая в кэше, отображается такой, какой она была в тот момент, когда ее сохранил поисковый робот. О том, что пользователь просматривает кэшированную страницу говорит сообщение в верхней части сайта. Можно обратиться к кэш-версии страницы, нажав на кнопку «сохранено в кэше», в результатах поиска.

Если вы не желаете, чтобы в поисковых системах была подобная ссылка, можно дописать в head такой тег:

<meta name=»robots» content=»noarchive«>

Для того чтобы кнопка «Сохранено в кэше» не выводилась в определенной поисковой системе можно написать:

<meta name=»имя_робота» content=»noarchive«>

Такая запись убирает только ссылку «Сохранено» на архивированную страницу, поисковая система и дальше будет индексировать сайт и отображать его фрагмент.

NOSNIPPET — убрать сниппет

Сниппетом называется текст, под заголовком страницы в результатах поиска, используемый для описания сайта.

Чтобы он не выводился, в части head добавляется такой тег:

<meta name=»имя_робота» content=»nosnippet«>

Когда удаляется фрагмент с ним удаляются и архивированные в кэш страницы.

NOODP — запрет использования DMOZ поисковиками

Для создания фрагментов часто применяется такой источник, как Open Directory Project. Чтобы поисковики не применяли его, для описания содержимого сайта, добавляется тег:

<meta name=»robots» content=»noodp«>

Или такой:

<meta name=»имя_робота» content=»noodp«>

Параметры атрибута content можно объединять, таким образом:

<meta name=»robots» content=»noodp, nofollow«>

Запреты поисковым системами

Каким образом можно дать понять поисковому роботу, что какую-то часть страницы не нужно проверять или по какой-то одной ссылке не стоит переходить?

Разные поисковые системы предлагают сделать это по разному. Яндекс советует вставлять такой текст между тегами <!—noindex—><!—/noindex—>, тогда как Google предлагает добавлять к ссылкам атрибут rel=»nofollow».

Мета тег document-state

Программист может указать роботу, что содержание какого-то документа может изменяться в будущем. Если он напишет об этом только в robots.txt, то пользователь не сможет знать, что сайт может измениться.

В таких случаях применяется тег document-state. Он принимает два значения: static и dynamic(по умолчанию):

<meta name=»document-state» content=»static»>

<meta name=»document-state» content=»dynamic»>

Static означает, что нет необходимости переиндексировать страницу в будующем, так как она не будет изменяться. Dynamic означает что необходимо регулярно переиндексировать страницу, так как она будет изменяться.

Использование метатега robots  | Центральный блог Google Поиска  | Разработчики Google

Недавно Дэнни Салливан поднял хорошие вопросы о том, как поисковые системы обрабатывают метатеги. Вот несколько ответов о том, как мы обрабатываем эти теги в Google.

Несколько значений содержимого

Мы рекомендуем размещать все значения содержимого в одном метатеге. Это упрощает использование метатегов читать и снижает вероятность конфликтов.Например:

 

Если страница содержит несколько метатегов одного типа, мы объединим контент значения. Например, мы будем интерпретировать


 

Также как:

 

Если значения содержимого конфликтуют, мы будем использовать наиболее строгие.Итак, если на странице есть эти мета теги:


 

Мы будем подчиняться значению noindex .

Ненужные значения содержимого

По умолчанию робот Googlebot индексирует страницу и переходит по ссылкам на нее. Так что теги не нужны страницы со значениями содержимого индекса или следуют за .

Чтобы предоставить инструкции для всех поисковых систем, установите метаимя на робота .Чтобы предоставить инструкции только для робота Googlebot, установите мета имя на Googlebot . Если вы хотите предоставить другие инструкции для разных поисковых систем (например, если вы хотите, чтобы одна поисковая система проиндексировала страницу, но не другой), лучше использовать определенный метатег для каждой поисковой системы, а не использовать общий метатег robots в сочетании с конкретным. Вы можете найти список ботов на robotstxt.org.

Корпус и расстояние

Робот Google понимает любую комбинацию строчных и прописных букв.Таким образом, каждый из этих метатегов интерпретируется точно так же:



 

Если у вас есть несколько значений содержимого, вы должны поставить запятую между ними, но это не так. имеет значение, если вы также включаете пробелы. Таким образом, следующие метатеги интерпретируются одинаково:


 

Если роботы.txt и инструкции метатегов для конфликта страниц, Googlebot следует наиболее ограничительный. Более конкретно:

  • Если вы заблокируете страницу с помощью файла robots.txt, робот Googlebot никогда не просканирует страницу и не прочитает любые метатеги на странице.
  • Если вы разрешите страницу с robots.txt, но заблокируете ее от индексации с помощью метатега, Googlebot получит доступ к странице, прочитает метатег и впоследствии не проиндексирует ее.

Действительные значения содержания мета-роботов

Googlebot интерпретирует следующие значения метатегов robots:

  • noindex — предотвращает включение страницы в индекс.
  • nofollow — запрещает роботу Googlebot переходить по любым ссылкам на страница. (Обратите внимание, что это отличается от атрибута nofollow на уровне ссылки, который предотвращает Googlebot после перехода по отдельной ссылке.)
  • noarchive — предотвращает сохранение кэшированной копии этой страницы. доступны в результатах поиска.
  • nosnippet — предотвращает появление описания под страницей в результатах поиска, а также предотвращает кеширование страницы.
  • noodp — блокирует Описание проекта Open Directory страницы из используется в описании, которое появляется под страницей в результатах поиска.
  • нет — эквивалентно noindex, nofollow .

Слово о значении содержания

нет

Согласно robotstxt.org, следующие направление означает noindex, nofollow .

 

Однако некоторые веб-мастера используют этот тег, чтобы указать на отсутствие ограничений для роботов и непреднамеренно заблокировать все поисковые системы от их контента.

Обновление: Для получения дополнительной информации см. Документация по метатегу robots.

Страницы веб-роботов

О теге

для роботов

В двух словах

Вы можете использовать специальный HTML-тег , чтобы указать роботам не индексировать содержание страницы и/или не сканировать ее в поисках ссылок для перехода.

Например:

 
<голова>
<название>...
   

 

При использовании тега robots необходимо учитывать два важных момента:

  • роботы могут игнорировать ваш тег . Особенно вредоносные роботы, которые сканируют web на наличие уязвимостей в системе безопасности и сборщики адресов электронной почты, используемые спамерами не обратит внимания.
  • директива NOFOLLOW применяется только к ссылкам на этой странице.Это вполне вероятно, что робот может найти те же ссылки на каком-то другом страница без NOFOLLOW (возможно, на каком-то другом сайте) и так до сих пор попадает на нежелательную страницу.

Не путайте этот NOFOLLOW с Атрибут ссылки rel=»nofollow».

Детали

Как и файл /robots.txt, файл robots META тег является стандартом де-факто. Он возник в результате встречи «одного поля ягоды» на встрече 1996 года. Семинар по распределенному индексированию, описанный в заметках о собрании.

Тег META также описан в HTML-коде. 4.01 спецификация, приложение Б.4.1.

Остальная часть этой страницы дает обзор того, как использовать robots. Теги на ваших страницах с несколькими простыми рецептами. Чтобы узнать больше, см. также FAQ.

Как написать метатег роботов

Куда положить

Как и любой тег , его следует размещать в разделе HEAD HTML-кода. страницу, как в примере выше. Вы должны поместить его на каждой странице вашего сайте, потому что робот может столкнуться с диплинком на любой страница на вашем сайте.

Что туда положить

Атрибут «NAME» должен быть «ROBOTS».

Допустимые значения атрибута CONTENT: «ИНДЕКС», «НОИНДЕКС», «СЛЕДУЙТЕ», «НЕ СЛЕДУЕТ». Допускается несколько значений, разделенных запятыми, но очевидно, что только некоторые комбинации имеют смысл. Если нет тег robots , по умолчанию «INDEX, FOLLOW», так что не надо это расписывать. Это оставляет:

   
   
   
 

Основы SEO: объяснение мета-роботов «Noindex, Nofollow»

Сегодня мы поговорим об одной из самых больших ошибок SEO , которую может совершить владелец веб-сайта (или веб-разработчик): noindex .Одно упоминание об этом может вызвать у разработчика мурашки по спине.

Обновление от 29.08.2018. См. примечания к обновлению в конце сообщения.

Что такое тег

?

Проще говоря, этот метатег сообщает поисковым системам, какие действия они могут выполнять (или не выполнять) на определенной странице. Основные поисковые системы будут соблюдать команды, включенные в этот тег.

Этот метатег может быть включен где угодно между тегами и в заголовке страницы, как показано ниже:

ВАЖНО: Этот тег не действует на весь сайт.Он может содержать разные значения на разных страницах одного и того же сайта.

Доступные значения для тега META ROBOTS

Вот список допустимых значений тега META ROBOTS.

  • Индекс ( значение по умолчанию )
  • Без индекса
  • Нет
  • Подписаться
  • Нет подписки
  • Нет архива
  • Nosnippet
  • Noodp ( больше не актуален )
  • Нойдир ( уже не актуален )

Эти значения можно комбинировать, поэтому, например, приведенные ниже варианты являются абсолютно допустимыми метатегами robots:

Эффект NOINDEX,NOFOLLOW

Значение NOINDEX указывает поисковым системам НЕ индексировать эту страницу, поэтому в основном эта страница не должна отображаться в результатах поиска.

Значение NOFOLLOW указывает поисковым системам НЕ отслеживать (обнаруживать) страницы, на которые есть ССЫЛКИ на этой странице.

Иногда разработчики добавляют метатег роботов NOINDEX,NOFOLLOW на веб-сайты разработки, чтобы поисковые системы случайно не начали отправлять трафик на веб-сайт, который все еще находится в стадии разработки.

Или у вас может быть текущий (действующий) веб-сайт на www.example.com, но вы также храните копию для разработки на www.dev.example.com/. В этом случае рекомендуется не индексировать, не следовать версии Dev, чтобы избежать многих потенциальных проблем.

Часто случается так, что люди случайно добавляют этот тег на работающие веб-сайты, забывают добавить его в разрабатываемые копии или, что еще хуже, забывают удалить его с действующих веб-сайтов после запуска.

Да, те же результаты и проблемы могут возникнуть из-за плохого файла robots.txt в корне веб-сайта, но это выходит за рамки темы этого поста.

~3% веб-сайтов отелей затронуты

Согласно независимому анализу HermesThemes.com из более чем 50 000 веб-сайтов отелей со всего мира было установлено, что около 3% веб-сайтов блокируют поисковые системы от индексации своего веб-сайта.

Это было шокирующее открытие, которое побудило нас написать эту статью.

Как проверить, содержит ли мой веб-сайт эту ошибку?

К счастью, есть очень простой способ проверить любой веб-сайт/страницу на наличие этой ошибки.

Просто откройте страницу в браузере, щелкните правой кнопкой мыши где-нибудь на странице (но не на ссылках или изображениях) и выберите «Просмотреть исходный код страницы».В большинстве браузеров для Windows вы можете просто нажать CTRL+U на клавиатуре.

При этом откроется новая вкладка с полным HTML-кодом (как его видит браузер) для текущей страницы. Как упоминалось ранее, метатеги обычно находятся в верхней части веб-сайта, как в этом примере:

.

Если вы видите на этой странице строку META ROBOTS со значением NOINDEX или NONE, то вам необходимо принять меры немедленно !

Как уязвимые веб-сайты выглядят в результатах поиска?

Я рад, что вы (надеюсь) спросили.

Есть очень удобный способ поиска в Google проиндексированных страниц с определенного доменного имени: [site:example.com] (без квадратных скобок).

Итак, мы идем в Google и ищем домен, который использует мета-роботов NOINDEX на их веб-сайте, и вот что мы получаем:

Надеюсь, вы понимаете, какой ущерб может нанести полное удаление вашего веб-сайта из Google и других поисковых систем. Ваш органический поисковый трафик упадет до нуля в течение нескольких дней.

Как исправить/удалить линию Meta Robots?

К счастью, решить эту проблему несложно, и ее не следует откладывать. Сначала нужно определить, откуда идет эта линия.

В WordPress первое, что вы должны сделать, это перейти в Панель управления > Настройки > Чтение.

Убедитесь, что флажок Видимость для поисковых систем не отмечен .

Если это не решило проблему, вам следует проверить, не зашита ли эта строка в тему.

Чтобы проверить это, вы должны перейти в «Внешний вид»> «Редактор», а затем выбрать «Theme Header.php» из списка файлов справа (действительно для большинства тем).

Просмотрите этот файл и убедитесь, что в нем нет тега META ROBOTS с вредоносным значением. Если есть — удалите его и нажмите синюю кнопку «Обновить файл».

В заключение

Эта строка кода может вызвать головную боль, потерю дохода и негативные долгосрочные последствия для SEO.

Подвержен ли NOINDEX вашему веб-сайту? Проверьте сегодня!

Обновления от 29.08.2018:

Хотел не торопиться и упомянуть новые цифры от 29 августа 2018 года.

Количество веб-сайтов, которые я анализирую, резко возросло. В исходной статье упоминались данные, полученные с 50 000 веб-сайтов отелей. Сейчас я анализирую ~875 000 уникальных сайтов отелей (уникальные домены).

Данные, полученные на этих 875 000+ веб-сайтах отелей, показывают, что 1,502% веб-сайтов отелей используют NOINDEX или NONE в качестве значения мета-роботов.

Процент не кажется высоким, но это более 13 000 веб-сайтов отелей, которые эффективно блокируют поисковые роботы от индексации своих веб-сайтов.

Конечно, некоторые из них делают это во время обслуживания своих веб-сайтов. Другие веб-сайты на самом деле пытаются вести себя сдержанно и отображать свой бизнес только через прямые ссылки.

Но я потратил время, чтобы вручную посетить более 200 случайных веб-сайтов из этого списка, и я бы быстро оценил, что 3/4 из них на самом деле используют NOINDEX по ошибке. Так вот что.

Когда я должен использовать мета-роботов NOINDEX и FOLLOW вместе?

Только сканеры поисковых систем будут интерпретировать значения в метаэлементе «роботы».В большинстве случаев значения «INDEX» и «FOLLOW» используются для указания сканеру включить текущую страницу в свой индекс и переходить по всем ссылкам на странице.

Ваша страница может быть добавлена ​​в индекс и все ссылки могут быть просканированы, если вы добавите в исходный код своей страницы следующую разметку:

    

Преимущество/цель значения NOINDEX

Если вы не хотите иметь конкретный URL в индексе Google (или в индексе любой другой поисковой системы), вы должны добавить значение NOINDEX в метаэлемент «роботы ” в части исходного кода страниц.

Добавив в исходный код страницы следующую разметку, вы убедитесь, что эта страница не будет включена в индекс:

    

имеет смысл использовать значения NOINDEX и FOLLOW вместе?

Это зависит от цели, которую вы пытаетесь достичь. Что может заставить вас отказаться от индексации страницы поисковыми системами, но при этом сканировать все ссылки на странице?

Мэтт Каттс привел отличный пример в одном из своих видеороликов для веб-мастеров Google:

Предположим, у вас есть карта сайта в формате HTML с несколькими сотнями внутренних ссылок, и по какой-то причине эта карта сайта некрасива и, следовательно, не очень полезно посетителю.Поэтому пользователю, скорее всего, будет не очень приятно, если его перенаправят на эту страницу из результатов поиска. Чтобы избежать первого, но при этом убедиться, что поисковые системы могут переходить по всем ссылкам на странице, вы должны использовать значения NOINDEX и FOLLOW вместе.

Добавив эту разметку в исходный код страницы, вы предотвратите индексацию страницы, в то время как все ссылки на странице можно будет просканировать:

    

Другим возможным сценарием могут быть страницы тегов в блогах:

Есть случаи, когда веб-мастера говорят, что страницы тегов в их блогах занимают более высокие позиции, чем соответствующие статьи.Страницы с тегами занимают примерно от 2 до 3 позиций выше соответствующих статей. После того, как страницы с тегами были изменены на «noindex» и «follow», ранжирование статей улучшилось на эти 2–3 позиции.

Видео-объяснение Мэтта Каттса / Google по теме

Руководство по тегам Meta Robots на 2021 год

Последнее обновление 24 января 2022 г.

Когда вы используете наш веб-сайт www.contentkingapp.com («Веб-сайт»), мы можем размещать файлы cookie. Настоящая Политика в отношении файлов cookie объясняет, что такое файлы cookie и каким образом файлы cookie хранятся и информация считывается с вашего компьютера, мобильного устройства и/или планшета («Устройства»).Пожалуйста, внимательно прочитайте эту Политику в отношении файлов cookie, чтобы понять, какой тип файлов cookie использует ContentKing, какую информацию мы собираем с помощью файлов cookie и как эта информация используется.

Что такое файлы cookie?

Файлы cookie

— это небольшие текстовые файлы, которые сохраняются в браузере или на жестком диске вашего Устройства, когда вы посещаете веб-страницу или используете приложение. Файлы cookie могут быть необходимы для отображения веб-страницы или приложения на вашем Устройстве, а также используются для улучшения взаимодействия с пользователем. Файлы cookie не могут повредить ваши Устройства или сохраненные на них файлы.Существуют различные типы файлов cookie. Некоторые файлы cookie поступают непосредственно с нашего веб-сайта (основные файлы cookie), а другие исходят от третьих лиц, которые размещают файлы cookie на нашем сайте (сторонние файлы cookie).

Файлы cookie могут храниться в течение разного времени в вашем браузере или на устройстве. Сеансовые файлы cookie удаляются с вашего компьютера или устройства при закрытии веб-браузера. Постоянные файлы cookie будут храниться на вашем компьютере или Устройстве до тех пор, пока не будут удалены или пока не истечет срок их действия.

Как мы используем файлы cookie?

Основное (техническое) печенье

Мы стараемся предоставить современный и удобный веб-сайт, который автоматически адаптируется к потребностям и пожеланиям наших посетителей и пользователей.Для этого мы используем технические файлы cookie, чтобы, например, показать вам наш Веб-сайт, обеспечить его правильную работу, создать вашу учетную запись ContentKing, войти в систему и управлять вашими запросами. Эти технические файлы cookie необходимы для правильной работы нашего веб-сайта.

Функциональные файлы cookie

Мы также используем функциональные файлы cookie, чтобы запоминать ваши предпочтения и настройки (такие как имя пользователя, пароль, язык и т. д.) и помогать вам эффективно и результативно использовать Веб-сайт. Эти функциональные файлы cookie не являются строго необходимыми для функционирования нашего веб-сайта, но они добавляют вам функциональности и улучшают ваш опыт.

Аналитические файлы cookie

Мы используем аналитические файлы cookie для сбора статистики об использовании и посещениях Веб-сайта. Эти аналитические файлы cookie генерируют статистическую и другую информацию об использовании веб-сайта с помощью файлов cookie, которые хранятся на устройствах пользователей. Информация, полученная в связи с нашим Веб-сайтом, используется для создания отчетов об использовании Веб-сайта. Аналитические файлы cookie могут размещаться без вашего согласия, если такие файлы cookie не влияют на вашу конфиденциальность.В таких случаях будет запрошено предварительное согласие.

Google Analytics

Мы используем файлы cookie Google Analytics для сбора статистики об использовании и посещениях Веб-сайта. С помощью этих аналитических файлов cookie на вашем устройстве сохраняется постоянный файл cookie для регистрации использования вами Веб-сайта. Google Analytics анализирует эти данные и предоставляет нам результаты. Таким образом, мы получаем представление о трафике Веб-сайта и о том, как используется Веб-сайт. На основе этой информации мы можем вносить определенные коррективы в Веб-сайт.

Информация, которую мы получаем, передается в Google и хранится Google на серверах за пределами Европейской экономической зоны. Мы заключили соглашение об обработке данных с Google, в котором были заключены соглашения об обработке персональных данных.

Если вам нужна дополнительная информация об аналитических файлах cookie и сроках их действия, посетите информационную страницу Google Analytics. Google также предлагает возможность отказаться от сбора данных в рамках Google Analytics.

Маркетинговые файлы cookie

Мы используем сторонние маркетинговые файлы cookie, чтобы отслеживать ваше поведение в Интернете и собирать данные и информацию о вашем поведении в Интернете с различных веб-сайтов, которые вы посещали. Эта информация используется для того, чтобы содержание отображаемых рекламных объявлений было максимально релевантным, а также для ограничения повторения одних и тех же рекламных объявлений.

Социальные плагины

Используя Веб-сайт, вы можете получить доступ к веб-сайтам социальных сетей, таких как Facebook, Twitter и LinkedIn.Эти кнопки поставляются с кодом, который был создан самими этими сетями. Используя эти так называемые социальные плагины, вы можете войти в свой профиль в социальной сети и впоследствии делиться информацией с Веб-сайта с другими. С помощью этих социальных плагинов на ваших Устройствах сохраняются сторонние маркетинговые файлы cookie. Эти файлы cookie служат для оптимизации вашего пользовательского опыта.

Такие компании, как LinkedIn, Twitter и Facebook, могут передавать ваши персональные данные за пределы Европейской экономической зоны.Пожалуйста, ознакомьтесь с нашей Политикой конфиденциальности здесь и заявлением о конфиденциальности соответствующей социальной сети, чтобы узнать, как эти компании обращаются с вашими (личными) данными.

пикселей

Мы также размещаем пиксели третьих лиц. Пиксель отслеживает ваше поведение в Интернете и то, как вы используете Веб-сайт. Эти данные агрегируются и дают нам информацию о целевой группе, которая посещает наш веб-сайт. На основе этой информации мы можем показывать рекламу определенной или похожей целевой группе на веб-сайте третьей стороны, создавшей пиксель.

Отключить или удалить файлы cookie

При первом посещении веб-сайта мы просим вас дать согласие на использование файлов cookie, которые не являются необходимыми или функциональными и влияют на вашу конфиденциальность. Если вы не дадите согласие, эти файлы cookie не будут размещены. В этом случае вы не сможете использовать все функции нашего веб-сайта.

Вы можете настроить свой браузер таким образом, чтобы при следующем посещении веб-сайта вы не получали файлы cookie. Здесь вы можете прочитать, как удалить различные типы файлов cookie в разных браузерах.Пожалуйста, обратитесь к справочной функции вашего браузера, если ваш браузер не указан ниже.

Примечание. Отказ или удаление файлов cookie влияет только на Устройство и браузер, в котором вы выполняете это действие. Если вы используете разные Устройства и/или браузеры, вам потребуется повторить описанные выше действия на этих Устройствах и/или браузерах.

Конфиденциальность

Возможно, информация, собранная с помощью файлов cookie или полученная иным образом, содержит персональные данные. В этом случае наша Политика конфиденциальности применяется к обработке этих данных.Политику конфиденциальности можно прочитать здесь.

Можно ли изменить эту политику в отношении файлов cookie?

В будущем мы можем изменить настоящую Политику в отношении файлов cookie. Если происходят существенные или существенные изменения, которые могут в значительной степени затронуть одну или несколько вовлеченных сторон, мы заранее информируем их. Наша измененная политика в отношении файлов cookie также будет доступна на этой веб-странице, поэтому рекомендуется регулярно просматривать эту страницу.

Обзор файлов cookie

Основное (техническое) печенье

Основные (технические) файлы cookie помогают сделать веб-сайт удобным для использования, обеспечивая основные функции, такие как навигация по страницам и доступ к безопасным областям веб-сайта.Веб-сайт не может функционировать (должным образом) без этих файлов cookie.

Имя: ПросмотровOuibounceModal
Провайдер: ContentKing
Назначение: Сохранить состояние закрытия модального окна намерения выхода.
Срок действия: 1 месяц
Тип: http_cookie
Имя: nette-samesite
Провайдер: ContentKing
Назначение: Связь со службой учета.
Срок действия: Сессия
Тип: http_cookie
Имя: временная_метка_сессии
Провайдер: ContentKing
Назначение: Утилита для отслеживания времени начала сеанса.
Срок действия: Сессия
Тип: Сессионстораже
Имя: какое намерение
Провайдер: ContentKing
Назначение: Утилита для отслеживания текущего метода ввода.
Срок действия: Сессия
Тип: Сессионстораже
Имя: какой ввод
Провайдер: ContentKing
Назначение: Утилита для отслеживания текущего метода ввода.
Срок действия: Сессия
Тип: Сессионстораже
Имя: содержание
Провайдер: ContentKing
Назначение: Состояние хранилища для работы веб-сайта.
Срок действия: 1 день
Тип: Локальное хранилище

Статистика (аналитические файлы cookie)

Эти файлы cookie помогают нам понять, как посетители взаимодействуют с веб-сайтами, собирая и сообщая информацию анонимно.

Имя: _га
Провайдер: Google Analytics
Назначение: Хранить и подсчитывать просмотры страниц.
Срок действия: 2 года
Тип: http_cookie
Имя: _ga_*
Провайдер: Google Analytics
Назначение: Хранить и подсчитывать просмотры страниц.
Срок действия: 2 года
Тип: http_cookie
Имя: _gcl_au
Провайдер: Google AdSense
Назначение: Сохранение и отслеживание конверсий.
Срок действия: 3 месяца
Тип: http_cookie
Имя: _гид
Провайдер: Google Analytics
Назначение: Хранить и подсчитывать просмотры страниц.
Срок действия: 1 день
Тип: http_cookie
Имя: _dc_gtm_*
Провайдер: Google Analytics
Назначение: Хранить количество запросов на обслуживание.
Срок действия: 1 минута
Тип: http_cookie
Имя: шд
Провайдер: Facebook
Назначение: Информация о размерах окна браузера.
Срок действия: 1 день
Тип: http_cookie

Маркетинг (социальные плагины, сторонние маркетинговые файлы cookie, пиксели)

Маркетинговые файлы cookie

используются для отслеживания посетителей на веб-сайтах. Цель состоит в том, чтобы показывать релевантную и привлекательную рекламу для отдельного пользователя и, следовательно, более ценную для издателей и сторонних рекламодателей.

Имя: интерком-сеанс-*
Провайдер: Домофон
Назначение: Контакты, связь, поддержка.
Срок действия: 1 неделя
Тип: http_cookie
Имя: интерком-id-*
Провайдер: Домофон
Назначение: Контакты, связь, поддержка.
Срок действия: 9 месяцев
Тип: http_cookie
Имя: li_gc
Провайдер: LinkedIn
Назначение: Маркетинг
Срок действия: 2 года
Тип: http_cookie
Имя: крышка
Провайдер: LinkedIn
Назначение: Маркетинг
Срок действия: 1 день
Тип: http_cookie
Имя: bcookie
Провайдер: LinkedIn
Назначение: Маркетинг
Срок действия: 2 года
Тип: http_cookie
Имя: _uetsid
Провайдер: Реклама Майкрософт
Назначение: Маркетинг
Срок действия: 1 день
Тип: http_cookie
Имя: _uetvid
Провайдер: Реклама Майкрософт
Назначение: Маркетинг
Срок действия: 1 год
Тип: http_cookie
Имя: tap_vid
Провайдер: Тапфилиат
Назначение: Партнерский маркетинг
Срок действия: 1 год
Тип: http_cookie и локальное хранилище
Имя: _fbp
Провайдер: Facebook
Назначение: Маркетинг
Срок действия: 3 месяца
Тип: http_cookie
Имя: _fbc
Провайдер: Facebook
Назначение: Маркетинг
Срок действия: 3 месяца
Тип: http_cookie
Имя: передняя
Провайдер: Facebook
Назначение: Маркетинг
Срок действия: 3 месяца
Тип: http_cookie
Имя: хз
Провайдер: Facebook
Назначение: Маркетинг
Срок действия: 3 месяца
Тип: http_cookie
Имя: дпр
Провайдер: Facebook
Назначение: Маркетинг
Срок действия: 5 дней
Тип: http_cookie
Имя: c_user
Провайдер: Facebook
Назначение: Маркетинг
Срок действия: 30 дней
Тип: http_cookie
Имя: сб
Провайдер: Facebook
Назначение: Маркетинг
Срок действия: 1 год, 1 месяц, 14 дней
Тип: http_cookie
Имя: от
Провайдер: Facebook
Назначение: Маркетинг
Срок действия: 1 год, 1 месяц, 14 дней
Тип: http_cookie
Имя: мук
Провайдер: Твиттер
Назначение: Маркетинг
Срок действия: 1 год, 10 месяцев, 3 дня
Тип: http_cookie
Имя: muc-реклама
Провайдер: Твиттер
Назначение: Маркетинг
Срок действия: 1 год, 10 месяцев, 3 дня
Тип: http_cookie

Тег мета-роботов | Как использовать тег Meta Robots для SEO

  1. WooRank
  2. SEO-руководства
  3. Как использовать тег Meta Robots для SEO

Вы можете использовать метатег robots, чтобы контролировать, где и как роботы Google и других поисковых систем перемещаются по вашему веб-сайту и передают ссылочный вес со страницы на страницу.Если это звучит знакомо с другим текстовым файлом на вашем веб-сайте, следите за обновлениями…

В этом руководстве мы рассмотрим

  1. Что такое метатег robots и почему он важен
  2. Как вы используете метатег robots для SEO
  3. Преимущества использования метатега robots

Метатег robots — это HTML-тег, который идет в теге заголовка страницы и предоставляет инструкции ботам. Как и файл robots.txt, он сообщает поисковым роботам, разрешено ли им индексировать страницу.

Чтобы найти метатег robots на странице, просто щелкните правой кнопкой мыши веб-страницу, выберите «Просмотреть исходный код», а затем выполните поиск для «роботов». Это будет выглядеть примерно так:

  




  

В этом примере верхняя строка применяется ко всем ботам поисковых систем, а 4 строки после нее относятся к определенным пользовательским агентам.В этом конкретном примере метатег robots говорит поисковым системам не индексировать страницу. Однако боты могут свободно переходить по ссылкам, которые они находят на странице.

Метатег robots имеет значение, поскольку он добавляет дополнительный уровень защиты к файлу robots.txt. Когда сканер переходит по внешней ссылке и попадает на одну из ваших страниц, он все еще может сканировать и индексировать эту страницу, потому что он не видел файл robots.txt.

Метатег robots препятствует сканированию и индексированию.

Метатег robots применяет только к странице, содержащей этот тег. Файлы robots.txt применяются ко всему вашему веб-сайту.

Как работает метатег robots?

Как видите, тег состоит из двух частей: name="" и content="" .

Прочтите руководство по сканерам поисковых систем и сканированию, чтобы узнать больше о том, как они работают.

Часть имени указывает пользовательский агент бота, которого вы инструктируете, точно так же, как строка пользовательского агента в файле robots.текстовый файл. В отличие от robots.txt, вы не используете подстановочный знак для включения всех ботов. Для этого вы просто пишете «роботы».

Отсюда и название метатега robots.

Во второй части, content="" , вы говорите ботам, что делать.

Какие существуют значения метатегов robots?

Существует множество различных значений, которые вы можете добавить в поле content в теге robots. Каждое из этих значений делает что-то свое:

  • Индекс: Приказывает поисковым системам проиндексировать страницу.На первый взгляд это может показаться бессмысленным, поскольку «Индекс» используется по умолчанию, но может быть полезно, если вы хотите, чтобы только определенная группа поисковых систем индексировала страницу.
  • NoIndex: Указывает поисковым системам не индексировать страницу, чтобы она не отображалась в результатах поиска.
  • NoImageIndex: Указывает поисковым системам не индексировать изображения на странице. Однако, если кто-то добавит это изображение где-нибудь еще в Интернете, Google все равно проиндексирует его и покажет в результатах поиска изображений.
  • Нет: Это работает как ярлык для «noindex, nofollow».Он говорит поисковым системам игнорировать страницу и делать вид, что никогда ее не видел.
  • Follow: Указывает поисковым системам переходить по ссылкам, которые они находят на странице. Как и в случае с «Индексом», это статус по умолчанию, когда бот не находит применимый к нему метатег robots.
  • NoFollow: Указывает поисковым системам вообще не переходить ни по каким ссылкам на странице. Вы также можете добавить это значение к отдельной ссылке.
  • NoArchive: Указывает поисковым системам не показывать кэшированные копии страницы.
  • NoCache: То же, что и «NoArchive», за исключением использования MSN/Live.
  • NoSnippet: Запрещает поисковым системам отображать фрагмент этой страницы в результатах поиска. Это также предотвращает их кеширование страницы.
  • NoTranslate: Указывает поисковым системам не предлагать переведенные версии страницы в результатах поиска.
  • Unavailable_after: Указывает поисковым системам не отображать страницу в результатах поиска после определенной даты.
  • NoYDir: Указывает поисковой системе не использовать Yahoo! Описание страницы каталога в поисковом сниппете.
  • NoODP: Запрещает поисковым системам использовать описание страницы из DMOZ в фрагменте поиска. ODP — это сообщество, которое управляет и поддерживает каталог DMOZ.

Последние два значения — NoYDir и NoODP — сегодня не используются. Ни Yahoo! Каталог или DMOZ больше не существуют. Тем не менее, вы все еще можете видеть их в Интернете.

Немного усложняет ситуацию тот факт, что не все поисковые системы поддерживают все значения. Итак, вот удобная таблица, которая разбивает это:

Какие значения распознаются какими поисковыми системами?
Значение Гугл Бинг Яндекс
индекс Да Да Да
без индекса Да Да Да
нет Да Сомнение Да
индекс индекса изображения Да
следовать Да Сомнение Да
nofollow Да Да Да
без архива/кэша Да Да Да
без сниппета Да
без перевода Да
недоступен_после Да
ноодп
нойдир

Используя запятые, вы можете создавать метатеги с несколькими директивами вместо создания одного тега для каждой директивы.На самом деле, вы будете видеть это довольно часто, так как многие метатеги robots используют значения «noindex, nofollow»:

.
  
  

Обеспечение того, чтобы определенные страницы с низкой ценностью не попадали в индекс Google и результаты поиска, является такой же частью SEO, как и попадание страниц в результаты поиска. Отсутствие индексации страниц с низкой ценностью может помочь повысить так называемый «сканируемый спрос» вашего сайта, что может помочь вашему сайту сканироваться чаще.

Meta robots также добавляет дополнительный уровень защиты для страниц, которые вы заблокировали с помощью robots.текстовый файл. Эти страницы все еще могут быть проиндексированы, если Google попадет на них по внешней обратной ссылке. Отсутствие индексации страницы предотвратит это.

Использование метатега robots для предотвращения индексации страницы и перехода по ссылкам выглядит следующим образом:

  <мета имя = «роботы» содержание = «без индекса, nofollow»>
  

Значения noindex и nofollow являются двумя наиболее часто используемыми значениями в метатеге robots. Однако другие значения, перечисленные выше, также имеют SEO-значение:

.
  • NoImageIndex: Указывает поисковым системам не сканировать изображения на странице.

  • Нет: Это эквивалентно использованию «noindex, nofollow», объединенных в одно значение. Поисковые роботы не будут индексировать страницу или переходить по каким-либо ссылкам.

  • NoArchive: Запретить поисковым системам показывать кешированную версию вашей страницы. Убедитесь, что люди всегда видят последнюю версию вашего контента. MSN/Live использует «NoCache» вместо «NoArchive».

  • NoSnippet: Это останавливает поисковые системы от отображения фрагмента вашего сайта в результатах поиска и от показа кэшированной версии страницы.

Если весь смысл SEO заключается в попадании страниц в результаты поиска, то как же мета-роботы страницы помогают SEO?

  1. Предотвращает индексирование и отображение личных файлов или папок в результатах поиска. Обычно рекомендуется вообще не публиковать этот контент на вашем сайте или защищать его паролем. Однако, если по какой-то причине вам нужно разместить его на своем сайте, метатег robots не позволит ему попасть в Google.

  2. Помогает поисковым системам более эффективно сканировать ваш сайт.У поисковых роботов ограниченный краулинговый бюджет, поэтому теоретически они могут тратить все свое время на сканирование страниц, рейтинг которых вам не особо важен, игнорируя самые важные из них. Блокировка индексации этих неважных файлов поможет поисковым роботам перейти на более ценные страницы.

  3. Если у вас есть страница, которая приобрела много ссылок, но вы не хотите, чтобы она индексировалась, используйте директиву follow, чтобы передать эту массу ссылок на другие страницы вашего сайта.

Хотя никогда не рекомендуется публиковать конфиденциальную информацию на своем веб-сайте, иногда это происходит.Блокировка этих URL-адресов через robots.txt говорит всем, кто читает его, что им следует взглянуть на эти страницы. Добавление «noindex» в метатег robots не позволит этой странице попасть в результаты поиска, не указав ее там, где кто-то может ее найти.

Самая важная часть использования метатега robots — убедиться, что вы используете его правильно. Нередки случаи, когда весь сайт деиндексируется из-за того, что кто-то случайно добавил тег robots noindex ко всему сайту. Поэтому понимание того, как работает метатег robots, абсолютно необходимо для SEO.

Что такое теги NoIndex и как они влияют на SEO?

Директивы «Нет индекса» предписывают поисковым системам исключить страницу из индекса, что делает ее непригодной для отображения в результатах поиска.

Мета-роботы «Noindex» Теги

Самый распространенный способ запретить поисковым системам индексировать страницу — включить тег Meta Robots в тег HTML-страницы с директивой noindex, как показано ниже:

<метаимя=”роботы” контент=”без индекса” />

Примерно в 2007 году основные поисковые системы начали поддерживать директивы «noindex» в тегах Meta Robots.Теги Meta Robots также могут включать другие директивы, такие как директива «follow» или «nofollow», которые предписывают поисковым системам сканировать или не сканировать ссылки, найденные на текущей странице.

Обычно веб-мастера используют директиву noindex для предотвращения индексации содержимого, не предназначенного для поисковых систем.

Некоторые распространенные варианты использования директив noindex:

  • Страницы, содержащие конфиденциальную информацию
  • Корзина покупок или страницы оформления заказа на веб-сайте электронной коммерции
  • Альтернативные версии страниц для активных A/B или сплит-тестов
  • «Промежуточные» (или находящиеся в процессе разработки) версии страниц, еще не готовые для публичного использования

Кроме того, поисковые системы поддерживают директиву noindex, доставляемую через заголовки ответов HTTP для данной страницы.Хотя этот подход менее распространен, и его может быть сложнее идентифицировать с помощью обычных инструментов SEO, инженерам или веб-мастерам иногда проще включить его в зависимости от конфигурации их сервера.

Имя и значение заголовка ответа «noindex» следующие:

X-Robots-Tag: noindex

Лучшие практики SEO для директив noindex

1. Избегайте использования «noindex» на ценных страницах

Случайное включение тега или директивы noindex на ценную страницу может привести к удалению этой страницы из индексов поисковых систем и прекращению получения всего органического трафика.

Например, если запускается новая версия веб-сайта, но остаются теги «noindex», которые были включены для предотвращения индексации поисковыми системами новых версий страниц до того, как они будут готовы, новая версия веб-сайта может немедленно перестать получать трафик из поиска

2. Поймите, что «noindex» в конечном итоге рассматривается как «nofollow»

Веб-мастера часто используют теги Meta Robots или заголовки ответов, чтобы сигнализировать поисковым системам о том, что текущая страница не должна быть проиндексирована, но ссылки на странице все равно должны сканироваться, как со следующим тегом Meta Robots:

Обычно используется для страниц с разбивкой на страницы.Например, «noindex,follow» может быть применен к спискам архивов блога, чтобы предотвратить появление самих страниц архива в результатах поиска, но позволить поисковым системам сканировать, индексировать и ранжировать сообщения блога самостоятельно.

Однако этот подход может работать не так, как предполагалось, поскольку Google объяснил, что их системы в конечном итоге обрабатывают директиву «noindex,follow» как «noindex,nofollow» — другими словами, они в конечном итоге перестанут сканировать ссылки на любой странице с директива noindex.Это может предотвратить индексацию целевых страниц или снизить их PageRank или авторитетность, понизив их рейтинг по релевантным ключевым словам.

3. Избегайте использования правил noindex в файлах robots.txt

Официально поисковые системы никогда не поддерживали директиву «noindex» в правилах robots.txt в течение некоторого времени. Поскольку правила robots.txt с подстановочными знаками могут применяться ко многим страницам одновременно без внесения каких-либо изменений в сами страницы, этот метод предпочитали многие веб-мастера.

Leave a Reply