Использование тега noindex: Что такое и чем различаются noindex и nofollow

Содержание

Тег noindex. Как правильно пользоваться?

Многие из нас слышали о тегах noindex и nofollow, что ими пользуются, что-то там закрывают в коде страницы и вроде как это даже положительно сказывается на продвижении сайта в поисковой выдаче. Если Вы желаете избавиться от этих самых «что-то там» и «вроде как» в своем понимании использования этих тегов, то этот обзор для Вас.

В этой статье будут рассмотрены все тонкости использования noindex и к чему это в конечном итоге приводит оптимизаторов и «переоптимизаторов». В следующем обзоре мы также тщательно пройдемся по атрибуту nofollow, чтобы окончательно расставить все точки над «и» в использовании этих инструментов.

Как пользоваться?

В рекомендациях для вебмастеров от Яндекса предлагается для использования две версии данного тега.

Первый вариант:

<noindex>Закрытое к индексации содержимое</noindex>

Второй вариант:

<!--noindex-->Закрытое к индексации содержимое<!--/noindex-->

Отличие между ними только в том, что второй вариант валиден (не содержит в себе ошибки с точки зрения документации html). В остальном же оба варианта используются для скрытия от индексации поисковым роботом Яндекса (для гугла используются другие фишки) определенной части html кода страницы.

Пользоваться тегом noindex элементарно – достаточно просто заключить внутрь тега все содержание страницы, которое мы не хотим открывать поисковику.

Любопытным моментом также является то, что при его использовании не обязательно соблюдать принцип вложенности тегов html. Мы просто закрываем содержимое откуда хоти докуда хотим. Главное не забыть поставить закрывающий тег, иначе робот не увидит весь код страницы идущий после открывающего тега.

Особенности применения

  1. Тег noindex закрывает от индексации весь код содержащийся внутри него КРОМЕ картинок и ссылок. Это вызвано в первую очередь тем, что для них предусмотрено использование атрибута nofollow.
  2. Им СТОИТ пользоваться для скрытия кодов счетчиков сайта, форм подписок на рассылки, баннеров, часто повторяющегося контента (по типу цитат), слишком часто меняющихся фрагментов страницы, нецензурных выражений (рекомендация от авторов- вообще соблюдайте культуру речи и будет вам Добро).
  3. Бесполезно его использовать для скрытия только ссылок,  рекламы от яндекс директ и гугл адсенс.

Осторожно, переоптимизация! Или вредные советы для вебмастеров.

Многие «умелые» оптимизаторы давно приспособили этот тег для удовлетворения своих изощренных желаний в продвижении страниц. Рассмотрим до чего можно дойти и почему этого делать не стоит:

  • Исключая лишние фразы и куски текста из содержания страницы можно изменять сниппеты (описания сайта в поисковой выдаче) по своему желания. Помимо глобальной потери времени этот подход еще грозит санкциями от поисковой системы, которая при «осознании» факта мошенничества вполне может ответить санкциями к и злишне ретивому мастеру.
  • Если сниппеты для Вас это лишь детский сад, то можно пойти и дальше. А давайте покажем каждому поисковику свое содержание страницы? С учетом того, что noindex работает только в Яше, то достичь этой цели достаточно просто. Даже не знаю стоит ли писать что делают Гугле и Яндекс с теми, кого поймали на манипулировании алгоритмами поиска?
  • Если в тексте использовано слишком много ключевых слов, то можно лишние ключи поскрывать этим тегом. Только почему не потратить это время на простое приведение текста в порядок? Вопрос для размышления. Таким подходом мы добиваемся: А- того, что текст остается заспамленным для пользователей ресурса; Б- яндекс не дурак и отлично понимает когда его пытаются обмануть, потому страницы с слишком часто используемым тегом noindex достаточно быстро «проваливаются» в поисковой выдаче.

Подводя итоги

Как noindex не крути, а он по-прежнему остается инструментом не белой, а серой оптимизации сайта. Не взирая на оправданность его использования во многих ситуациях, помните, что алгоритмы поисковых систем продолжают активно развиваться и поисковик и так понимает что и где у сайта расположено, хоть пока и не придает этому особого значения.

Из минусов также можно отметить то, что после появления поддержки в Яше атрибута nofollow весь рунет ожидает прекращения поддержки noindex. На сегодняшний день о этом ничего не слышно, но прельщаться этим не стоит.

Оценок: 4 (средняя 4.8 из 5)

  • 2376 просмотров

Понравилась статья? Расскажите о ней друзьям:

Еще интересное

Как использовать NOINDEX и NOFOLLOW?

Общаясь с клиентами и посещая тематические форумы по SEO не редко можно встретить вопрос, как, каким образом и в каких случаях использовать запрет индексации, «NOINDEX» и «NOFOLLOW»?

Прежде чем погрузиться в эту тему полностью уточним синтаксис, как объявляются эти правила.

«NOINDEX» можно объявить как HTML-тег:

<noindex>текст или код, запрещаемый для индексирования</noindex>

Но, написав код именно так, вы получите ошибку валидатора, потому что такой синтаксис не валиден. Если вы стремитесь к валидному коду, следует написать так:

<!-- noindex -->текст или код, запрещаемый для индексирования<!--/ noindex -->

Если вы хотите запретить индексировать всю страницу, можно использовать META-тег:

<meta name="robots" content="noindex"/>

Теперь рассмотрим синтаксис объявления «NOFOLLOW».

«NOFOLLOW» можно объявить как содержимое атрибута REL – (relationship) дословно-отношения. Атрибут указывает на отношение текущего документа к документу, на который ведёт ссылка, указанная в атрибуте «HREF» тега «A»:

<a href=”” rel="nofollow">анкор</a>

или как META-тег:

<meta name="robots" content="nofollow"/>

Как именно использовать эти инструкции, решать вам. А вот разницу давайте рассмотрим вместе.

<NOINDEX> и REL=»NOFOLLOW»

HTML-тег «NOINDEX» запрещает поисковой системе «Яндекс», только «Яндекс» поймёт эту инструкцию, и не будет индексировать выделенную этим тегом часть кода HTML-страницы. Только в Яндексе, потому что в поисковой системе «Google» возможность исключения части страницы не предусмотрена, что и указано в хелпе (помощи) поисковой системы.

Существует заблуждение, что если часть текста или кода страницы выделить тегом «NOINDEX», то Яндекс пропустит этот кусок кода при обходе роботом. Нет, не пропустит. Часть кода будет прочитана роботом и проанализирована поисковой системой, но не будет появляться и учитываться в поисковой выдаче системы. Чтобы лучше понять, почему так, поясним работу поисковых роботов, краулеров. Робот заходит на страницу вашего сайта и начинает её сканировать, читать. В какой-то момент обнаруживается объявление, открытие тега «NOINDEX». Так как страница роботом читается так же, как и людьми, слева направо и сверху вниз, разница в том, что робот читает не видимую часть, а код страницы, то краулер должен увидеть закрытие тега, то есть в какой точке страницы заканчивается отрывок кода, который вы запрещаете для индексации, значит, страница будет прочитана полностью. А значит, всё её содержимое будет известно поисковой системе. В связи с этим можно утверждать, что скрывать тегом «NOFOLLOW» часть неуникального текста – бессмысленно. Поисковая система поймёт и просчитает уникальность текста на вашей странице.

Встречается ещё один миф об этом теге. Если в тег «NOINDEX» поместить ссылку, то она не будет проиндексирована, а значит, не будет передавать свой «вес». Будет. Но в поисковую выдачу не попадёт текст, указанный в этой ссылке, сам анкор.

Какой смысл у тега «NOINDEX»?

Возникает резонный вопрос. А для чего нужен тег «NOINDEX»?

Тег «NOINDEX» предназначен для скрытия информации именно в поисковой выдаче, например, текст на странице посвящён описанию какой-либо одной характеристике товара, которая встречается у очень многих позиций вашего интернет-магазина, и вы в качестве примеров приводите описания этих товаров для сравнения и вам не нужно, чтобы в поиске всплывали эти второстепенные описания. Вот в этом случае ненужные подробные описания товаров и заключаются в тег «NOINDEX». Или ещё вариант, если на многих страницах повторяется один и тот же кусок текста. Конечно же, он может попасть в поисковую выдачу на всех этих страницах. Чтобы этого не произошло, используется тег «NOINDEX».

Как закрыть ссылку? Используем «NOFOLLOW».

С тегом «NOINDEX» разобрались. А для чего нужен «NOFOLLOW»?

Иногда нужно сослаться на информацию на другом интернет-ресурсе, но по каким-то причинам очень не хочется отдавать «вес» своей страницы. Вот в таких случаях и применяется атрибут отношения страницы-донора к акцептору (странице принимающей вес) – «NOFOLLOW».

Содержимое атрибута REL «NOFOLLOW» понимается обоими флагманами поиска, «Яндексом» и «Google». При указании «NOFOLLOW» роботы обойдут, прочитают и проанализируют сами ссылки, содержащиеся анкоры (текстовое содержание ссылки) и страницы, на которые идут ссылки, но вес вашей страницы передан не будет.

Синтаксис использования «NOINDEX» «NOFOLLOW» следующий:

Передаётся вес и индексируется анкор ссылки.

<a href=”http://reg50.ru/”> Поддержка и продвижение сайтов</a>

Вес страницы передаётся, но Яндекс не индексирует текстовое содержимое ссылки, анкор.

<!-- noindex --><a href=”http://reg50.ru/”> Поддержка и продвижение сайтов</a><!--/ noindex -->

Вес страницы не передаётся и Яндекс не индексирует текстовое содержимое ссылки, анкор.

<!-- noindex --><a href=”http://reg50.ru/” rel="nofollow"> Поддержка и продвижение сайтов</a><!--/ noindex -->

META-теги NOINDEX и NOFOLLOW

В начале статьи мы указали, что кроме тега «NOINDEX» и содержимого атрибута REL «NOFOLLOW» (rel=”nofollow”) есть ещё и META-теги с такими же именами. А зачем нужны они, если имеющегося функционала и так достаточно? Для чего используются
<meta name="robots" content="noindex"/>
и
<meta name="robots" content="nofollow"/>?

META-тег «NOINDEX», как и в случае с HTML-тегом запрещает индексирование только поисковой системе «Яндекс», всей страницы. То есть, в поисковую выдачу не попадёт только текстовая составляющая всей страницы, но страница будет прочтена и проанализирована, ссылки передадут «вес» страницам на которые ссылаются.

При наличии META-тега «NOFOLLOW» поисковые системы не будут индексировать ссылки, переходить по ним на акцепторы и передачи веса страниц не будет. Но, если на других страницах вашего сайта имеются такие же ссылки и они не закрыты META-тегом или атрибутом, то вес будет передан.

Итого

Теперь подведём итоги об использовании и значении «NOINDEX» и «NOFOLLOW».

Если нам нужно исключить какую-либо информацию из поисковой выдачи, используем «NOINDEX».

Если нам нужно сослаться на источник или материал на нашем сайте, но не нужно передавать вес страницы-донора, используем «NOFOLLOW».

При объявлении этих инструкций не забываем об описанных выше нюансах и принципах обработки этих команд поисковыми системами.

 

Успешного Вам продвижения!

 

#оптимизация сайта, #продвижение сайта, #техническая оптимизация

Noindex: где и когда использовать

Конструкция noindex позволяет скрыть от поисковых систем часть контента web-страницы. Исходя из названия можно догадаться, что она запрещает индексацию части кода поисковыми роботами. При помощи noindex можно закрыть от индекса:

  • анкор ссылки;
  • часть текста или весь текст;
  • всю страницу целиком.

В зависимости от ситуации может применяться атрибут noindex или тег noindex. Давайте рассмотрим на примерах.

Как закрыть noindex анкор ссылки

Для этого нужно взять ссылку с анкором в тег, как указано ниже:

<noindex><a href=”http://adressayta”>анкор ссылки</a></noindex>

Применяя такую конструкцию вы позволяете поисковому роботу видеть и переходить по ссылке, но запрещаете индексацию самого анкора ссылки.

Как закрыть noindex кусок текста или весь текст

Могут возникнуть такие ситуации, когда нужно закрыть от индексации большой кусок текста, для этого его нужно взять в тег полностью, как показано ниже:

<noindex>

<p>Текст.</p>

</noindex>

Обычно эту конструкцию используют для закрытия некачественных текстов от индексации с целью снятия текстовых фильтров поисковых систем. В некоторых случаях это помогает.

Как закрыть noindex всю страницу

Запретить индексацию всей страницы можно атрибутом noindex в составе мета-тега robots в разделе <head>:

<head>

<meta name=”robots” content=”noindex”>

</head>

Важно! Разные поисковые системы могут по-разному интерпретировать конструкцию noindex. Чтобы достичь нужного эффекта от его использования, предварительно ознакомьтесь с инструкциями по его применению.

Использование noindex тесно связано с применением nofollow.

Заказать раскрутку сайта в Днепре можно через форму заявки под этой статьёй.

Использование тэга noindex и атрибута rel=nofollow

Всем привет! Оптимизация сайта предполагает не только грамотный дизайн и качественный контент, но и наличие определенных тэгов. Так, тэг noindex и атрибут rel=nofollow помогут обеспечить качественную оптимизацию ресурса.

Содержание:

Тэг noindex и атрибут nofollow

Тэг noindex запрещает индексацию того или иного текстового куска кода html. Правда, данный тэг работает не во всех html-редакторах. Так, к примеру, в WordРress он автоматически удаляется. Валидный noindex будет работать в таких редакторах только при одном условии, если он будет заключен в квадратные кавычки, внутри которых перед тэгом будет стоять восклицательный знак и два дефиса. После названия тэга перед закрывающей кавычкой также необходимо поставить два тире. Например: <! — noindex —>.

Использовать тэг можно только с поисковой системой Яндекс, поисковая система Google игнорирует его.

Применяется noindex и в качестве обычного тэга, и в качестве мета-тега, что сказывается на его функциях.

Так, если обычный тэг скрывает от индексации прописанный в нем кусок текста, то мета-тэг noindex, прописанный в коде, запретит индексировать всю страницу.

Стоит отметить, что в некоторых ситуациях тэг не спасает страницу или кусок информации от индексирования. Это связано с тем, что поисковая система Яндекс индексирует весь html-код, и лишь затем включает фильтры согласно прописанным в коде тэгам. Правда, зачастую проиндексированный кусок текста через некоторое время удаляется из базы данных поисковой системы. Кроме того тэг noindex не обязательно должен иметь вложенное размещение, в поисковой системе Яндекс он работает и в случае неправильной вложенности.

Атрибут nofollow используется в том случае, если необходимо скрыть от индексации те или иные ссылки. Закрыть ссылку в nofollow можно для поисковых систем Яндекс и Google.

С атрибутом nofollow тесно связано понятие веса ссылки, то есть ее значимости при продвижении сайта. При ранжировании сайтов вес ссылки имеет большое значение. Так, чем больше других ресурсов ссылаются на сайт, тем выше будет его рейтинг. При использовании атрибута rel=nofollow вес ссылки не передается ссылаемому сайту.

Использование тэга noindex

Тег используется для того, чтобы скрыть от поисковых систем определенные, ненужные куски кода, которые, по сути, не несут важной информации. Прописывать его желательно для того, чтобы скрыть:

  • код счетчиков;
  • формы подписок;
  • форму рассылки;
  • код баннеров;
  • сайтбар;
  • блоки с постоянно обновляемой текстовой информацией, к примеру, анонсы статей, прогноз погоды.

В некоторых случаях применяют валидный noindex и для скрытия неуникальных фрагментов текста – цитат, копипаста, а также нецензурной лексики.

Применять тег не рекомендуется для скрытия внутренних и внешних ссылок, рекламы от поисковых систем.

Использование nofollow

В случае необходимости закрыть ссылку в nofollow можно для ограничения передачи веса по ссылкам в том случае, если они ведут на ненадежный сайт или ресурс, который не имеет особой ценности для владельца сайта. Также с его помощью можно ограничить передачу веса ссылки, ведущей на сайт, не соответствующей тематике ссылаемого на него ресурса.

Применяется он и для уменьшения количества исходящих ссылок в том случае, если страница содержит много как внутренних, так и внешних ссылок. Ограничивают с его помощью и отдачу веса ссылки для сайтов с большим ТИЦ.

Следует грамотно использовать nofollow, ведь чрезмерное сокрытие ссылок может привести к снижению доверия поисковых систем. Старайтесь оставлять открытыми две- три ссылки на каждой странице.

Использовать тэг noindex и атрибут rel=nofollow можно как по отдельности, так и вместе, но при этом важно понимать, что тег nofollow закрывает только ссылки, а noindex закрывает анкоры.

Правильное и умеренное использование тэгов поможет провести полноценную оптимизацию ресурса и вывести его в топ поисковых систем в весьма короткий срок. До скорой встречи!

С уважением, Евгений Кузьменко.

Использование robots.txt и мета тега noindex

Все, кто сталкивался с разработкой или просто использованием сайтов слышали о таком термине как robots.txt.
Это специальный файл с кодировкой UTF-8, который должен находится в корне домена (https://mypersonaldomen.com/robots.txt) и весить не более 500 Кб. Команды в этом файле рекомендуют (но не гарантируют) поисковым роботам Google, Yandex и другим исполнять те или иные указания. Например, мы можем попросить ботов не индексировать страницы с регистрацией, формой поиска, личного кабинете клиентов или любую другую страницу.
Важно понимать, что это просто рекомендации которые мы хотим передать, однако это не дает 100% гарантии. Если на закрытую страницу в robots.txt будет найдена внутренняя или внешняя ссылка то существует некая вероятность что страница все равно попадет в индекс поисковой выдачи.

Синтаксис файла robots.txt

User-Agent: указывает название бота поисковой системы, к которому будем обращаться.

Disallow: путь к странице, куда хотим закрыть доступ.

Crawl-delay: команда, указывающая как часто должен робот поисковой системы заходить на сайт.
Иногда может быть полезно при большой посещаемости, для уменьшения нагрузки на сервер.

На заметку:

  • Символ #: используется для комментариев внутри файла robots.txt
  • Файлы и папки нужно писать, учитывая их регистр
  • Host: директива для Яндекс, которая указывает главное зеркало сайта
  • Sitemap: тут прописывается полный пусть с https к карте сайта
  • * — данный знак обозначает любую последовательность символов

Пример использования файла robots.txt

Запрещаем индексацию всех страниц (полезно при разработке нового сайта):
User-agent: *
Disallow: /

Запретим роботу от google индексировать папку /tmp
User-agent: Googlebot
Disallow: /tmp/

Запретим роботу от google индексировать файл /provider.html
User-agent: Googlebot
Disallow: /tmp/provider.html

Запретим всем ботам индексировать файлы .pdf
User-agent: *
Disallow: /*.pdf$

Разрешим роботам Яндекс индексироват страницу provider.html
User-agent: Yandex
Allow: /tmp/provider.html

Путь к карте сайта:
User-agent: *
Disallow:
Sitemap: https://mypersonaldomen.com/sitemap.xml

Для чего используется мета тег noindex

В отличии от наших рекомендаций в файле robots.txt, мы можем указать для ботов поисковых систем гарантированный запрет индексации страницы.
Для этого в HEAD страницы нужно прописать строку:

<meta name=»robots» content=»noindex, follow»> — запретить индексацию, но разрешить переходить по ссылкам на текущей странице

<meta name=»robots» content=»noindex, nofollow»> — запретить как индексацию так и переходить по ссылкам на текущей странице

Полное руководство по тегу Noindex для SEO

Предотвращение появления определенных страниц в результатах поиска является неотъемлемой частью вашей стратегии индексации.

Одним из важнейших методов управления индексацией вашего сайта является директива noindex в метатегах robots или x-robots-tags.

Тег noindex можно использовать, чтобы сообщить ботам, что страницу не следует индексировать, если вы все еще хотите, чтобы они сканировали данную страницу и переходили по ссылкам на ней.

Неправильная реализация директивы noindex может привести к тому, что ваш контент будет удален из индекса Google.

Убедитесь, что этого не произойдет — следуйте моему руководству , чтобы узнать, когда использовать тег noindex, как его реализовать и какие рекомендации использовать.

Что такое тег noindex?

Тег noindex — это HTML-тег, используемый для управления тем, как боты обрабатывают определенную страницу или файл на вашем сайте, и запрещает им индексировать эту страницу или файл.

Вы можете указать поисковым системам не индексировать страницу , добавив директиву noindex в метатег robots — просто добавьте следующий код в раздел HTML:

 <метаимя=”роботы” контент=”ноиндекс”> 

В качестве альтернативы можно добавить тег noindex в качестве тега x-robots в заголовок HTTP :

 тег x-роботов: noindex 

Когда бот поисковой системы, такой как Googlebot, сканирует страницу с тегом noindex, он не будет ее индексировать.Если страница ранее была проиндексирована, а тег был добавлен позже, Google удалит ее из результатов поиска, даже если на нее ссылаются другие сайты.

Как правило, поисковые роботы не обязаны следовать метадирективам , поскольку они служат скорее рекомендациями, чем правилами, которые они должны соблюдать. Некоторые сканеры поисковых систем могут по-разному интерпретировать мета-значения роботов.

Однако большинство сканеров поисковых систем, таких как Googlebot, подчиняются директиве noindex.

Noindex против nofollow

Существуют и другие мета-директивы для роботов, которые поддерживает Google. Самые популярные из них включают nofollow и follow.Однако тег Follow является настройкой по умолчанию, если метатеги robots не добавлены, поэтому Google считает его ненужным.

Тег nofollow не позволяет поисковым системам сканировать ссылки на странице. В результате ранжирующие сигналы этой страницы не будут передаваться страницам, на которые она ссылается.

Директиву noindex можно использовать отдельно, но ее также можно комбинировать с другими директивами. Например, вы можете добавить тег noindex и nofollow , если вы не хотите, чтобы роботы поисковых систем индексировали страницу и переходили по ссылкам на ней.

Если вы внедрили тег noindex, но ваша страница по-прежнему появляется в результатах поиска, вероятно, Google просто не сканировал страницу с момента добавления тега. Чтобы запросить у Google повторное сканирование страницы, вы можете использовать инструмент проверки URL.

Когда следует использовать тег noindex?

Вы должны использовать тег noindex, чтобы Google не индексировал страницы.  

Запрещение индексации менее важных страниц имеет решающее значение, поскольку у Google недостаточно ресурсов для сканирования и индексации каждой страницы, которую он находит в Интернете.В то же время вам необходимо определить свои ценные страницы, которые следует проиндексировать, и расставить приоритеты в их оптимизации.

Давайте посмотрим, на какие типы страниц следует добавить тег noindex, чтобы сделать их неиндексируемыми.

Поместите тег noindex на:

  • Страницы товаров, которых нет в наличии и которые больше не будут доступны.
  • Страницы с дублирующимся содержимым, которые часто преобладают на веб-сайтах электронной коммерции. Также рекомендуется использовать канонические теги, чтобы указать поисковым системам на основные версии ваших страниц и предотвратить дублирование контента.
  • Страницы, которые не должны быть доступны в результатах поиска, например, промежуточные среды или защищенные паролем страницы.
  • Страницы, ценные для поисковых систем, но не для пользователей, например страницы, содержащие ссылки, которые помогают ботам находить другие страницы.

Запрещение индексации страниц должно быть частью хорошо зарекомендовавшей себя стратегии индексации.

Вы никогда не должны включать noindex на ценные страницы, например:

  • Самые популярные страницы товаров, 
  • статей в блогах (если они не устарели),
  • Страницы обо мне и контакты, 
  • страниц с описанием предлагаемых вами услуг.

Как правило, никогда не размещайте noindex на страницах, которые, как вы ожидаете, будут генерировать значительный органический трафик.

Как реализовать тег noindex

Тег noindex можно разместить в HTML-коде сайта или в заголовках ответов HTTP.

Некоторые плагины CMS, такие как Yoast, позволяют автоматически не индексировать публикуемые вами страницы.

Давайте шаг за шагом рассмотрим два основных метода реализации и проанализируем их плюсы и минусы.

Вставьте тег noindex в HTML-код страницы

Тег noindex может быть реализован как метатег robots в HTML страницы.  

Метатеги

Robots — это коды, используемые для управления сканированием и индексированием веб-сайта. Пользователи их не видят, но боты находят их при сканировании страницы.

Вот как реализовать код:

 

<голова>


<тело>

 

Поясним, как устроен метатег robots.

Внутри метатега есть пары атрибутов и значений:

 <мета-атрибут="значение"> 

Метатег Robots имеет два атрибута:

  • имя — указывает имя бота поисковика,
  • content — содержит директивы для ботов.

Для обоих атрибутов требуются разные значения в зависимости от того, что вы хотите, чтобы боты делали. Кроме того, атрибуты name и content не чувствительны к регистру.

Атрибут имени обычно принимает значение «роботы», указывая, что директива нацелена на всех ботов.

Вместо этого также можно использовать имя конкретного бота, например «googlebot», хотя такое встречается гораздо реже. Если вы хотите обращаться к разным ботам, вам нужно будет создать отдельные метатеги для каждого из них.

Имейте в виду, что поисковых систем имеют разные сканеры для разных целей – ознакомьтесь со списком сканеров Google.

Между тем, атрибут содержимого содержит директиву для ботов. В нашем случае это «noindex». Вы можете поместить туда более одного значения и разделить атрибуты запятыми.

Плюсы и минусы метатегов robots

Метод HTML легче реализовать и изменить, чем метод заголовка HTTP. Это также не требует, чтобы у вас был доступ к вашему серверу.

Однако внедрение тега noindex в ваш HTML может занять много времени — вам придется добавлять его вручную на каждую страницу, которую вы хотите запретить индексировать.

Другим решением является указание директивы noindex в теге x-robots.

Это элемент ответа заголовка HTTP. Заголовки HTTP используются для связи между сервером и клиентом (браузером или ботом поисковой системы).

Вы можете настроить его на своем веб-сервере HTTP. Код будет выглядеть немного по-разному в зависимости от того, какой сервер вы используете — например, Apache, Nginx или другие.

Вот пример того, как может выглядеть HTTP-ответ с тегом x-robots:

 HTTP/1.1 200 ОК
(…)
тег x-роботов: noindex
(…) 
сервер Apache

Если у вас есть сервер на базе Apache и вы хотите не индексировать все файлы, заканчивающиеся на «.pdf», вам следует добавить директиву к файлу .htaccess .

Вот пример кода:

 <Файлы ~ "\.pdf$">
 В заголовке установлен x-robots-tag "noindex"
 
Nginx-сервер

Если у вас есть сервер на базе Nginx , внедрите директиву в файл .файл конфигурации :

 расположение ~* \.pdf$ {
 add_header x-robots-tag "noindex";
} 
Плюсы и минусы использования заголовков HTTP

Одним из существенных преимуществ использования noindex в HTTP-заголовках является то, что вы можете использовать его в веб-документах, которые не являются HTML-страницами , например в файлах PDF, видео или изображениях. Кроме того, этот метод позволяет настроить таргетинг на определенную часть страницы.

Кроме того, тег x-robots поддерживает использование регулярных выражений (RegEx).Другими словами, вы можете настроить таргетинг на страницы, которые не должны индексироваться, указав, что у них общего. Например, вы можете настроить таргетинг на страницы с URL-адресами, которые содержат определенные параметры или символы.

С другой стороны, вам нужен доступ к вашему серверу для реализации тега x-robots.

Добавление тега также требует технических навыков и является более сложным, чем добавление метатегов robots в HTML-код веб-сайта.

Как проверить реализацию тега noindex?

Если вы хотите проверить, реализованы ли noindex или другие метадирективы robots, вы можете сделать это в зависимости от того, как они были добавлены на страницу.

Таким образом, если тег noindex был добавлен в HTML-код страницы, вы можете проверить ее исходный код, а для заголовков HTTP вы можете использовать параметр Inspect в Chrome . Эти инструменты покажут вам, какие директивы были распознаны на данной странице.

Другие варианты включают ввод URL-адреса в инструмент проверки URL-адресов Google Search Console или использование расширения Link Redirect Trace.

Дополнительная информация об использовании тега noindex

Вот некоторые дополнительные рекомендации по использованию тега noindex и подробности о его характеристиках:

  1. Всякий раз, когда вы не включаете noindex в свой код, параметр по умолчанию — это то, что боты могут индексировать вашу страницу .
  2. Следите за любыми ошибками в коде, такими как запятые в нужных местах — боты не поймут ваши команды, если синтаксис неправильный.
  3. Добавьте теги в код HTML или заголовки ответа HTTP, но не в оба одновременно. Это может иметь преимущественно негативные последствия, если директивы в соответствующих местах противоречат друг другу. В этом случае Googlebot выберет директиву, ограничивающую индексацию.
  4. Вы можете использовать директиву noimageindex, которая будет работать аналогично noindex, но только предотвратит индексацию изображений на данной странице.
  5. Через некоторое время боты начинают рассматривать noindex как nofollow. Многие люди отключают индексирование страниц с помощью noindex, но комбинируют его с директивой follow, чтобы роботы по-прежнему сканировали ссылки на странице. Но Google объяснил , что директива noindex, follow в конечном итоге будет рассматриваться как noindex, nofollow , потому что в какой-то момент они перестают сканировать ссылки на неиндексированных страницах. В результате страницы назначения ссылок могут не индексироваться и получать сигналы пониженного ранжирования, что может негативно сказаться на их ранжировании.
  6. Не используйте noindex в файлах robots.txt. Хотя это и некоторые другие правила официально не поддерживались, поисковые роботы следовали директивам noindex в файлах robots.txt. Однако в сентябре 2019 года Google объявил об удалении кода, который обрабатывал неподдерживаемые и неопубликованные правила в файлах robots.txt, таких как noindex, в сентябре 2019 года.

Сравнение тегов noindex, файлов robots.txt и канонических тегов

тегов noindex, роботов.txt файлы и канонические теги связаны между собой — их можно использовать для управления сканированием и/или индексированием страниц .

Однако у них есть некоторые отличительные характеристики, которые делают их пригодными для использования в различных ситуациях.

Мы установили, что теги noindex определяют, следует ли индексировать определенные страницы веб-сайта, и они действуют на уровне страниц.

Давайте посмотрим, как это соотносится с файлами robots.txt и каноническими тегами.

Файлы robots.txt

Файлы robots.txt могут использоваться для управления тем, как роботы поисковых систем сканируют части вашего веб-сайта на уровне каталогов.  

В частности, файлы robots.txt содержат директивы для ботов поисковых систем, в которых основное внимание уделяется либо «запрещению», либо «разрешению» их поведения. Если боты будут следовать директиве, они не будут сканировать запрещенные страницы, и страницы не будут проиндексированы.

Директивы Robots.txt широко используются для экономии краулингового бюджета веб-сайта.  

Будьте осторожны при реализации тегов noindex и настройке правил в файлах robots.txt. Чтобы директива noindex была эффективной, данная страница должна быть доступна для сканирования, а это означает, что она не может быть заблокирована файлом robots.txt.

Если сканер не может получить доступ к странице, он не увидит тег noindex и не будет его учитывать. Затем страницу можно просканировать и она появится в результатах поиска, например, если на нее ссылаются другие страницы.

Чтобы не индексировать страницу, разрешите ее сканирование в robots.txt и используйте метатег noindex , чтобы заблокировать его индексацию — тогда Googlebot будет следовать директиве noindex.

Канонические теги

Канонические теги — это HTML-элементы, которые сообщают поисковым системам, какая страница из нескольких похожих является основной версией и должна быть проиндексирована. Они размещаются на второстепенных страницах и указывают канонический URL — в результате эти второстепенные страницы не должны включаться в индекс.

Канонические теги могут ограничивать индексацию неканонических страниц, но Google не всегда будет учитывать эти теги .Например, если Google находит больше ссылок на другую страницу, он может рассматривать ее как более важную, чем указанный канонический URL-адрес, и считать ее основной версией.

Кроме того, канонические теги могут быть обнаружены ботами только во время сканирования. В отличие от файлов robots.txt, их нельзя использовать для остановки сканирования страницы.

Существенное различие между каноническими тегами и тегами noindex заключается в том, что канонизированные страницы объединяют сигналы ранжирования под одним URL-адресом. Между тем, непроиндексированные страницы не будут передавать сигналы ранжирования , что очень важно для внутренних ссылок — они не будут передавать сигналы ранжирования URL-адресам, на которые они ссылаются.

Подведение итогов

Запрещение индексации низкокачественных страниц — один из лучших методов SEO для оптимизации вашей стратегии индексации, а использование метатега noindex — один из наиболее оптимальных способов не допустить попадания страницы в индекс Google .

С помощью этого тега вы можете заблокировать индексирование неважных страниц и впоследствии помочь роботам поисковых систем сосредоточиться на наиболее ценном контенте.

Эффективное сканирование и индексация вашего веб-сайта являются ключом к максимальному использованию органического трафика, который ценные страницы могут привести на ваш сайт.Чтобы узнать больше о процессе индексации, обязательно прочитайте наше руководство по индексации SEO дальше!

метатегов Noindex и Robots.txt: что лучше использовать?

Даже те, кто некоторое время занимается SEO-бизнесом, могут запутаться в том, использовать ли метатеги noindex или файлы robots.txt для управления тем, как веб-страницы «просматриваются» (и должны ли они отображаться в результатах поиска). ) поисковыми системами.

В этом посте мы писали о некоторых причинах использования роботов.txt на определенных страницах, и они также относятся к использованию тегов noindex. Однако, как вы увидите, это все о сходстве между использованием тегов robots.txt и noindex.

Какая разница?

Проще говоря:

  • Сканированием управляет файл robots.txt. Он инструктирует роботов (также известных как пауки), которые ищут страницы для сканирования, чтобы «держаться подальше» от определенных мест. Вы помещаете этот файл в корневой каталог вашего сайта.
  • Тег noindex управляет индексацией.Он сообщает паукам, что страница не должна быть проиндексирована. Вы помещаете этот тег в код соответствующей веб-страницы. Вот пример тега:
Когда использовать robots.txt.

Не весь контент на вашем сайте должен быть или должен быть найден. В некоторых случаях вы можете не захотеть, чтобы разделы вашего сайта отображались в результатах поиска, например информация, предназначенная только для сотрудников, корзины покупок или страницы благодарности.

Используйте файл robots.txt, если вам нужен контроль на уровне каталога или на вашем сайте. Однако имейте в виду, что роботы не обязаны следовать этим директивам. Большинство из них, например Googlebot, но безопаснее держать любую особо конфиденциальную информацию вне общедоступных областей сайта.

Когда использовать метатеги noindex.

Как и в случае с файлами robots.txt, теги noindex исключат страницу из результатов поиска. Страница по-прежнему будет сканироваться, но не будет проиндексирована.Используйте эти теги, если вы хотите управлять на уровне отдельной страницы.

Не говоря уже о разнице между сканированием и индексированием: сканирование (с помощью пауков) — это то, как паук поисковой системы отслеживает ваш сайт; результаты сканирования попадают в индекс поисковой системы. Хранение этой информации в индексе ускоряет получение релевантных результатов поиска — вместо сканирования каждой страницы, связанной с поиском, для оптимизации скорости выполняется поиск в индексе (базе данных меньшего размера). Если бы индекса не было, поисковая система просмотрела бы каждый бит данных или информации, связанной с поисковым запросом, и у нас у всех было бы время приготовить и съесть пару бутербродов, ожидая отображения результатов поиска.Индекс использует пауков, чтобы поддерживать свою базу данных в актуальном состоянии.

Будьте осторожны!

Как мы предупреждали в нашем посте о файлах robots.txt, всегда существует опасность того, что вы можете сделать весь веб-сайт недоступным для сканирования, поэтому будьте внимательны при использовании этих директив.

Сьюзан Сислер

Сьюзен управляет SEO-кампаниями клиентов DAGMAR и разрабатывает новые стратегии входящего маркетинга. Она хорошо разбирается в техническом SEO и имеет опыт работы в графическом дизайне.

Последние сообщения Susan Sisler (посмотреть все)

Когда использовать NOINDEX или robots.txt?

Уведомление: Для этого элемента нет устаревшей документации, поэтому вы видите текущую документацию.

Один из вопросов, который нам чаще всего задают, заключается в том, в чем разница между метатегом NOINDEX robots и файлом robots.txt и когда их следует использовать. В этой статье рассматривается этот вопрос.

Метатег роботов NOINDEX

Тег NOINDEX используется для предотвращения появления контента в результатах поиска.Метатег NOINDEX появляется в исходном коде вашего контента и указывает поисковой системе не включать этот контент в результаты поиска.

Метатег NOINDEX robots выглядит следующим образом в исходном коде вашей страницы:

  

Файл robots.txt

Файл robots.txt сообщает поисковым системам, где их поисковые роботы могут и не могут посещать веб-сайт. Он включает в себя директивы «Разрешить» и «Запретить», которые указывают поисковой системе, какие каталоги и файлы следует сканировать, а какие нет.

Однако это не мешает вашему контенту появляться в результатах поиска.

Примером использования файла robots.txt является указание поисковым системам не сканировать каталог «/cgi-bin/», который может существовать на вашем сервере, потому что в этом каталоге нет ничего полезного для поиска. двигатели.

По умолчанию файл robots.txt для WordPress выглядит следующим образом:

 Агент пользователя: *
Запретить: /wp-admin/
Разрешить: /wp-admin/admin-ajax.php 

Отличие NOINDEX от роботов.текст

Разница между ними следующая:

  • Файл robots.txt используется для указания поисковой системе, какие каталоги и файлы следует сканировать. Это не мешает контенту индексироваться и отображаться в результатах поиска.
  • Метатег роботов NOINDEX указывает поисковым системам не включать контент в результаты поиска, а если контент уже был проиндексирован ранее, то они должны полностью удалить этот контент. Это не мешает поисковым системам сканировать контент.

Самая большая разница для понимания заключается в том, что если вы хотите, чтобы поисковые системы не включали контент в результаты поиска, то вы ДОЛЖНЫ использовать тег NOINDEX и ДОЛЖНЫ разрешать поисковым системам сканировать контент. Если поисковые системы НЕ МОГУТ сканировать контент, то они НЕ МОГУТ видеть метатег NOINDEX и, следовательно, НЕ МОГУТ исключить контент из результатов поиска.

Итак, если вы хотите, чтобы содержимое не попадало в результаты поиска, используйте NOINDEX.Если вы хотите, чтобы поисковые системы не сканировали каталог на вашем сервере, потому что он не содержит ничего, что им нужно видеть, используйте директиву «Disallow» в файле robots.txt.

Вы можете найти документацию по использованию функции NOINDEX в All-in-One SEO в нашей статье «Отображение или скрытие вашего контента в результатах поиска» здесь.

Вы можете найти документацию по использованию функции Robots.txt в All-in-One SEO в нашей статье об использовании инструмента Robots.txt в All-in-One SEO здесь.

Дополнительное чтение

Уведомление: В настоящее время вы просматриваете устаревшую документацию.

Один из вопросов, который нам чаще всего задают, заключается в том, в чем разница между метатегом NOINDEX robots и файлом robots.txt и когда их следует использовать. В этой статье рассматривается этот вопрос.

Метатег роботов NOINDEX

Тег NOINDEX используется для предотвращения появления контента в результатах поиска. Метатег NOINDEX появляется в исходном коде вашего контента и указывает поисковой системе не включать этот контент в результаты поиска.

Метатег NOINDEX robots выглядит следующим образом в исходном коде вашей страницы:

  

Роботы.текстовый файл

Файл robots.txt сообщает поисковым системам, где их поисковые роботы могут и не могут посещать веб-сайт. Он включает директивы «Разрешить» и «Запретить», которые указывают поисковой системе, какие каталоги и файлы следует или не следует сканировать.

Однако это не мешает вашему контенту появляться в результатах поиска.

Примером использования файла robots.txt является указание поисковым системам не сканировать каталог «/cgi-bin/», который может существовать на вашем сервере, поскольку в этом каталоге нет ничего полезного для поиска. двигатели.

По умолчанию файл robots.txt для WordPress выглядит следующим образом:

 Агент пользователя: *
Запретить: /wp-admin/
Разрешить: /wp-admin/admin-ajax.php 

Разница между NOINDEX и robots.txt

Разница между ними следующая:

  • Файл robots.txt используется для указания поисковой системе, какие каталоги и файлы следует сканировать. Это не мешает контенту индексироваться и отображаться в результатах поиска.
  • Метатег роботов NOINDEX указывает поисковым системам не включать контент в результаты поиска, а если контент уже был проиндексирован ранее, то они должны полностью удалить этот контент.Это не мешает поисковым системам сканировать контент.

Самая большая разница, которую нужно понять, заключается в том, что если вы хотите, чтобы поисковые системы не включали контент в результаты поиска, то вы ДОЛЖНЫ использовать тег NOINDEX и ДОЛЖНЫ разрешать поисковым системам сканировать контент. Если поисковые системы НЕ МОГУТ сканировать контент, то они НЕ МОГУТ видеть метатег NOINDEX и, следовательно, НЕ МОГУТ исключить контент из результатов поиска.

Итак, если вы хотите, чтобы содержимое не попадало в результаты поиска, используйте NOINDEX.Если вы хотите запретить поисковым системам сканировать каталог на вашем сервере, потому что он не содержит ничего, что им нужно видеть, используйте директиву «Disallow» в файле robots.txt.

Вы можете найти документацию по использованию функции NOINDEX в All-in-One SEO в нашей статье о настройках Noindex в All-in-One SEO здесь.

Вы можете найти документацию по использованию функции Robots.txt в All-in-One SEO в нашей статье об использовании инструмента Robots.txt в All-in-One SEO здесь.

Дополнительное чтение

Руководство по тегам Noindex | Агентство51

Последнее обновление: 17 октября 2019 г.

С недавней кончиной роботов.txt для реализации тегов noindex, мы подумали, что сейчас самое время вернуться к этому очень полезному тегу HTML и к тому, как его можно правильно использовать, чтобы сохранить контроль над проиндексированными страницами вашего веб-сайта в Google.

Что такое тег noindex?

Тег noindex — это фрагмент кода, который указывает Google и большинству других поисковых систем не включать указанную страницу в результаты поиска.

Зачем они мне?

Существует множество причин, по которым веб-сайт может не показывать определенные страницы в результатах поиска.Например, контент, созданный исключительно для пользователей, спам-контент форума, который может навредить основному сайту, автоматически сгенерированные системой управления контентом страницы, которые пусты и не служат никакой цели, и так далее. Google анализирует сайты как на уровне страниц, так и на уровне доменов, и, хотя это не слишком большая проблема в индивидуальном порядке, когда страницы не должны быть проиндексированы, ситуация может быстро разрастись, когда тысячи низкокачественных, неконтентных или спамных страницы индексируются Google; это, скорее всего, понизит рейтинг рассматриваемого сайта.

Ошибка индексации Yoast, из-за которой тысячи сайтов WordPress имели свои HTML-страницы, состоящие только из изображения, которое было случайно проиндексировано, что привело к значительному увеличению количества страниц «мертвого груза» по отношению к основному содержимому сайта. самые известные примеры этого и вызвали серьезные проблемы в то время.

Если вы хотите поговорить с нашей командой специалистов о том, как мы можем помочь вам с вашим цифровым маркетингом, поговорите с нашей командой сегодня.

Как использовать тег noindex?

Существует два основных способа реализации тегов noindex:

1. Тег

Размещение следующего фрагмента кода в разделе HTML-кода страницы (перед основным разделом ) указывает поисковым системам не индексировать страницу:

<метаимя=”роботы” контент=”ноиндекс”>

Это можно легко сделать на уровне отдельной страницы либо вручную с помощью большинства систем управления контентом, либо с помощью плагинов (например, Yoast на WordPress), в зависимости от настроек вашего сайта, ресурсы разработки могут разрешить применение тегов noindex в большем масштабе.

2. Заголовок ответа HTTP

В качестве более технического решения можно настроить серверные заголовки страницы или заданного набора страниц для обслуживания тега noindex при доступе к странице, в зависимости от рассматриваемой настройки сайта/CMS. Это может быть проще реализовать, чем метатеги, и имеет дополнительное преимущество, заключающееся в том, что не требуется редактировать HTML-код страницы.

Ниже приведен пример ответа сервера, правильно обслуживающего тег X-robots (кредит Google)

HTTP/1.1 200 OK
Дата: вторник, 25 мая 2010 г., 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

Дополнительный совет

Применение тегов noindex на ваших страницах должно обеспечить удаление этих страниц из индекса Google (поскольку это классифицируется как директива, которую необходимо соблюдать, а не как предложение, как канонический тег), но это может произойти не мгновенно. Google должен повторно посетить (сканировать) веб-страницу, прежде чем он сможет обновить свои внутренние системы, поэтому может потребоваться некоторое время, чтобы ваши изменения передавались на страницы, к которым были применены теги noindex.

Это может быть ускорено с помощью инструмента индексации запросов (иронично названного в данном случае!) в поисковой консоли Google, или страницы могут быть добавлены во временную карту сайта XML, что должно помочь уведомить Google о большем количестве измененных URL-адресов; это также может работать как удобный диагностический инструмент (поскольку Search Console дает разбивку URL-адресов, содержащихся в них, по картам сайта)

Также стоит помнить, что указание Google не индексировать страницу не помешает им сканировать ее и переходить по ссылкам на странице (можно использовать атрибут nofollow, если это нежелательно), и рассматриваемый контент все еще может быть видны на других веб-сайтах, если они копируют или распространяют содержимое страницы.

Бен Хендерсон

Бен Хендерсон — специалист по SEO в Agency51, ему нравится работать и писать обо всех аспектах технического SEO для самых разных веб-сайтов и отраслей.

Как удалить URL-адрес из результатов поиска Google?

Есть ряд случаев, когда вы можете не захотеть, чтобы страницы отображались в SERPS, и в этом сообщении блога обсуждаются различные способы, которыми мы можем это сделать.

Основные способы удержать страницу вне результатов поиска:

Какой контент мы не хотели бы показывать в поисковой выдаче?

Существует ряд различных типов страниц, которые мы не хотели бы открывать для поиска в Google или других поисковых системах.

Примеры:

  • Целевые страницы PPC
  • Страницы благодарности
  • Страницы администратора
  • Результаты внутреннего поиска 

Мы также можем скрыть страницы от Google по ряду причин, включая:

  • Дублирование страницы — Чтобы предотвратить появление нескольких версий одной и той же страницы в результатах поиска.
  • Каннибализация ключевых слов  – чтобы две или более похожих страниц не конкурировали друг с другом по определенному ключевому слову  
  • Растрата бюджета сканирования цените страницы на своем сайте, а не отдавайте приоритет важным вещам.

Как Google находит контент для отображения в результатах поиска?

Прежде чем мы углубимся в различные способы предотвращения появления страниц в результатах поиска, стоит понять процесс, который Google использует для поиска и ранжирования страниц.

1) Сканирование — это способ Google находить новый контент. С помощью программ, часто называемых поисковыми роботами или поисковыми роботами, Google посещает различные веб-страницы и переходит по ссылкам на них, чтобы найти новые страницы.У каждого сайта есть определенный «краулинговый бюджет» или количество ресурсов, которое он выделяет каждому сайту.

2) Индексирование . Как только Google находит контент, он создает копию этого контента и сохраняет ее в так называемом индексе.

3) Рейтинги – Порядок этих различных страниц в результатах поиска называется рейтингом . Google получает запрос, выясняет цель поиска, стоящую за этим запросом, а затем обращается к индексу, чтобы получить наилучшие возможные результаты.

Google использует ряд различных вычислений, известных как алгоритмы, чтобы определить, какие результаты являются лучшими для показа, и упорядочивает их от наиболее релевантных до наименее релевантных.

Как мы можем контролировать, какие страницы ранжируются в результатах поиска?

Теги без индекса

Теги Noindex — это директива, которая сообщает Google: «Я не хочу, чтобы эта страница индексировалась, и поэтому не хочу, чтобы она отображалась в результатах поиска».

Когда Google в следующий раз просканирует эту страницу и увидит директивы noindex, он удалит эту страницу из своего индекса и, следовательно, из результатов поиска.

Эти теги noindex могут быть реализованы двумя способами:

  • Включив их в HTML-код страницы 
  • Возвращая заголовок noindex в HTTP-запросе.

Теги Noindex, реализованные в HTML, будут выглядеть примерно так:


Теги Noindex, реализованные через заголовок HTTP, будут выглядеть так:

HTTP/... 200 OK

X-Robots-Tag: noindex

Платформы

CMS, такие как WordPress, позволяют добавлять на страницы теги noindex, а это означает, что вам не понадобится разработчик для реализации этого.

Важно отметить, что Google должен иметь возможность сканировать эти страницы, чтобы увидеть тег «noindex», а затем удалить страницу из индекса.

Когда использовать теги noindex — Если на вашем сайте есть страницы, которые по-прежнему служат цели, но вы не хотите, чтобы они отображались в результатах поиска, это хороший вариант.

Блокировка в Robots txt

Robots.txt — это текстовый файл, который инструктирует веб-роботов, как вести себя при посещении вашего сайта, и может использоваться для указания роботам поисковых систем, могут они или не могут сканировать части веб-сайта.

См. приведенный ниже пример файла robots.txt компании Nike, который находится по адресу https://www.nike.com/robots.txt 

.

Использование файла robots.txt для блокировки определенных путей к страницам, таких как /admin/ , например, означает, что робот Googlebot или другие поисковые роботы даже не будут посещать эти страницы — следовательно, они не будут отображаться в результатах поиска.Это может сохранить краулинговый бюджет для более важных страниц, а не фокусироваться на менее важных страницах.

Примечание. Блокировка пути к странице в файле robots.txt не позволяет Google сохранить страницу, но не удаляет и не изменяет то, что было сохранено. Следовательно, если страница уже появляется в результатах поиска, значит, Google уже просканировал, а затем проиндексировал эту страницу.

Если вам нужно удалить страницу, то ее блокировка в robots.txt активно предотвратит это.В этом случае лучше всего добавить тег noindex, чтобы удалить эти страницы из индекса Google, и как только они все будут удалены, вы сможете заблокировать их в файле robots.txt.

Дополнительную информацию можно найти на этой странице Google Search Central.

Когда блокировать страницы в robots.txt — Если у вас есть определенные пути к страницам или большие разделы вашего сайта, которые вы не хотите сканировать Google, это ваш лучший выбор.

Если страница или набор страниц уже появляются в поисковой выдаче, вам нужно сначала запретить их индексировать и дождаться их удаления, прежде чем добавлять robots.текстовый файл.

Удаление страницы

Возможно, вы подумали, что наиболее очевидным ответом будет просто удалить страницу, присвоив ей код состояния 404 или 410.

Оба кода состояния выполняют одну и ту же функцию: Google удалит страницу из своего индекса при следующем сканировании этой страницы, хотя, по словам Джона Мюллера из Google, статус 410 может быть немного быстрее.

С точки зрения SEO, если эти страницы имеют ценность, будь то обратные ссылки или трафик, было бы целесообразно перенаправить 301 на соответствующую страницу, чтобы консолидировать этот вес ссылок на сайте.

В качестве альтернативы, если на странице есть внутренние ссылки, а у вас нет подходящей страницы для перенаправления, эти внутренние ссылки следует удалить или заменить кодовой страницей состояния 200.

Когда удалять страницу — Если страница не имеет смысла и имеет небольшую ценность с точки зрения обратных ссылок или трафика, возможно, ее стоит удалить. Если есть какая-то ценность с точки зрения пользователя или с точки зрения SEO, подумайте о том, чтобы сохранить ее с помощью тега noindex или перенаправления 301 на соответствующую страницу.

Инструмент удаления Google Search Console

Средство удаления Google Search Console можно использовать для временной блокировки результатов поиска на вашем сайте для сайтов, которыми вы владеете в Google Search Console. Стоит отметить, что это не постоянное исправление.

Если вы хотите быстро удалить страницу из результатов поиска, это хороший вариант. Если вы хотите навсегда удалить страницу, Google рекомендует присвоить ей статус 404 или 410, заблокировать доступ к контенту с помощью пароля или присвоить странице тег noindex.

Дополнительную информацию можно найти на этой странице веб-мастеров Google.

Когда использовать инструмент удаления Google Search Console — Когда вам нужно быстро избавиться от страницы. Если вам нужно удалить страницу навсегда, используйте тег noindex или присвойте ей статус 404 или 410.

Канонические теги


Канонический тег — это фрагмент кода HTML, который находится в страницы и используется для определения основной версии для похожих или повторяющихся страниц.Канонические теги помогают предотвратить проблемы, вызванные дублированием или почти дублированием контента, появляющегося на нескольких URL-адресах.

См. приведенный ниже пример канонического тега на домашней странице Brainlabs:


Если вы канонизируете одну страницу для другой, вы тем самым говорите, что не хотите, чтобы эта страница отображалась в результатах поиска, и предпочли бы, чтобы вместо нее отображалась другая версия этой страницы.

В отличие от тегов noindex, которые являются заказами, канонические теги могут игнорироваться Google.Google по-прежнему может сканировать эти страницы, видеть канонические теги, а затем решать, должна ли страница отображаться в результатах поиска или нет.

Когда использовать канонические теги – Канонические теги следует использовать при наличии нескольких повторяющихся или похожих страниц в рейтинге. Вы захотите канонизировать неосновные версии до одной основной версии страницы, чтобы указать Google, что основная версия — это единственная версия, которую вы хотели бы видеть в результатах поиска. Это также объединит сигналы от каждого из этих URL-адресов на одной эталонной странице.

Ярким примером использования канонических тегов являются страницы с параметрами. Эти страницы могут иметь точно такое же содержание, но разные URL-адреса из-за этих параметров. Канонические теги могут помочь обеспечить ранжирование правильной версии страницы, а не какой-либо другой версии.

Пример

Последние мысли…

Существует несколько способов удалить или контролировать содержимое, отображаемое в результатах поиска. Суть в том, чтобы убедиться, что вы выбираете лучший вариант для вашей конкретной ситуации, а не пытаетесь сделать все сразу!

Как исправить ошибку отправленного URL с пометкой «NoIndex»? » Ранг Математика

В этой статье базы знаний мы обсудим, как исправить ошибку «Отправленный URL-адрес с пометкой «noindex» », которая появляется в консоли поиска Google.

1 Что означает эта ошибка?

Если вы видите эту ошибку в разделе «Покрытие Google Search Console» или при проверке URL-адреса, это просто означает, что Google пытался проиндексировать страницу, но не смог этого сделать.

Почему? Ну, для начала — URL-адрес считался «отправленным», что означает, что он был указан в вашей карте сайта, но на странице также присутствует что-то, что указывает роботу Googlebot, что он не должен индексировать страницу. Это может быть простой метатег noindex ( который будет присутствовать в HTML страницы ).

В результате страница не будет отображаться в результатах поиска, поэтому, если это сделано намеренно и вы не хотите, чтобы страница отображалась в результатах поиска, то это действительно не проблема. Но все же вам нужно выяснить, почему URL-адрес noindex присутствует в вашей текущей карте сайта.

С другой стороны, если эта страница должна быть проиндексирована, вы теряете потенциальный поисковый трафик. В любом случае вам нужно разобраться с этой проблемой, чтобы избавиться от ошибки, и следующие шаги помогут вам в этом.

2 Проверьте, были ли URL-адреса помечены как «без индекса»

Сначала откройте источник страницы URL, который был классифицирован этой ошибкой. Затем проверьте, содержит ли заголовок страницы метатег robots «noindex», как показано ниже.

После того, как вы подтвердите, что страница содержит метатег noindex, вам необходимо определить, правильно или неправильно помечена страница метатегом noindex. Исходя из этого, вы можете выполнить соответствующие шаги, описанные ниже.

3 URL-адрес страницы установлен на NoIndex правильно

Если URL-адрес вашей страницы правильно настроен на noindex, но вы все еще видите эту ошибку, вероятно, Google не сканировал вашу страницу/карту сайта с момента внесения изменений.

3.1 Проверка доступности карты сайта

Итак, вам следует проверить, может ли Google получить доступ к карте сайта вашего сайта. Перейдите на карту сайта вашего сайта и проверьте, доступен ли он. Вы также можете использовать этот инструмент, чтобы проверить, доступна ли ваша карта сайта или выдает ли она ошибку. Если ваша карта сайта возвращает ошибку 404, вы можете обратиться к нашему руководству, чтобы исправить это.

Если ваша карта сайта недоступна по какой-либо другой причине, вы должны быть в состоянии выяснить это сейчас, чтобы вы могли отсортировать ее соответствующим образом.

3.2 Проверка кэширования карты сайта

Также возможно, что ваша карта сайта кэшируется, и это повлияло бы на то, что любые недавние изменения не будут отражены в карте сайта. Вы можете обратиться к нашему специальному руководству по базе знаний, чтобы исключить кэширование вашей карты сайта.

3.3 Повторная отправка файла Sitemap в Google Search Console

После того, как вы устранили проблему с картой сайта, удалите карту сайта из Google Search Console, а затем отправьте ее еще раз, как описано в этом руководстве.

4 URL-адрес страницы неправильно установлен в NoIndex

Если для вашей страницы неправильно задан noindex, вам следует изменить настройки Rank Math, чтобы добавить метатег index robots.

4.1 Метабокс проверки рангов

Начните с открытия термина записи/страницы/таксономии в редакторе WordPress. В случае редактора Gutenberg щелкните значок Rank Math SEO в правом верхнем углу страницы, чтобы открыть метабокс Rank Math.

Для классического редактора и терминов таксономии прокрутите страницу вниз, чтобы найти метабокс Rank Math.

Если метабокс Rank Math недоступен для вас, убедитесь, что вы включили Add SEO Controls из Rank Math > Titles & Meta Settings > Posts ( или другие соответствующие разделы ).

В появившемся на экране метаокне Rank Math выберите Вкладка «Дополнительно» . Если вкладка «Дополнительно» для вас недоступна, убедитесь, что вы переключились на расширенный режим в Rank Math. Если для параметра Robots Meta установлено значение No Index, просто установите флажок Index , как показано ниже, и обновите страницу.

4.2 Проверка названий и метанастроек Rank Math

Хотя предыдущий шаг позволяет вам изменить метатег noindex для определенных сообщений, вы все равно должны подтвердить, что noindex не был установлен в качестве значения по умолчанию в ваших настройках заголовков и метаданных.

Итак, перейдите к Панель управления WordPress > Математика рангов > Заголовки и метаданные . Затем проверьте каждую вкладку и убедитесь, что настройки соответствуют вашим предпочтениям.

Если сообщения и таксономии, установленные как «noindex», соответствуют вашим предпочтениям, вы можете игнорировать их.Или, если вы считаете, что эти страницы приносят больше пользы вашим посетителям и нуждаются в индексации, вы можете проиндексировать эти страницы, выбрав соответствующий метатег «Индекс» для роботов, как показано ниже.

Примечание : по-прежнему рекомендуется установить для некоторых ссылок значение noindex, особенно для «Misc. Страницы», «Авторы», «Теги» и пустые страницы архива. В идеале вы не хотите, чтобы они индексировались, потому что это может создать проблемы с дублированием или недостаточным содержанием и ослабить авторитет вашего сайта.

После внесения изменений не забудьте нажать кнопку Сохранить изменения внизу страницы, чтобы изменения вступили в силу.

С учетом сказанного, эти изменения будут отражены только в ваших будущих сообщениях, а не в существующих . Таким образом, если у вас есть существующие сообщения, установленные с неиндексом неправильно, вы можете изменить их на индекс с помощью метабокса, как обсуждалось на предыдущем шаге, или использовать массовые действия, чтобы внести изменения для нескольких сообщений за один раз.

4.3 Удаление NoIndex с помощью Bulk Actions PRO

Если для ряда сообщений на вашем веб-сайте случайно установлено значение noindex, вы можете использовать нашу функцию массовых действий, чтобы настроить их на индексирование.Вот как это сделать.

Перейдите в меню WordPress Posts и в фильтре Rank Math, который появляется в правом верхнем углу экрана, выберите Articles Noindexed . Затем выберите параметр Filter , как показано ниже.

Теперь все ваши статьи с параметром noindex будут отфильтрованы. Вы можете установить флажок вверху, чтобы выбрать все свои сообщения. Если вы хотите выбрать/отменить выбор определенных сообщений, флажок, появляющийся перед сообщениями, поможет вам в этом.

Затем в раскрывающемся списке массовых действий выберите Установить индекс . А затем нажмите Применить .

Теперь все выбранные вами сообщения будут индексироваться.

После внесения изменений вы можете проверить исходный код своей страницы, чтобы увидеть, был ли удален метатег noindex.

Примечание: Также можно массово редактировать метаданные роботов ваших сообщений и страниц ( , а также сотрудничать с вашей командой ), используя функцию импорта и экспорта CSV в Rank Math.Вы можете обратиться к его выделенной базе знаний.

4.4 Видимость в поисковых системах

В дополнение к вышеперечисленным шагам убедитесь, что в WordPress не установлен флажок Видимость для поисковых систем . Для этого перейдите в левую часть панели администратора WP > Настройки > Чтение.

Если этот параметр отмечен, то даже если для параметров Rank Math установлено значение Index, веб-сайт в целом будет помечен как NoIndex. Это может помешать поисковым системам индексировать все веб-страницы, даже если у вас есть хороший контент и релевантные ключевые слова.

5 Заключительные слова — Проверить исправление в Google Search Console

Наконец, убедитесь, что ваша карта сайта обновлена. Затем вы можете перейти в консоль поиска Google и выбрать параметр Проверить исправление , чтобы сообщить поисковой системе об устранении ошибки. Затем вы можете подождать, пока Google просканирует ваш сайт и удалит уведомление об ошибке в вашей поисковой консоли, что может занять неделю или две.

Вот и все! Если у вас все еще есть какие-либо вопросы об этой ошибке и о том, как ее устранить, вы всегда можете связаться с нашей специальной службой поддержки, и мы доступны 24/7, 365 дней в году, чтобы помочь вам.

Как разблокировать robots.txt и удалить тег noindex

Устранение неполадок индекса и сканирования: с чего начать

Прежде всего, давайте попробуем сузить круг проблемы. Для этого войдите в Google Search Console. Затем скопируйте и вставьте URL-адрес домашней страницы вашего сайта в тестер robots.txt и нажмите «Отправить». (На данный момент этот инструмент существует только в старой версии Google Search Console.) Если он «ЗАБЛОКИРОВАН», см. вопрос № 1, если он «РАЗРЕШЕН», см. вопрос № 2 ниже.

Проблема №1: Домен или URL-адрес заблокирован роботами.txt

Если строка запрета загорается красным и вы видите слово «БЛОКИРОВАНО» в поле в правом нижнем углу, как на скриншоте ниже, виновником является файл robots.txt. Чтобы отменить это, вам потребуется доступ и редактирование* файла robots.txt для вашего веб-сайта.

*Если вы не тот человек, который обычно возится с серверной частью вашего веб-сайта, я настоятельно рекомендую вам обратиться к разработчику вашего веб-сайта, ИТ-специалисту или кому-либо еще, кто занимается обслуживанием веб-сайта.

Теперь в приведенном выше примере происходят две вещи, одна хорошая и одна плохая, исходя из нашего текущего затруднительного положения. Этот URL-адрес /wp-admin/ намеренно запрещен, поскольку мы не хотим, чтобы серверная часть нашего веб-сайта сканировалась какой-либо из поисковых систем. Это должно остаться.

Однако проблема заключается в строке Disallow: / . Эта строка, или, лучше сказать, косая черта, блокирует сканирование вашего веб-сайта всеми поисковыми системами… в общем, все это.Поэтому, чтобы разблокировать robots.txt, эту часть необходимо удалить из файла robots.txt.

Буквально требуется всего один персонаж, чтобы бросить разводной ключ в вещи. После внесения необходимых изменений в файл верните URL-адрес домашней страницы в тестер robots.txt, чтобы проверить, поддерживает ли ваш сайт поисковые системы. Если все в порядке, в правом нижнем углу будет написано «РАЗРЕШЕНО» зеленым цветом, и теперь поисковые системы могут начать сканировать сайт.

Это исправление должно успешно разблокировать роботов.txt для всего сайта (или, по крайней мере, для любой страницы, специально не обозначенной как запрещенная, как с URL-адресом /wp-admin/ выше), но не стесняйтесь копировать и вставлять пару дополнительных страниц сайта в инструмент тестирования, чтобы убедиться, что проблема устранена. была решена не только для вашей домашней страницы.

Если вы хотите узнать больше об этой конкретной марке ботов, ознакомьтесь с Ultimate Guide to Robots.txt на сайте Yoast.com.

Проблема № 2: удаление метатега noindex в WordPress

Если вышеуказанная проблема не является причиной вашего беспокойства на вашем веб-сайте, поскольку все, что происходит, становится «РАЗРЕШЕННЫМ» (как и должно быть), есть еще одна распространенная причина, по которой ваш веб-сайт WordPress может не отображаться в поиске — надоедливый тег «noindex».

Чтобы проверить, так ли это, вернитесь к новой версии Search Console и вставьте любой URL-адрес в поле поиска «Проверить любой URL-адрес в…» в верхней части страницы и нажмите Enter.

Если в отчете о проверке URL-адресов отображается следующее сообщение: Нет: «noindex» обнаружен в метатеге «роботы» , это единственная установка флажка в серверной части WordPress, которая вызывает весь этот шум.

Чтобы разблокировать поисковые системы от индексации вашего веб-сайта, выполните следующие действия:

  • Войдите в WordPress
  • Перейдите в «Настройки» → «Чтение»
  • Прокрутите страницу вниз, где написано «Поисковая видимость»
  • Снимите флажок рядом на «Запретить поисковым системам индексировать этот сайт»
  • Нажмите кнопку «Сохранить изменения» ниже

Если вы используете плагин Yoast SEO — WordPress, также проверьте настройки публикации в блоге, чтобы убедиться, что они настроены аналогичным образом. разрешить индексацию.

Когда это будет сделано, вернитесь в Search Console и повторно отправьте URL-адрес, который вы пробовали ранее. Если ваши настройки настроены правильно, все должно петь по-другому. Теперь, когда вы отправляете URL-адрес, отчет о проверке URL-адреса должен быть лишен всех предупреждений и сообщений об ошибках, по крайней мере, связанных с индексированием и возможностью сканирования, и вы сможете «Запросить индексирование», что, как я полагаю, было вашей целью все это время. .

Я надеюсь, что это поможет, но если описанные выше шаги не помогли решить вашу текущую проблему, я рекомендую прочитать эту статью поддержки веб-мастеров Google о «noindex», чтобы узнать больше.

Очевидная, но важная часть поисковой оптимизации — вывести ваш сайт в результаты поиска. Для этого вам необходимо убедиться, что ваш веб-сайт можно сканировать и индексировать, что означает удаление тега «noindex» и разблокировку файла robots.txt из общедоступных частей вашего сайта.

Leave a Reply