Noindex это: Тег noindex и атрибут nofollow: что это такое

Содержание

Тег noindex и атрибут nofollow: что это такое

Тег noindex введен поисковой системой Яндекс. Он предназначен для закрытия от индексации роботами ссылки или части html кода на странице. Имеет следующую структуру:

<noindex> ссылка или часть кода, которые необходимо скрыть, </noindex>

Данный тег не чувствителен к вложенности и может быть размещен в любой части кода. Поисковые машины, кроме Яндекса, воспринимают команду в качестве невалидной. Если валидность кода важна, тег оформляется следующим образом:

<!—noindex—> текст <!—/noindex—>

Функции:

Тег noindex позволяет:

  • повысить релевантность страницы поисковым запросам за счет уменьшения доли второстепенной информации и увеличения плотности ключевых слов,
  • скрыть дублирующийся контент, за использование которого может последовать пессимизация сайта в выдаче Яндекса,
  • сохранять статический вес страниц и управлять его передачей, так как закрытие одних ссылок пропорционально увеличивает вИЦ оставшихся,
  • улучшить сниппет. Если в ходе раскрутки сайта в его текстовое описание в выдаче попадает ненужная информация со страницы, ее закрывают от индексации,
  • скрыть от роботов лишние данные (коды счетчиков, ссылки на сайты с постоянно изменяющейся информацией и т.д.).

Nofollow

Атрибут nofollow не оказывает влияния на индексацию ссылок, но сообщает поисковым роботам, что вес данного линка равен нулю. При продвижении сайта это позволяет сохранить его PR и тИЦ, которые на указанную страницу не передаются. Поисковые боты (кроме googlebot) по ссылке переходят. Атрибут поддерживают Google, Yahoo и Яндекс (с 30 апреля 2010 года). Структура написания параметра следующая: анкор ссылки

Атрибут nofollow используют для ссылок на все сайты, которым не требуется передавать TrustRank ресурса-донора. Для внутренней перелинковки прием не применяется.

Noindex и nofollow позволяют закрыть от индексацию не только отдельную ссылку, но и всю страницу (прописываются внутри нее или в файле robots.txt):

<Meta name=”robot” content=”noindex, nofollow”>

или

<html> 
<head> 
<meta content=”nofollow”/> 
<title>Заголовок данной страницы</title> 

</head>

Nofollow и noindex могут использоваться совместно:

<noindex><a rel=»nofollow» href=»http://example.ru»> анкор ссылки</a></noindex>.

В таком случае поисковый робот Google ссылку проигнорирует, а Яндекса не увидит.

Другие термины на букву «N»

Совпадений не найдено

Все термины SEO-Википедии

Теги термина

что это такое за тег для Яндекса

Noindex – это тег, с помощью которого можно управлять функцией индексации поискового робота. Если выделить отдельный фрагмент текста и закрыть его тегом noindex, он не будет проиндексирован поисковой системой и, соответственно, не попадет в ее кэш. Впервые данный инструмент был предложен специалистами Яндекса, чтобы у веб-мастеров появился простой способ отделения части текстового контента, которая не несет смысловой нагрузки и не должна учитываться при оценке страницы.

Вторая, не менее важная функция тега noindex, состоит в том, чтобы блокировать индексацию отдельных страниц сайта, предназначенных для публикации пользовательского контента. К таким относятся страницы с отзывами, комментариями, сообщениями и др. В данном случае noindex позволяет избежать распространения нежелательной информации и использовать менее жесткий режим модерирования пользовательских сообщений.

Тег noindex учитывает только Яндекс. Google игнорирует его присутствие и проводит полную индексацию текстового содержания страницы. Для задействования блокировки индексации, актуальной для всех поисковиков, следует прописывать соответствующий метатег для отдельных страниц или всего сайта в файле robots.txt. Недостаток данного способа очевиден: запрет на индексацию возможен только по отношению ко всей странице, но не отдельному текстовому фрагменту.

Преимущества тега noindex

  • Сокрытие второстепенной информации позволяет повысить релевантность индексируемой страницы за счет возрастания относительной плотности ключевых фраз.
  • С помощью noindex можно спрятать содержимое сквозных блоков, информация в которых будет дублироваться на нескольких страницах, что отразится на пессимизации сайта в поисковой выдаче Yandex.
  • В некоторых случаях в сниппет может попасть нежелательная или служебная информация, которую проще всего скрыть тегом noindex.

Принцип действия

Noindex может находиться в любом месте HTML-кода вне зависимости от уровня вложенности. Для сохранения валидности кода тег следует использовать в следующем формате:

<!—noindex—>Здесь находится закрытый для индексации текст<!—/noindex—>.

Несмотря на тот факт, что noindex был изначально предложен разработчиками Yandex, использование данного инструмента может быть расценено в качестве серого метода оптимизации. Это связано с тем, что некоторые веб-мастера применяют его не по прямому назначению. В частности, от робота прячется неуникальный контент или качественный текст, не содержащий ключевых слов, рассчитанный на прочтение посетителем сайта. Одновременно поисковику предлагается насыщенный ключевыми фразами текст, тяжелый для восприятия человека.

Для борьбы с подобными методами оптимизации Yandex анализирует текст, закрытый тегом noindex, проводя его индексацию, но впоследствии отфильтровывая скрытое содержимое. В результате изучения контента страницы поисковик может принять решение о наложении санкций на сайт, если сочтет, что его владелец использует неправомерные способы влияния на результаты поисковой выдачи.

| HTML | WebReference

Поисковый робот Яндекса «ходит» по сайтам, просматривает и анализирует их содержимое, после чего сохраняет указатель на текст и изображения в поисковую базу данных Яндекса. Такой процесс называется индексированием. Часть веб-страницы можно закрыть от индексирования, поместив её внутрь элемента <noindex>. Тогда при следующем посещении веб-страницы поисковый робот проигнорирует такое содержимое и не станет добавлять его в свою базу данных. Это делается по разным причинам, к примеру, закрытые от индексации ссылки не передают ТИЦ (тематический индекс цитирования).

Важно понимать, что это нестандартный элемент и придуман Яндексом для своих целей. Браузеры никак не поддерживают <noindex> и просто выводят его содержимое как обычно.

Если вам нужно закрыть ссылку для поисковиков, добавьте к ней атрибут rel со значением nofollow:

<a href="//webref.ru" rel="nofollow">Ссылка не индексируется</a>

Если требуется закрыть для поисковиков всю страницу используйте элемент <meta>, добавив его в код HTML:

<meta name="robots" content="noindex">

Или добавьте в файл robots.txt следующую строку:

Disallow: /private.html

Где private.html адрес страницы.

Закрывающий тег

Пример

<!DOCTYPE html> <html> <head> <meta charset=»utf-8″> <title>noindex</title> </head> <body> <noindex> <p>Данный текст Яндекс не будет индексировать.</p> </noindex> </body> </html>

Браузеры

В таблице браузеров применяются следующие обозначения.

  •  — элемент полностью поддерживается браузером;
  •  — элемент браузером не воспринимается и игнорируется;
  •  — при работе возможно появление различных ошибок, либо элемент поддерживается с оговорками.

Число указывает версию браузреа, начиная с которой элемент поддерживается.

Автор и редакторы

Автор: Клим Щербаков

Последнее изменение: 28.02.2020

Редакторы: Влад Мержевич

что это за тег для Яндекса

Для того чтобы сайт или отдельные его страницы попадали в выдачу поисковых машин, они должны проходить индексацию. Однако зачастую не весь текстовый контент должен индексироваться, так как на любом ресурсе могут присутствовать не несущие полезной нагрузки для SEO данные. Тег noindex позволяет скрывать ненужные фрагменты текста, в результате чего они не проходят индексацию, так как поисковик их игнорирует. Этот инструмент ввели специалисты «Яндекса», значительно упростив задачи для веб-разработчиков.

Также noindex позволяет блокировать индексацию целых страниц. Чаще всего это необходимо для того, чтобы в поисковом продвижении не участвовал пользовательский контент, например комментарии, сообщения или отзывы. Это снимает нагрузку с модераторов и позволяет без помех проводить кампании по SEO-продвижению.

На текущий момент этот тег работает только для поисковой машины «Яндекса», а Google игнорирует его и индексирует весь контент сайта, поэтому при ориентировании на него необходимо использовать файл robots.txt и соответствующие метатеги. Однако так удастся скрыть только отдельные страницы ресурса целиком, но не локальные фрагменты текста.

Что дает использование тега noindex?

  1. Обеспечивает максимальную релевантность страниц за счет исключения из индексации второстепенного текстового контента, способного изменить плотность ключевых слов и смысловое содержание в целом;
  2. Позволяет избежать блокировок или игнорирования ресурса, которые могут возникнуть по причине дублируемого на страницах текста. Его можно просто скрыть от поисковой машины;
  3. Исключает вероятность попадания в сниппеты ненужной информации – каких-либо технических, служебных данных.

Как это работает?

Каждая страница построена на основе HTML-кода с различными уровнями вложенности. Тег может быть прописан абсолютно в любом месте, и правильный формат его вставки будет таким:

<!—noindex—>Неиндексируемый контент<!—/noindex—>

Изначально этот тег был внедрен специалистами «Яндекса» для облегчения задач веб-разработчикам, но нередко он используется в качестве инструмента для так называемой «серой» оптимизации. То есть некоторые веб-мастера применяют его для сокрытия контента, который предназначен для прочтения пользователем, но при этом не содержит ключевых слов. Причем это может быть неуникальный контент или копипаст, использование которого в обычном режиме может привести к утрате позиций в поисковой выдаче и к блокировке ресурса. А для SEO на сайте оставляют оптимизированный фрагмент уникального текста, который остается видимым для робота.

В связи с этим «Яндекс» усовершенствовал алгоритм работы с тегом noindex, и сейчас его содержимое также проходит первичную индексацию, но впоследствии при отсутствии проблем со скрытым контентом он просто игнорируется. Если же машина сочтет, что разработчик использовал тег для «серого» продвижения, найдет признаки нерелевантности ресурса используемым запросам, то сайт будет заблокирован и не попадет в выдачу.

Что это за теги Nofollow и Noindex, в чем разница и как правильно прописывать

Выясняем, как работают тег noindex и атрибут nofollow. Подробно рассмотрим сценарии использования и узнаем, как прописывать теги для роботов в зависимости от поставленных задач.

Теги и атрибуты

Их еще называют дескрипторами. Это элементы разметки, с помощью которых объектам в текстовом документе придаются определенные свойства. Эти свойства зависят от языка разметки и поставленных задач. Сделать шрифт жирным, превратить кусок текста в гиперссылку или задать ей специфичные визуальные характеристики…

Но есть теги, которые выполняют несколько иные функции. В их числе nofollow и noindex. В любых своих проявлениях они никак внешне не влияют на текст и ссылки. Посетитель сайта не заметит, если часть страницы обведут в тег или пометят атрибутом nofollow. Текст будет выглядеть без изменений.

Изменения произойдут на технической стороне. Отличия заметит поисковой робот, анализирующий и индексирующий веб-страницы.

Что такое noindex

«Ноиндекс» – тег и атрибут HTML-страницы. Можно пометить им страницу целиком, придав ей определенные свойства, либо выбрать отдельный участок кода и применить атрибут к нему.

Функция noindex заключается в «сокрытии» контента от поисковых роботов, машин, анализирующих и индексирующих веб-сайты. Они собирают базу данных для поисковых служб и предоставляют пользователям релевантные результаты поиска.

Если какая-то часть контента на странице помечена тегом noindex, то робот ее проигнорирует и в поиске она учтена не будет, что прямо повлияет на SEO-продвижение ресурса, на котором были произведены соответствующие изменения.

На самом деле, робот, конечно же, посмотрит все, что есть на сайте. Просто не будет заносить это в индексную базу.

Какой контент помечается этим тегом?

Любой. В зависимости от помеченной информации и поискового робота тег будет восприниматься по-разному.

Обычно в noindex заворачивают четыре типа текстового контента:

  1. Информацию с низкой уникальностью, чтобы избежать проблем с антиплагиатом.
  2. Коды счетчиков (типа метрики и других аналитических систем), ненужные поисковику.
  3. Контактные данные, номера и ссылки, которые не стоило бы показывать в поисковой выдаче.
  4. Постоянно меняющийся текст, индексация которого не принесет никакой пользы.

Как использовать тег?

Тег можно вставить в <head> страницы как мету (атрибутом), увеличив область его действия на всю страницу.

С таким кодом индексация страницы разрешается:


<meta name="robots" content="index"/> 

А с таким индексация запрещается:


<meta name="robots" content="noindex"/> 

Такое правило можно указать для конкретного робота. Например, поискового бота Google:


<meta name="googlebot" content="noindex"/>

Еще один способ — встраивание тегов в текст и оборачивание в него ссылок.


<noindex>кусок текста, который хотелось бы скрыть от индексации поисковиками</noindex>

Правда, такая разметка может нагородить ошибок из-за того, что многие поисковики не понимают тег <noindex> и считают его наличие в тексте ошибкой. Поэтому приходится исползать его вариацию <!–noindex–>. В таком виде роботы, понимающие тег, считывают его без проблем и задают нужные свойства, а непонимающие попросту игнорируют.

Независимо от типа скрываемого контента, принцип остается тем же. Поэтому, если нужно скрыть от индексации код счетчика, ничего специфичного делать не придется. Так же оборачиваем его в <noindex> и все.

Что такое nofollow

Атрибут, вставляющийся перед ссылками и запрещающий по ним переходить. 

Вес страницы — это своего рода уровень авторитетности сайтов, один из факторов, учитываемых при ранжировании страниц в поисковых запросах. Чтобы не передавать вес страницы другим сайтам по размещенным на них ссылкам, данные ссылки оборачивают в тег nofollow.

Какой контент помечается этим атрибутом?

Ссылки. Но не все ссылки, а те, что могут как-то негативно повлиять на вес ресурса. Это касается автоматических ссылок, появляющихся в тех или иных участках сайта. Атрибут nofollow стоило бы приписывать любым внешним ссылкам, за которые вы не можете ручаться. Добавленные на ресурс другими пользователями через секцию комментариев или в графу профиля БИО.

Как прописывать тег?

С таким тегом индексирование страницы разрешается, но запрещается переход по всем ссылкам:


<meta name="robots" content="nofollow"/>  

Как и в случае с <noindex>, правило можно задать для конкретного поискового робота:


<meta name="googlebot" content="nofollow"/>

Если мы говорим о конкретных ссылках, то переход на них можно запретить прямо внутри разметки.


<a href=“page.html” rel=“nofollow”>Гиперссылка</a>

Преимущества тега noindex и атрибута nofollow

Некоторые полезные свойства тегов мы уже обсудили выше, но на эту тему можно сказать больше.

  • Теги помогают сделать информацию на сайте более релевантной за счет вычленения из нее неуникального и разного рода утилитарного контента, который никак не связан с данными для посетителей. Не только пропадает текст, понижающий общую уникальность, но и увеличивается плотность вхождения ключевых слов.
  • Тегами можно спрятать информацию из сквозных блоков, которые часто воспринимаются роботами как дубликаты данных.
  • Я уже упомянул выше, что за тегом <noindex> частенько прячут контактную информацию, но не пояснил зачем. Дело в поисковых сниппетах Яндекса и Google, в которые ненароком могут попасть номера телефонов и адреса, указанные на другом сайте или закрепленные за другой компанией в Яндекс.Справочнике. 
  • Атрибут nofollow может прятать платные ссылки. Рекламные статьи, заметки и обзоры, размещенные на странице. Поисковикам запрещают переход по ним, чтобы избежать санкций со стороны Google или Яндекса.
  • Еще nofollow нужен для распределения приоритетов сканирования. Чтобы в него не попадали всякие формы регистрации и прочие технические страницы. Сканирование этой информации никакой пользы не принесет.

Выше мы использовали <noindex> и nofollow в качестве мета-атрибутов, чтобы задать свойства всей странице целиком. Посмотрим, как разрешить для роботов весь контент и все ссылки:


<meta name="robots" content="index, follow"/>

А это полный запрет на контент и ссылки:


<meta name="robots" content="noindex, nofollow"/> 

Данный тег спрячет от ботов страницу целиком, но то же самое можно сделать, указав соответствующую ссылку в графе Disallow файла robots.txt, который отвечает за «исключение» страниц из индексации.

Но способы отличаются тем, что мета-тег разрешает поисковикам заходить на сайт и анализировать его содержимое. А вот если ссылка указана в robots.txt, то бот не сможет на нее зайти и провести индексирование.

Во избежание неадекватного поведения ботов, на уже проиндексированных страницах лучше использовать мета-теги, а в robots.txt заносите новые ссылки, неизвестные для Google и Яндекс.

Итоги

Теперь вы знаете, какие задачи выполняют теги noindex и nofollow. С помощью них можно строго задать поведение поисковых ботов Google и Яндекс в отношении вашего сайта и тем самым улучшить показатели SEO.

что такое за HTML-тег и как его использовать

Noindex – метатег, с помощью которого вы можете управлять индексацией поискового робота. Если вы выделите отдельный текстовый фрагмент и закроете его тегом noindex, то он не проиндексируется поисковой системой. Соответственно, он не будет находиться в его кеше.

Функции

Первый раз этот инструмент предложили специалисты «Яндекса», чтобы веб-мастеры могли быстро и с минимальными усилиями отделить часть текстового контента, не несущую смысловой нагрузки и нежелательную для оценки страницы.

Другая функция метатега noindex, не менее важная, заключается в блокировании индексации отдельных страниц ресурса, на которых публикуется контент пользователей. Как правило, это страницы, на которых размещены отзывы, комментарии, сообщения и др. В этом случае с помощью noindex можно использовать не самый жесткий режим модерации сообщений пользователей и избежать популяризации нежелательной информации.

Метатег noindex учитывается только «Яндексом». Для Google его наличие не играет роли. Поисковик проводит полную индексацию текстового контента страницы. Чтобы заблокировать индексацию для всех поисковиков, нужно прописать соответствующий метатег для всего сайта или отдельных страниц в файле robots.txt. Этот способ имеет очевидный недостаток: у вас не будет индексироваться целая страница, а не только отдельный текстовый фрагмент.

Преимущества noindex

  • Когда скрыта второстепенная информация, можно увеличить плотность ключевых слов и повысить релевантность индексируемой страницы.

  • Метатег noindex позволяет скрыть контент сквозных блоков, дублирующихся на нескольких страницах и негативно влияющих на позиции сайта в выдаче «Яндекса».

  • С помощью этого метатега можно скрыть нежелательную или служебную информацию, которая иногда попадает в сниппет.

Принцип действия

Noindex может располагаться в любом месте HTML-кода. Уровень вложенности не имеет значения. Чтобы сохранить валидность кода, тег нужно использовать в таком формате:

[!—noindex—] текст, спрятанный от индексации[!—/noindex—].

Несмотря на то, что noindex изначально предложили разработчики Yandex, применение этого инструмента может расцениваться как серый метод оптимизации. Причиной являются недобросовестные веб-мастеры, которые не всегда применяют его по прямому назначению и прячут от робота контент с низкой уникальностью или текст без ключевых фраз, рассчитанный на прочтение посетителями ресурса. Вместе с ним поисковику предлагается текст с обилием ключей, тяжелый для восприятия обычным человеком.

«Яндекс» борется с серыми методами оптимизации, поэтому выполняет анализ текста, закрытого метатегом noindex, проводит его индексацию, а затем отфильтровывает скрытое содержимое. После изучения контента поисковик может наложить санкции на сайт, если решит, что его владелец пользуется неправомерными способами влияния на поисковую выдачу.

Noindex — Словарь— PromoPult.ru

Noindex — это инструкция для поискового робота, запрещающая индексировать определенный контент.

Noindex может быть HTML-тегом, атрибутом метатега robots, заголовком HTTP-ответа.

Тег Noindex для запрета индексации

Тег Noindex предназначен для блокировки индексации заданной части страницы. Можно выделить определенный отрезок контента в HTML-документе (например, счетчики статистики или сквозной блок на сайте), заключить между тегами Noindex и поисковый робот не станет помещать его в индекс. Синтаксис выглядит так:

<!--noindex-->Текст, не подлежащий индексации<!--/noindex-->

Данное правило блокировки работает только в отношении поисковой машины Яндекс — Google его игнорирует.

Атрибут Noindex для запрета индексации

Можно закрыть от индексации отдельную страницу сайта — для этого служит атрибут Noindex метатега Robots. Данное правило прописывается в директиве <head>> страницы и поддерживает и Яндекс, и Google. Синтаксис следующий:

<meta name="robots" content="noindex">

В таком виде страница будет запрещена к индексации всеми известными роботами. Однако можно указать конкретный вид робота, например Googlebot:

<meta name="googlebot" content="noindex">

HTTP-заголовок для запрета индексации

Вместо использования метатега можно возвращать заголовок X-Robots-Tag. В ответе должно быть указано значение noindex. Пример HTTP-ответа, где X-Robots-Tag запрещает индексировать страницу:

HTTP/1.1 200 OK
()
X-Robots-Tag: noindex
()

Отличие Noindex и Nofollow

Инструкции Noindex и Nofollow часто путают, при этом они выполняют разные функции. Атрибут Nofollow тега <а> или метатега Robots используется только в отношении ссылок на странице — для запрета перехода по ним и их учета при оценке страницы.

См. также

Что такое Noindex и как его реализовать?

Что такое noindex?

Noindex — это значение, которое можно использовать в метатеге robots в HTML-коде веб-сайта. Он адресован сканерам поисковых систем, таких как Google, Bing и Yahoo. Если они находят это значение в метатегах веб-страницы, эта страница не включается в индекс поисковых систем и, следовательно, не отображается для пользователей в списках результатов поиска. Аналог noindex — это «index», который явно разрешает индексацию.

С помощью noindex вы можете решить, должна ли определенная веб-страница быть включена в индекс поисковых систем или нет. Следовательно, noindex — отличное средство для управления индексированием каждой отдельной подстраницы с небольшими усилиями. Следовательно, директива является важным инструментом поисковой оптимизации (SEO). Google всегда придерживается директивы noindex, тогда как index рассматривается только как рекомендация.

Для чего используется директива и когда она (нет) имеет смысл?

С помощью noindex вы можете исключить страницы из индекса поисковых систем, которые не принесли бы пользователям никакой дополнительной ценности, если бы они отображались в результатах поиска.Сюда входят, например, карты сайта или результаты внутреннего поиска. Подстраницы с конфиденциальными данными или защищенными паролем загрузками и разделами для участников также могут быть исключены из индексации таким образом.

Для страниц с повторяющимся, похожим или разбитым на страницы содержанием индексирование также не всегда рекомендуется с точки зрения SEO. Исключая этот контент, Google не оценивает такие страницы как дублирующий контент, и поэтому отдельные подстраницы не конкурируют друг с другом в отношении рейтинга.Это может пригодиться, например, в категориях интернет-магазинов. Если продукты там можно отсортировать по разным критериям, могут возникнуть совпадения. Например, если пользователи могут отсортировать довольно небольшое количество элементов по размеру, продукты, доступные в нескольких размерах, появятся в нескольких дисплеях категорий. Если эти страницы исключить из индексации, сайт не будет страдать от дублирования, что хорошо для SEO. В этом контексте, однако, обратите внимание на релевантность этих страниц, которая может быть связана с обратными ссылками и т. Д., также теряется из-за директивы noindex. Таким образом, вы всегда должны использовать канонический тег для дублированного контента, поскольку этот тег объединяет ссылочную массу затронутых страниц с каноническим URL-адресом и одновременно сигнализирует роботу Googlebot, какая страница должна быть включена в индекс.

Другой часто встречающийся вариант использования noindex — разбиение на страницы, которое часто используется для длинных текстов или серий изображений. Здесь может иметь смысл проиндексировать только первую страницу, чтобы пользователи не оказывались в середине содержания серии изображений, а в начале.Однако использование noindex в этом контексте не всегда имеет смысл. Особенно длинные редакционные статьи содержат не только полезную информацию на первой странице. Таким образом, исключение следующих страниц может привести к потере трафика, что может отрицательно сказаться на SEO. Чтобы избежать этого, вы должны использовать rel = «next» / «prev» для нумерации страниц.

Как реализовать noindex

Одна из возможностей исключить определенную веб-страницу из индексации — добавить noindex к метатегу robots в метаданных этой страницы.Этот метатег содержит инструкции для сканеров Google и других поисковых систем. Чтобы исключить страницу из индекса поисковой системы, вам необходимо интегрировать следующий тег в заголовок HTML-кода:

  

Вместо того, чтобы отклонять все сканеры, вы также можете обратиться к определенной поисковой системе с помощью этого метатега. Например, если вы хотите запретить Googlebot индексировать определенную подстраницу, замените значение в атрибуте name на «googlebot».Имя бота Yahoo — «slurp». Однако в практике SEO вряд ли имеет смысл исключать только отдельных ботов.

В качестве альтернативы вы можете реализовать директиву noindex через поле в заголовке ответа HTTP. Для этого вам нужно добавить следующий код в заголовок HTTP-ответа:

 X-Robots-Тег: noindex 

Комбинирование noindex с follow или nofollow

При желании вы можете комбинировать директиву noindex со значениями «follow» или «nofollow». Они сообщают поисковым роботам, как обрабатывать ссылки на неиндексированной странице.Поисковые боты переходят по ссылкам на соответствующей странице, если установлена ​​директива Follow. Эта комбинация директив часто используется для карт сайта в формате HTML. Индексирование карты сайта в формате HTML редко имеет смысл, но с точки зрения SEO карта сайта ценна, потому что Google и другие поисковые системы могут получить доступ ко всем подстраницам веб-сайта всего за несколько шагов.

Следующая директива также может быть полезна для SEO в отношении страниц категорий с разбивкой на страницы или страниц результатов функции внутреннего поиска интернет-магазинов.Многие операторы веб-сайтов решают не индексировать такие подстраницы из-за их низкого информационного содержания и потенциальных проблем с дублированием контента. В этом случае значение «следовать» полезно для обеспечения того, чтобы поисковые системы могли находить и индексировать отдельные продукты, предлагаемые в этих категориях.

В этом контексте, однако, обратите внимание, что Google перестает переходить по ссылкам на странице noindex через определенный период времени. Следовательно, этот подход только частично рекомендуется для долгосрочного SEO.

В отличие от следующего, директива nofollow гарантирует, что поисковые роботы не будут оценивать ссылки на подстранице.

Отличие от директивы disallow в файле robots.txt

Используя директиву disallow в файле robots.txt, вы можете запретить поисковым роботам сканировать определенные там области. Эта команда используется, например, для файлов, таких как изображения в больших базах данных, чтобы сэкономить ценный бюджет сканирования SEO. Однако вы не должны использовать эту директиву, если хотите, чтобы определенный контент не индексировался. Хотя команда запрещает сканирование определенной страницы, эта страница все равно может отображаться в индексе, если на нее указывают обратные ссылки с других веб-сайтов.

По этой причине вам никогда не следует комбинировать noindex и disallow на одной странице. Поскольку сканеры всегда сначала вызывают файл robots.txt при индексировании веб-сайта, они сначала замечают директиву disallow и, следовательно, воздерживаются от сканирования соответствующих подстраниц. Следствием этого является то, что они не могут видеть возможные директивы noindex на этих страницах и по-прежнему включать подстраницы в индекс, если они связаны через обратные ссылки. Если вы не хотите, чтобы определенная страница была включена в индекс поисковых систем, вам следует использовать только noindex.

Ссылки по теме

Похожие статьи

Что такое метатег Noindex? Когда его использовать

Что такое метатеги «Noindex»?

«Noindex» — это метатег, который можно прикрепить к HTML-коду веб-страницы, который дает указание сканерам Google не индексировать определенную страницу, чтобы гарантировать, что она не будет отображаться в поисковой выдаче.

Это просто означает, что , когда вы добавляете метатег «noindex» на веб-страницу, вы сообщаете поисковым системам, что «они» не могут добавить страницу в свой поисковый индекс, даже если «они» могут сканировать страницу.

Все страницы с директивой noindex попадут в поисковый индекс поисковой системы и не будут отображаться на страницах результатов поисковой системы.

Важность мета-тегов «Noindex»

«Noindex» — важный тег, который следует использовать, когда вы не хотите, чтобы конкретная страница отображалась в результатах поиска. Если страница не представляет особой ценности для пользователя или, возможно, содержит информацию, которую вы не хотите видеть широкой публикой, тег noindex сделает свою работу.

Во многих случаях это также помогает веб-сайтам избежать наказания за кажущиеся черные методы SEO, такие как дублирование контента.Это означает, что веб-сайты превентивно избегают падения рейтинга и посещаемости.

Когда следует использовать «Ноиндекс»?

Существует довольно много различных сценариев, когда вы должны использовать тег «noindex» . К ним относятся:

1. Страницы администратора

Очевидно, что конечные пользователи веб-сайта не должны видеть страницы входа в систему. Таким образом, noindex решает эту проблему и сохраняет страницы администратора только для вас и ваших коллег.

2. Дублированные страницы

Хотя в первую очередь канонический тег должен использоваться для работы с дублированным контентом, существуют определенные ситуации, когда вам следует использовать noindex.

Если вы являетесь единственным автором содержимого веб-сайта, страница автора не нужна и, вероятно, в значительной степени соответствует содержимому вашей домашней страницы. Noindex this, любви не будет.

3. Сообщения сообщества

Если у вас есть веб-сайт, который позволяет членам сообщества создавать профиль для публикации сообщений или контента в блогах, это то, что вы захотите отрегулировать.

Вам нужны только профили, которые предоставляют лучший контент, чтобы отображаться в поисковой выдаче, потому что это показатель авторитета веб-сайта и хорошего UX (пользовательского опыта).

Профили Noindex, которые вносят тонкий или некачественный контент во избежание подрыва целостности вашего веб-сайта.

4. Тонкое содержание

Google заботится о качестве контента, поэтому существуют алгоритмы Panda и Penguin. Веб-сайты, которые размещают высококачественные веб-страницы, будут вознаграждены, в то время как сайты с тонким и нерелевантным содержанием будут занимать низкие позиции в рейтинге.

Поэтому, если у вас есть контент, который вы не хотите удалять по какой-либо причине, но при этом не хотите, чтобы этот контент выступал в качестве представления вашего веб-сайта, не индексируйте его.

5. Эксклюзивные страницы

Если у вас есть платный контент, доступный только через членство, вам не следует индексировать эти страницы, чтобы не допустить бесплатного просмотра вашего контента неплательщиками.

6. Ненужные страницы, не представляющие ценности

Страницы «Спасибо», хотя и являются приятным дополнением для покупателя после того, как он совершил покупку, не обязательно должны отображаться в поисковой выдаче. Неиндексируйте эти страницы, чтобы ваш сайт не выглядел глупо.

Инструменты для реализации тегов «noindex»

Существует инструментов, которые могут быть очень полезны для реализации ваших тегов «noindex».

  • Screaming Frog
  • Инструмент SEO Yoast (бесплатно)

Чем мы можем помочь?

Думаете, вы испортили все свои метатеги? Мы можем тебя выручить!

Свяжитесь с нами сегодня, чтобы получить бесплатную сессию по стратегии и возможность работать в паре с отличной командой, которая может реализовать любые стратегии, которые мы придумаем для вас!

А пока посетите наши учебные курсы, которые сразу же дадут вам ценные приемы SEO, которые вы сможете применить на своем сайте по завершении.

Noindex пост в WordPress, простой способ! • Yoast

Некоторые сообщения и страницы не должны отображаться в результатах поиска. Чтобы убедиться, что не отображаются, вы должны указать поисковым системам исключить их. Вы делаете это с помощью тега meta robots noindex . Установка страницы на noindex гарантирует, что поисковые системы никогда не покажут ее в своих результатах. Здесь мы объясним, как легко не индексировать сообщение в WordPress, если вы используете Yoast SEO.

Зачем убирать публикацию из результатов поиска?

Почему вы НЕ хотите, чтобы страница отображалась в результатах поиска? Что ж, на большинстве сайтов есть страницы, которые не должны отображаться в результатах поиска.Например, вы можете не захотеть, чтобы люди попадали на страницу с благодарностью, на которую вы перенаправляете людей, когда они связались с вами. Или страницу «Успешная оплата». Поиск этих страниц в Google никому не нужен.

Не уверены, нужно ли вам noindex или nofollow пост? Прочтите сообщение Михиля: Какие страницы мне следует использовать noindex или nofollow?

Как установить пост в noindex с помощью Yoast SEO

Установить сообщение или страницу на noindex просто, когда вы используете Yoast SEO.Под вашим сообщением, в мета-поле Yoast SEO, просто нажмите на вкладку «Дополнительно»:

Вкладка Advanced в мета-поле Yoast SEO содержит параметры индексации.

На вкладке «Дополнительно» вы увидите несколько вопросов. Первый: «Разрешить поисковым системам показывать это сообщение в результатах поиска?» Если вы выберете «Да», ваше сообщение может появиться в Google. Если вы выберете «Нет», для сообщения будет установлено значение noindex . Это означает, что он не будет отображаться в результатах поиска.

Выберите «Нет» в раскрывающемся меню, чтобы не индексировать это сообщение.

Настройка публикации по умолчанию — в данном случае «Да» — это настройка, которую вы выбрали для этого типа публикации на вкладке «Внешний вид при поиске» Yoast SEO.Если вы хотите запретить отображение полных разделов вашего сайта в Google, вы можете установить это там. Об этом подробнее говорится в сообщении Эдвина: Показывать x в результатах поиска ?.

Обратите внимание, что если сообщение, которое вы устанавливаете на noindex , уже есть в результатах поиска, страница может исчезнуть через некоторое время. Поисковым системам сначала нужно будет повторно проиндексировать страницу, чтобы найти тег noindex . И не следует легкомысленно индексировать посты: если они получали трафик раньше, вы его теряете.

Думали ли вы использовать файл robots.txt, чтобы что-то не отображалось в результатах поиска? Прочтите, почему вам не следует использовать для этого файл robots.txt.

Имеют ли ценность ссылки на неиндексированных страницах?

Когда вы устанавливаете для сообщения значение noindex , Yoast SEO автоматически предполагает, что вы хотите установить значение noindex, следуйте . Это означает, что поисковые системы по-прежнему будут переходить по ссылкам на этих страницах. Если вы делаете , а не хотите, чтобы поисковые системы переходили по ссылкам, ваш ответ на следующий вопрос должен быть Нет:

. Просто ответьте «Нет», если вы не хотите, чтобы Google переходил по ссылкам на этой странице.

Это установит мета-роботов на nofollow , что изменит поведение поисковых систем.Они проигнорируют все ссылки на странице. Однако используйте это с осторожностью! Сомневаетесь, нужно ли вам это? Просто проверьте сообщение Михиэля прямо здесь.

Начиная с Yoast SEO 14.4, вы также можете установить отдельные ссылки на nofollow в редакторе блоков. Вы даже можете пометить коммерческую ссылку как sponsored , что автоматически добавит nofollow . Просто щелкните ссылку и настройте параметры для этой конкретной ссылки.

Вы можете установить отдельные ссылки как nofollow в редакторе блоков WordPress

PS.Вы не индексировали сообщение или страницу в WordPress, хотя этого не хотели? Не беспокойтесь, вы легко можете исправить случайный noindex!

Подробнее: Полное руководство по метатегу роботов »

Йост де Валк

Йост де Валк — основатель и директор по продуктам Yoast. Он интернет-предприниматель, который незадолго до основания Yoast инвестировал и консультировал несколько стартапов. Его основная специализация — разработка программного обеспечения с открытым исходным кодом и цифровой маркетинг.

Noindex и Google: Руководство для SEO-специалистов среднего уровня

Следуя нашему руководству для начинающих по внедрению директив noindex, disallow и nofollow, мы немного углубимся в мутные воды ноиндексирования. Мы расскажем об использовании noindex для тонких страниц, дублированного контента и управления дополнительными ссылками; восстановление после ошибок; объединение с запретом; PageRank и файлы Sitemap.

Noindexing может быть пугающим процессом — особенно при принятии решения о запрете индексирования больших частей вашего сайта — и восстановление после ошибки является непосильной задачей.Итак, приступим.

Когда использовать noindex

Не следует индексировать малоценный контент или контент, который вы не хотите, чтобы пользователи находили в результатах поиска. Noindex оставляет страницу открытой для вашей аудитории для использования на сайте, но означает, что авторитет вашего сайта не будет зависеть от его содержания, и пользователи не смогут найти страницу с помощью поискового запроса.

Ключевые ситуации без индексации могут включать (но не ограничиваются ими):

  • Некачественные или «тонкие» страницы, которые вы не хотите удалять.
  • страниц, созданных для других маркетинговых целей (например, онлайн-версии электронного маркетинга, целевые страницы для социальных сетей), на которые вы не хотите, чтобы поисковые пользователи попадали на них.
  • Любая страница, которую вы хотите скрыть от широкой публики: например, страница, которую вы хотите, чтобы люди с определенной ссылкой могли найти.
  • Пользовательский контент, например страницы форумов (подробнее см. Ниже).

Noindex для форумов и прочего тонкого контента

Сделать тонкий контент неиндексируемым путем запрета индексации и / или канонизации, где это необходимо.

На видеовстрече для веб-мастеров в апреле 2015 г. (18 мин. 35 сек.) Джон Мюллер дал несколько советов, как решить, какие части вашего сайта можно считать «тонкими», особенно при рассмотрении форумов.

Вот основные моменты из того, что сказал Иоанн:

  • Недоверенный контент форума Noindex. Сюда могут входить сообщения пользователей, которые раньше не были на форуме, обсуждения, в которых нет ответов, и обсуждения, в которых нет авторитетных ответов.Вы не можете индексировать их по умолчанию.
  • При принятии решения, какие страницы можно считать тонкими и, следовательно, не индексировать, определите, «какие страницы имеют высокое качество, а какие страницы более низкого качества, чтобы страницы, которые действительно индексируются, действительно были высококачественными».

Следует ли использовать noindex для повторяющегося контента?

В большинстве случаев для работы с дублированным контентом следует использовать канонический тег вместо noindex. Канонизация контента объединит ранжирование и социальные сигналы на канонической странице, а также сделает каноническую страницу более предпочтительной в результатах поиска, что сделает ее лучшим вариантом для управления повторяющимися страницами.Без индексации канонизированных страниц они просто удаляются из индекса, без объединения всех сигналов, которые сделают главную страницу сильнее.

Единственная ситуация, когда noindex может быть полезным вариантом для дублированного контента, — это когда вы не можете использовать канонические теги: например, если контент на канонической странице отличается от контента на канонических страницах.

Noindex для пониженных или неправильных дополнительных ссылок

дополнительных ссылок, которые не исчезают после понижения, можно удалить, добавив noindex: Джон Мюллер из Google обсуждал это на недавней видеовстрече Google для веб-мастеров.

Восстановление со страниц, не индексированных с ошибкой

Поскольку тег noindex очень легко добавлять и удалять, вполне возможно, что он будет добавлен не на те страницы или другие члены команды неправильно поймут его действие / цель.

Очевидно, что первым и наиболее важным шагом в восстановлении после ошибки noindex является удаление noindex. После этого вам следует:

  1. Повторно отправьте файл Sitemap в Google через Search Console.
  2. Вручную отправить выбранные страницы с помощью функции «Добавить в индекс».
  3. Добавьте неиндексированные URL-адреса в RSS-канал и отправьте их в Google Search Console как файл Sitemap, в идеале с PubSubHubbub. Это должно помочь ускорить переиндексацию контента.
  4. Рассмотрите возможность проведения дополнительного маркетинга через электронную почту / социальные сети / гостевые посты, чтобы попытаться восполнить влияние трафика, когда сайт находится вне индекса.

Ориентация на будущее

Защитите сайт от случайного noindexing в будущем, убедившись, что все разработчики / администраторы сайта, имеющие доступ к серверной части сайта, понимают влияние noindex.

Вы также можете рассмотреть возможность инвестирования в дополнительные маркетинговые каналы, чтобы ограничить влияние колебаний производительности поиска в будущем.

Найдите ошибки noindex

Даже если этот кошмар еще не случился с вами, рекомендуется использовать имеющиеся у вас инструменты, чтобы регулярно проверять наличие проблем с noindex, особенно на страницах с высокой посещаемостью. Помните, что ошибка noindex может отображаться в результатах поиска в течение месяца или дольше, в зависимости от того, насколько регулярно Google сканирует ваш сайт.

Обратите внимание на резкое снижение органического трафика в Google Analytics и резкие изменения в данных Search Analytics / проиндексированных страниц в Search Console.

Объединение с запретом

Одним из недостатков использования мета-индекса noindex является то, что если вы хотите также запретить страницу, директива disallow в файле robots.txt предотвратит сканирование страницы, поэтому поисковые системы не смогут увидеть директиву noindex.

В то время как мета noindex является наиболее распространенным методом noindex (и методом, поддерживаемым Google), существует еще один метод noindex, позволяющий обойти указанную выше проблему.Этот второй метод включает добавление тега noindex в файл robots.txt аналогично добавлению директивы disallow. Это означает, что можно комбинировать noindex в robots.txt с директивой disallow, чтобы страницы вообще не отображались в результатах поиска.

Однако Google не рекомендует использовать этот метод: Джон Мюллер заявил, что «не следует полагаться на него».

Накапливают ли неиндексированные страницы PageRank?

В 2012 году Google заявил, что они сканируют неиндексированные страницы (они должны сканировать метатег noindex), обрабатывают контент и переходят по ссылкам, но они просто не отображают страницу в индексе.В 2007 году Мэтт Каттс подтвердил, что неиндексированные страницы могут проходить через PageRank.

Карты сайта

Файлы Sitemap

должны включать только те URL, которые Google должен видеть и включать в результаты поиска, поэтому не включайте в Sitemap страницы с тегом noindex.

Сколько времени / усилий вы должны потратить на отсутствие индексации отдельных страниц?

Итог по неиндексированию страниц: если контент полезен для читателя, то оставьте его проиндексированным. Как правило, вы должны использовать noindex только тогда, когда страница имеет очень небольшую SEO-ценность (т. Е.она считается тонкой по стандартам Google или представляет собой просто малоценный контент) или там, где вы не хотите, чтобы страница была доступна через результаты поиска.

DeepCrawl и noindex: полезные отчеты

Разрешите DeepCrawl полный доступ к вашим неиндексированным URL-адресам в универсальном сканировании, чтобы получить полное представление о вашей настройке. Убедитесь, что пользовательский агент установлен как Googlebot в дополнительных настройках, чтобы отразить реакцию робота Googlebot:

Планирование регулярных обходов и настройка каждого из них для сравнения с последним подчеркнет резкое увеличение количества неиндексированных страниц; это может указывать на ошибку noindex.

Вы можете проанализировать отдельные URL-адреса, которые в настоящее время не индексируются, выбрав Индексирование> Неиндексируемые страницы> Страницы Noindex. Вы увидите список URL-адресов, которые не были проиндексированы, а также не проиндексированных: robots, meta или header:

Если вы не хотите, чтобы в отчете отображались неиндексированные страницы, вы можете исключить их из сканирования в расширенных настройках.

Автор

Алисса Орду

Алисса — заядлый путешественник, энтузиаст коктейлей и отцовских шуток, занимающийся маркетингом именно в таком порядке.Любитель охвата, свяжитесь с ней, чтобы обсудить возможности сотрудничества или обменяться каламбуром.

Теги

Управление роботами

Google делится информацией о том, как метатег Noindex может вызывать проблемы

Джон Мюллер из Google ответил на вопрос об использовании метатега noindex на страницах товаров, которых временно нет в наличии. Джон ответил на вопрос и поделился своим мнением о том, как такое использование может немного сбить с толку Google и вызвать больше проблем.

Мета-тег роботов

Мета-тег роботов — это способ указать поисковым системам не индексировать веб-страницу. Под «индексированием» веб-страницы это означает включение в список веб-страниц, которые будут отображаться на страницах результатов поиска (также известных как поисковая выдача).

«Директива » — это код, которому поисковые системы обязаны подчиняться.

Метатег robots noindex сообщает поисковым системам, что страницу не следует включать в индекс. Страница, которая исключена из индекса, означает, что страница исключена из отображения в поисковой выдаче.

Вопрос о страницах товаров, отсутствующих в наличии

Вопрос, на который ответил Джон Мюллер, был задан издателем, который добавлял метатег noindex к страницам товаров, на которых товары отсутствовали.

Реклама

Продолжить чтение ниже

Таким образом Google может исключить страницу с товаром, которого нет в наличии, из результатов поиска Google.

Затем издатель обновил метатег noindex до команды «index», когда продукт вернулся на склад.Изменив директиву noindex на директиву index, издатель приказал Google продолжить и начать показывать страницу в результатах поиска.

Это вопрос:

«Мы часто обновляем наших мета-роботов, index и noindex. А в прошлом месяце мы внедрили последнюю модификацию на страницах продуктов, которые появились на складе за последние семь дней, и пометили их как «индекс», но мы не заметили никакого влияния на отправленные URL-адреса, помеченные как noindex. Я вручную проверил некоторые URL-адреса последних модификаций.

Google, кажется, никогда не следит за ними ».

Переключение мета-тега индекса роботов между noindex и index, похоже, не помогло издателю.

Джон Мюллер рассказал, как Google обрабатывает метатег noindex.

Реклама

Продолжить чтение ниже

«В целом, я думаю, что это колебание между индексированными и неиндексированными данными может немного сбить нас с толку.

Потому что, если мы увидим страницу, которая не индексировалась в течение более длительного периода времени, мы будем считать, что это что-то вроде страницы 404, и нам не нужно ее сканировать так часто.

Так что, вероятно, происходит то, что мы рассматриваем эти страницы как noindex и решаем больше не сканировать их так часто, независимо от того, что вы отправляете в файл карты сайта.

Так что это то, где … колебания меты noindex здесь контрпродуктивны, если вы действительно хотите, чтобы эти страницы время от времени индексировались ».

Как Google обрабатывает теги Noindex

Интересно, что способ, которым Google обрабатывает метатеги noindex роботов, аналогичен тому, как они обрабатывают код ответа 404.

Тег noindex для роботов — это мощный инструмент, и его лучше всего использовать на страницах, которые издатель никогда не хочет индексировать.

Согласно странице разработчика метатега роботов Google:

«Мета-тег robots позволяет использовать детальный подход к конкретной странице для управления тем, как отдельная страница должна быть проиндексирована и предоставлена ​​пользователям в результатах поиска Google».

На той же странице Google говорится о метатеге noindex:

«… дает указание поисковым системам не показывать страницу в результатах поиска.”

В нем ничего не говорится о том, как Google обрабатывает это, как ответ 404 страница не найдена, что заставит Google посещать страницу реже, если вообще.

Как обращаться со страницами товаров, которых нет в наличии

Есть несколько передовых методов работы с веб-страницами, которых нет в наличии.

Страницы категорий

На страницах категорий, на которых перечислены товары, которые есть в наличии и которых нет в наличии, а также на страницах поиска на веб-сайтах рекомендуется по умолчанию сначала отображать товары, имеющиеся в наличии.

Затем покажите товары, которых нет в наличии, внизу страниц поиска и страниц категорий.

Снимок экрана страницы поиска в розничном магазине, на которой показаны последние товары, отсутствующие в наличии

Покупатели также учитываются

Лучшим способом обработки страниц товаров, отсутствующих в наличии, является отображение раздела «Покупатели также учитываются» в верхней части страницы. страницы товара.

Реклама

Продолжить чтение ниже

Таким образом вы можете показать посетителю сайта аналогичные имеющиеся в наличии товары, которые могут его заинтересовать.

Уведомление о наличии на складе

Еще одна передовая практика — отобразить заметную кнопку «Предупреждение о наличии на складе», чтобы потребители могли выбрать получение уведомления, когда товар снова появится на складе.

Снимок экрана кнопки регистрации электронного оповещения о наличии на складе

Структурированные данные «нет в наличии»

Свойство структурированных данных «предложение» продукта имеет тип ItemAvailability , который можно использовать для сообщения поисковым системам о наличии товара. или нет в наличии.

Реклама

Продолжить чтение ниже

Тип ItemAvailability указан Google как рекомендуемый, но не является обязательным.

Снимок экрана с структурированными данными об отсутствии на складе

Если структурированные данные ItemAvailability помечены как недоступные, поисковые системы могут не показывать эту веб-страницу в результатах поиска, но продолжать ее индексировать. Неясно, не будут ли поисковые системы ранжировать эти страницы, но, судя по неофициальным данным, именно так поисковые системы обрабатывают данные.

Реклама

Продолжить чтение ниже

Посмотреть, как Джон Мюллер обсуждает метатеги Noindex роботов

Отправленный URL-адрес с пометкой «noindex» в Google Search Console: как исправить

«Отправленный URL с пометкой« noindex »» означает, что Google обнаружил в вашей XML-карте сайта URL-адреса, которые были помечены как noindex , в результате чего Google не индексирует этот URL, поскольку они часто следуют этим директивам роботов.

Подавая неиндексируемые URL-адреса поисковым системам, вы отправляете им противоречивые сигналы, что приводит к растрате бюджета сканирования.

Как исправить ошибку «Отправленный URL с пометкой« noindex »»

Проверить статус

Просмотрите список страниц из отчета и убедитесь, что эти страницы все еще перечислены в XML sitemp и помечены ли они как noindex. Очистите кеш своего сайта, чтобы убедиться, что вы просматриваете последнюю версию своего сайта.

Если это всего лишь несколько URL-адресов, вы можете сделать это вручную. Если это больше, мы настоятельно рекомендуем подключить ваш сайт к ContentKing, чтобы наша платформа могла делать тяжелую работу и следить за этим в дальнейшем.

Наконечник Pro

Имейте в виду, что вы можете определить директивы robots через заголовок HTTP, используя X-Robots-Tag. X-Robots-Tag часто используется в промежуточных средах, и его легко пропустить.

Устранение этой проблемы

Вы получите следующие возможные результаты:

  1. Страницы правильно помечены noindex и неправильно включены в карту сайта XML: удалите эти страницы из карты сайта XML.
  2. Страницы неправильно помечены noindex и включены в карту сайта XML: обновите их статус индексируемости, и все в порядке.

Следующим шагом является использование инструмента проверки URL-адресов консоли поиска Google (открывается в новой вкладке), чтобы проверить, правильно ли вы устранили проблему. После этого запросите переиндексацию через Google Search Console, чтобы ускорить процесс переиндексации и переиндексации.

Вы страдаете от новых недобросовестных директив noindex?

Проверь свой сайт и сразу узнай!

В этом видео подробно объясняется, как работают инструменты проверки URL:

Исправляем это на WordPress

Большинство плагинов WordPress для SEO, таких как Yoast и Rank Math, автоматически удаляют неиндексируемые страницы из XML-карты сайта.Просто имейте в виду, что тег noindex может быть определен на уровне заголовка HTTP, который управляется вне WordPress на уровне веб-сервера.

Исправляем это на Shopify

Если вы хотите исправить это для продуктов, вы можете использовать массовый редактор Shopify (открывается в новой вкладке), чтобы пометить продукты как «скрытые» — который автоматически добавляет метатег noindex и удаляет продукты из карты сайта XML. .

В качестве альтернативы вы можете использовать такое приложение, как Sitemap и NoIndex Manager (открывается в новой вкладке).Это приложение также поддерживает его определение для других типов контента.

ContentKing Academy

Прочтите всю статью Академии, чтобы узнать все об отчете о покрытии индекса Google Search Console

тегов Magento Nofollow Noindex — Блог GoMage

Сегодня многие специалисты по SEO часто используют теги Nofollow и Noindex, чтобы распределить вес страниц, а также скрыть некоторые ненужные части контента или html-кода.В чем разница между noindex и nofollow?

Общие сведения о Nofollow — атрибуты тега Noindex

Первый термин — это тег, который скрывает часть текста или всю страницу от индексации поисковыми системами, второй — атрибут тега , который помогает регулировать вес страницы, запрещая отправку ее в сайт, к которому осуществляется доступ.

Noindex используется для сокрытия ненужной информации от поисковых систем, например коды счетчиков посетителей сайта, неуникальный контент, часто обновляемая информация.

Основная роль Nofollow — сохранение веса страницы. Этот атрибут необходим, если вы не желаете передавать часть веса страницы неподтвержденному источнику, если вы ссылаетесь на такие популярные сайты, как Google или Subscribe. Этот тег также будет полезен, если на странице слишком много исходящих ссылок. Кроме того, вы также можете использовать Nofollow, чтобы скрыть ссылки в комментариях.

Вы можете настроить Nofollow и Noindex в Magento® самостоятельно. Эксперты GoMage рекомендуют два возможных способа:

  • , разместив файл robots.txt в корневом каталоге вашего сайта;
  • , используя метатег name = «robots».

В первом случае вам необходимо обновить файл robots.txt с именами страниц, которые вы хотите скрыть, используя следующий код:

  Агент пользователя: *
Запретить: /myfile.html
  

Этот метод в основном используется для запрета индексации всей страницы вместо определенной части текста или ненужного кода.

Соответственно, если вы не хотите передавать часть веса страницы, вам следует использовать nofollow вместо noindex.

Второй вариант запрета индексации может выглядеть так:

  


 Заголовок страницы сайта 

  

Атрибут «контент» может иметь следующие значения:

  



  

УКАЗАТЕЛЬ, ПОДПИСАТЬСЯ НА Означает, что вы «приказываете» роботам поисковых систем проиндексировать определенный контент сайта, а затем возвращаться и проверять наличие изменений позже.
NOINDEX, ПОДПИСАТЬСЯ НА Означает, что вы «говорите» роботам поисковых систем, чтобы они не индексировали определенный контент сайта, а возвращались и проверяли наличие изменений позже.
ИНДЕКС, NOFOLLOW Означает, что вы «приказываете» роботам поисковых систем проиндексировать определенный контент сайта только один раз и не возвращаться и не проверять изменения позже.
NOINDEX, NOFOLLOW Означает, что вы «говорите» роботам поисковых систем, чтобы они не индексировали определенный контент сайта и не возвращались и не проверяли изменения позже.

Вы можете выбрать контент, который нужно скрыть в административной панели Magento ®: Система -> Конфигурация -> Дизайн -> HTML Head -> Роботы по умолчанию

Чтобы установить noindex и nofollow на статических страницах, вы можете использовать обновление макета. На вкладке CMS — Pages выберите нужную страницу, затем найдите поле Layout Update XML и вставьте следующий код:

  
   noindex, nofollow   роботы  

  

Этот код также можно использовать в любом шаблоне по вашему выбору.Если у вас есть какие-либо проблемы или вопросы, мы рекомендуем вам связаться с нашей командой разработчиков Magento ®. Мы будем рады помочь Вам.

Nofollow и Noindex в Magento ® 2

Процедура, описанная выше, абсолютно приемлема для Magento ® 2. Вы должны следовать той же логике для настройки тегов noindex, nofollow и robots.txt.

Вам нужно зайти в административную панель Magento ®, затем выбрать «Магазины» >> «Конфигурация». Слева под опцией «Общие» выберите «Дизайн».Откройте вкладку «Роботы поисковых систем» и настройте необходимые параметры.

По желанию вы можете установить свои собственные инструкции в опции Редактировать настраиваемую инструкцию файла robots.txt . Например, вам нужно запретить доступ ко всем папкам, пока ваш интернет-магазин находится в разработке.

Есть примеры кастомных Инструкций:

Если вы хотите разрешить полный доступ

 Пользовательский агент: * 
 Запрещено: 

Если вы хотите запретить доступ ко всем папкам

 Пользовательский агент: * 
 Запрещено: / 

Инструкции по умолчанию

 Запрещено: / lib / 
 Disallow: / *.PHP $ 
 Запрещено: / pkginfo / 
 Disallow: / report / 
 Запрещено: / var / 
 Disallow: / каталог / 
 Запрещено: / customer / 
 Запретить: / sendfriend / 
 Disallow: / review / 
 Disallow: / * SID = 

Есть не только технические причины, по которым вам нужно закрыть свой контент от индексации роботами поисковых систем. В некоторых случаях вам может помочь тег Noindex:

  • вам нужно процитировать часть закона или отрывок из книги, и такое содержание не может быть уникальным;
  • нужно разместить интересную статью, которая была опубликована на другом сайте.Почему нет? Если такой контент может помочь посетителям дольше оставаться в вашем интернет-магазине, вы можете его использовать;
  • технические тексты или инструкции могут содержать примеры кода, который также не может быть уникальным.

Во всех этих случаях вы можете запретить индексацию определенной части текста или всей страницы.

Leave a Reply