Страница проиндексирована по каноническому адресу: Канонический адрес страницы — Вебмастер. Справка

Содержание

Канонический адрес страницы — Вебмастер. Справка

Если на сайте есть страница, доступная по нескольким адресам, а также страницы с одинаковым или схожим содержимым, робот Яндекса может посчитать их дублями. Тогда он объединит страницы в группу дублей и выберет для показа в результатах поиска только одну из них — наиболее информативную и релевантную поисковым запросам. Такая страница называется канонической.

Вы можете указать роботу страницу, предпочитаемую для показа в результатах поиска, с помощью атрибута rel=»canonical». Также вы можете указать канонический адрес, если хотите изменить адрес сайта — с префиксом www или без него, протоколом HTTP или HTTPS.Внимание. Робот Яндекса воспринимает указание на канонический адрес как рекомендацию и может проигнорировать его в нескольких случаях.
  1. Как указать канонический адрес страницы
  2. Как изменить адрес сайта с помощью канонического адреса
  3. Случаи, когда канонический адрес не учитывается
  4. Вопросы и ответы

Добавьте канонический адрес страницы с помощью атрибута rel=»canonical» одним из способов:

Например, страница доступна по двум адресам: www.example.com/pages?id==2 и www.example.com/blog.

Если предпочитаемый адрес — /blog, добавьте в HTML-код страницы /pages?id=2 элемент link:

<link rel="canonical" href="http://www.example.com/blog"/>
Например, на сайте есть PDF-файл, доступный по нескольким адресам: www.example.com/offer/file.pdf и www.example.com/files/file.pdf. Если предподчитаемый адрес — /offer/file.pdf, настройте сервер так, чтобы он передавал в HTTP-заголовке страницы /files/file.pdf следующее:
Link: <http://www.example.com/offer/file.pdf>; rel="canonical"

Примечание. Указывайте канонический адрес в пределах одного домена. В качестве канонического адреса задавайте абсолютный путь, например http://example.com/blog/.

Страница, на которой размещен атрибут rel=»canonical» с адресом другой страницы, считается неканонической.

Робот узнает об изменениях при обходе сайта. Если канонический адрес указан верно и робот не проигнорировал указание, неканоническая страница пропадет из результатов поиска. Убедиться в том, что страница удалена из поиска, можно в Вебмастере на странице (блок Исключённые страницы).

Робот игнорирует указания, если содержимое канонической страницы значительно отличается от содержимого неканонической. В этом случае в поиске может участвовать неканоническая страница. Чтобы проверить это, перейдите на страницу .

Чтобы исключить из поиска неканоническую страницу, адрес которой содержит GET-параметры или метки (UTM, from и т. д.), добавьте директиву Clean-param в файл robots.txt. В другом случае используйте директиву Disallow.

Вы можете указать канонический адрес, если хотите изменить адрес сайта:

Робот воспримет канонический адрес как редирект на новое главное зеркало и объединит две версии сайта в одну группу. Для этого в HTML-код или в HTTP-заголовок каждой страницы старого сайта добавьте ссылку на аналогичную страницу нового с атрибутом rel=»canonical». Например, вы меняете адрес http://example.com на https://example.com. На странице http://example.com/main/ нужно указать:

<link rel="canonical" href="https://example.com/main"/>

Если атрибут будет указывать на другую страницу, робот может посчитать это различием в структуре сайтов. В таком случае переезд будет невозможен.

При смене адреса убедитесь, что контент старого и нового сайтов совпадает. Подробнее см. инструкцию по переезду.

Примечание. Если атрибут добавлен только на отдельные страницы, он не будет указывать на главное зеркало.

Робот Яндекса не учтет канонический адрес, если:

  • На момент обхода неканонические страницы более полно отвечают на запрос пользователя, и их контент существенно отличается от канонических. Если вы уверены, что такие страницы не будут полезны пользователям в поиске, запретите индексирование в файле robots.txt.
  • Канонический адрес недоступен для робота — перенаправляет на другую страницу или закрыт от индексирования. Это значит, что он не сможет участвовать в поиске. Тогда вместо канонического адреса может участвовать неканонический, если он доступен для робота.
  • В качестве канонического адреса указан URL в другом домене или поддомене.

  • Указано несколько канонических адресов.

  • Указана цепочка канонических адресов. Например, для адреса example.com/1 каноническим адресом является example.com/2, в то время как для адреса example.com/2 указан канонический адрес example.com/3.

Атрибут rel=»canonical» указывает на страницу, на которой размещен. Это ошибка?

Нет. Если на странице атрибут rel=»canonical» указывает на эту же страницу, робот посчитает ее канонической.

Как вернуть неканоническую страницу в поиск

Если страница была исключена из поиска как неканоническая, значит, в ее HTML-коде или HTTP-заголовке робот нашел атрибут rel=»canonical» с указанием на канонический адрес. Удалите это указание и проверьте, что индексирование страницы, которую вы хотите вернуть в поиск, не запрещено.

Как прописать атрибут rel=”canonical”?

Что такое rel=”canonical” и случаи его использования?

Работа некоторых движков или специфика самих ресурсов приводят к тому, что появляются страницы по разным URL-адресам, но со схожим (или одинаковым) контентом. По факту, это разные страницы, но поисковиком воспринимаются как дубли, и ему нет смысла их все добавлять в органическую выдачу. Поэтому алгоритмы ранжирования пробуют самостоятельно определить каноническую (основную/приоритетную) страницу и делают это не всегда верно.

Чтобы указать каноническую страницу, используют специальный атрибут canonical, в котором содержится ссылка на нее.

Примеры из практики, в которых определенно требуется указание канонических ссылок:

  • Если по какой-то причине происходит добавление параметров в конец URL и у страниц при этом одинаковое (максимально схожее) содержимое.
  • Страница доступна из разных частей сайта и у нее меняется URL-адрес. Например, ей присвоены две (или более) категории, архивы, поиск по сайту и прочее. Часто такую проблему пытаются решить с помощью 301-редиректа, однако наиболее логичным вариантом будет обозначить канонический адрес страницы.
  • При использовании фильтров, сортировок и т.д. Этим грешат интернет-магазины, когда один и тот же товар, но с разными характеристиками имеет разные страницы. Та же история с фильтрами, когда каждый из них имеет свой уникальный URL.
  • Страницы пагинации на блогах часто содержат в себе дублированный контент. Иногда их пытаются принудительно закрыть от индексации, но это в корне не верно. Лучше применить атрибут canonical, определив приоритетной страницей ту, на которой содержится весь список товаров/постов.
  • Если на страницах схожий или одинаковый контент.

Нет времени разбираться?

SEO-продвижение под ключ

Проанализируем конкурентов, подберем запросы с низкой конкуренцией, проведем поисковую оптимизацию сайта, организуем внешнюю ссылочную массу, проработаем карточки компании на онлайн картах, проведем базовую UX-аналитику сайта. Над каждым проектом работает от 6 до 10 специалистов. Собственные разработчики для доработки сайта при необходимости. От вас — сайт, от нас — позиции в Яндекс/Google и трафик.

Ваша витрина (сайт, соцсети и пр.)

Подробнее об услуге

Способы применения rel=”canonical”

Существуют несколько основных вариантов применения тега canonical.

HTML-код

К примеру, имеется два URL-адреса страницы: page1.html?cat=1 и /cat1/page1.html. Если адрес «/cat1/page1.html» является каноническим, то в код первой страницы необходимо прописать следующую строчку:

<link rel="canonical" href="https://URL.ru/cat1/page1.html "/>

Отсюда следует, что страница, имеющая в своем HTML-коде атрибут rel=»canonical» (если при этом ссылка ведет не на саму себя), является неканонической. Рекомендуется использовать абсолютные ссылки, указывая домен.

HTTP-заголовок

Вариант подходит для определения первоисточника какого-либо файла (не HTML страниц). Для примера возьмем сайт с документом .DOCX, который доступен по адресу: /cat1/DOC.docs и /cat2/DOC.docs, в роли канонического выступает первый. Далее необходимо настроить сервер таким образом, чтобы передавался в HTTP-заголовок неканонической страницы данный тег:

Link: <http://URL.ru/cat2/DOC.docs>; rel=»canonical»

Плагины для CMS

Практически все популярные CMS имеют готовые плагины, автоматически проставляющие атрибут canonical на страницы дублей. Для WordPress таких плагинов существует много, к примеру, Yoast SEO. Joomla 3+ эту функцию имеет «из коробки», достаточно включить SEF в настройках.

Проанализируйте sitemap.xml

Для Google факт наличия страницы в карте сайта является признаком каноничности. Поэтому важно позаботиться о том, чтобы туда добавлялись исключительно страницы, участвующие в поисковой выдаче.

Проверка правильности настройки канонического адреса

Сделать это можно двумя способами: ручным и через программу Screaming Frog SEO Spider.

Ручной

Достаточно открыть интересующую страницу и посмотреть в ее HTML-коде наличие тега canonical.


Просмотр кода страницы


Ищем в HTML-коде

Screaming Frog SEO Spider

Ручной способ не подходит, если нужно проверить сайт с большим количеством страниц. Для этого воспользуемся программой Screaming Frog SEO Spider, она покажет страницы с атрибутом rel=”canonical”, на какие страницы ведут канонические ссылки и страницы без данного атрибута.

1. Делаем предварительные настройки краулера – включаем опцию сканирования канонических страниц.

Привлекли 35.000.000 людей на 185 сайтов

Мы точно знаем, как увеличить онлайн–продажи

Применяем лучшие практики digital–продвижения как из вашей тематики, так и из смежных областей бизнеса. Именно это сделает вас на голову выше конкурентов и принесёт лиды и продажи.

Ваш сайт


Настройки Screaming Frog SEO Spider


Включаем сканирование канонических страниц

2. Запускаем сканирование сайта.


Сканирование сайта

3. В разделе «Canonicals» отображается список URL-адресов сайта (столбец Address) и указанные их Canonical-страниц (Canonical Link Element 1). К слову, столбцы можно перемещать.


Получаем список URL-адресов сайта

Часто встречающиеся ошибки при использовании rel=“canonical”

  1. Каноническая страница должна быть доступна, адрес не должен отдавать 4xx или 5xx-ошибку, либо атрибут игнорируется.
  2. Разрешается указывать относительный URL, однако так проще допустить критичную ошибку.
  3. Каноническая страница не должна быть закрытой от индексации.
  4. Не прописывайте атрибут каноникал со внутренних страниц пагинации на первую.
  5. Ошибочное расположение атрибута, например, в блоке <body>. Напомним, данный атрибут должен прописываться в <HEAD>.
  6. Регистр имеет значение, рекомендуется использовать нижний.
  7. Запрещается указывать более одной канонической ссылки на странице. В противном случае, они все игнорируются.
  8. Не добавляйте в карту сайта неканонические URL-адреса (особенно актуально для Google).
  9. Допустима схема, когда дубликаты имеют каноническую ссылку на страницу-первоисточник. Нельзя при этом выстраивать цепочку, когда страница-первоисточник ссылается на другую через атрибут canonical.
  10. Следует понимать разницу между принципами работы canonical и 301-редиректом. Заключается она в том, что при использовании canonical, поисковику указывается URL-первоисточник, при этом работа дубликата не нарушается. А при 301 редиректе происходит физическое перенаправление (как пользователей, так и ботов) на другую страницу, говоря о том, что страница-первоисточник уже неактуальна.
  11. Т.к. атрибут носит рекомендательный характер, то при существенной разнице в содержимом между страницами, поисковик может проигнорировать указание на канонический адрес и проиндексировать их все.
  12. При использовании с тегом noindex могут возникнуть проблемы. Нужно помнить, что в таком случае будет учитываться только canonical.
  13. Недопустимо перенаправление с канонической страницы на другую. Иными словами, канонический адрес должен быть конечен.

Как вернуть неканоническую страницу в поиск?

Возникают ситуации, когда страница признается неканонической и удаляется из поисковой выдачи. Скорее всего, она имеет прописанный атрибут rel=»canonical» в котором указан канонический адрес. Для возврата подобной страницы в органическую выдачу, достаточно удалить данный атрибут и при следующем обновлении поисковой выдачи она там появится.

Увидеть список неканонических страниц можно в панели Яндекс.Вебмастер: «Индексирование – Страницы в поиске – Исключенные».


Просмотр неканонических страниц в панели Яндекс.Вебмастера

В общем списке исключенных страниц будут представлены и неканонические, с соответствующим примечанием.

Правильное использование атрибута rel=»canonical», позволяет помочь в SEO-специалисту с продвижением сайта, улучшив качество его индексации. А игнорирование этого инструмента, напротив может привести к тому, что в индексе появятся схожие по содержанию страницы, как итог, ни одна из них не займет ТОП выдачи.

Атрибут link rel=“canonical” как еще один эффективный способ борьбы с дублями и не только

Привет, друзья. Пора бы мне уже довести до логического завершения тему про управление индексацией сайта. Я вам напомню, какие методы управления индексацией вообще существуют: файл robots.txt, мета-тег robots, заголовок X-Robots-Tag, ну и 301-редирект здесь можно упомянуть, как метод борьбы с дублями, что так же является неотъемлемой частью качественной индексации. И обо всем этом я вам уже рассказывал, но есть еще один очень важный и интересный способ борьбы с дублями, в чем-то альтернатива редиректу, это атрибут rel=»canonical», который присваивается тегу link и располагается в части любой html-страницы.

Выглядит это как-то так: <link rel="canonical" href="https://alaev.info/blog" />

Что немаловажно – данный тег поддерживается всеми поисковыми системами, в том числе нашими любимыми Яндекс и Google.

Итак, сегодня я вам расскажу, как и для чего нужно использовать тег rel canonical, в каких ситуациях он действительно эффективен, а заодно убедимся в этой самой эффективности на реальном эксперименте. Приготовьтесь 🙂

Для начала напомню вам о тех постах, что я затронул в начале:

X-Robots-Tag HTTP header как способ управления индексацией содержимого сайта
Особенности индексации сайтов при использовании robots.txt и мета-тега robots
Теория, практика и правила использования редиректов

Сперва стоит пройтись по теории, чтобы понять для чего данный атрибут вообще был создан, какие цели преследовались и узнать, что же рекомендуют поисковики.

Теория и справка от поисковых систем

Привожу ссылки на официальную позицию поисковых систем: Google об атрибуте rel=»canonical» и Яндекс про атрибут rel=»canonical» тега <link>. Разумеется, и mail.ru тут как тут – про значение canonical в теге — не могли же они отстать от Яндекса, но это и хорошо, все под копирку, нам же проще.

Я знаю, что вы лентяи и читать справку не будете, хотя я настоятельно рекомендую это сделать, а потом приведу ниже все самые основные выдержки из справки:

Что такое каноническая страница? Это рекомендуемый экземпляр из набора страниц с очень похожим содержанием.

Зачем нужно указывать каноническую страницу? Если поисковая система видит, что страницы очень похожи или одинаковы, то согласно алгоритмам в результатах поиска появится только одна предпочтительная страница, которая, по мнению поисковой системы, лучше всего отвечает на запрос пользователя.

А как мы знаем, поисковик не всегда угадывает наши желания, потому лучше перестраховаться и указать нужную страницу самостоятельно. Сделать это можно добавив ссылку rel=»canonical» в раздел <head> неканонических версий всех страниц HTML.

Еще оказывается, можно указывать каноническую ссылку для не HTML содержимого, а, например, для pdf, doc или других файлов при помощи заголовков. Типа как X-Robots-Tag HTTP header, только тут будет Link HTTP header. Но это уже совсем для гик-маньяков, так что рассказывать об этом не буду.

Должна ли эта ссылка быть абсолютной или относительной? Можно указывать и так и так, но чтобы избежать ошибок и последующих недоразумений, стоит использовать абсолютные ссылки.

Что будет, если атрибут rel=»canonical» указывает на несуществующую страницу? А если каноническими назначено несколько страниц набора? В этом случае поисковая система просто проигнорирует данные правила и будет поступать, как и раньше — вычислять подходящий экземпляр из набора страниц согласно алгоритмам.

Можно ли использовать атрибут rel=»canonical» для указания канонического URL на другом домене? Можно, но не нужно. Важно понимать, что атрибут canonical это всего лишь подсказка или рекомендация, а не строгое правило в отличие от редиректа, который и стоит использовать в данном случае.

На основании всего вышенаписанного, а так же по информации из других официальных источников (блоги поисковых систем и блоги их сотрудников) можно сделать выводы о том, что тег link rel=»canonical»:

  • Это рекомендация, а не правило, а потому может быть проигнорирован в следующих случаях:
    • Документ по каноническому адресу не существует, отдает ответ 404;
    • Каноническая страница закрыта от индексации в robots.txt или мета-тегом;
    • В html-коде страницы указано сразу несколько атрибутов rel canonical;
    • Адрес канонического документа указывает на другой домен или поддомен;
    • Присутствует цепочка назначений rel=»canonical», т.е. для документа А каноническим указан документ Б, а в это время для документа Б указан каноническим документ В;
  • Необходимо указывать только для дублирующих или очень схожих страниц, а не для склейки двух разных страниц или передачи веса;
  • Адрес канонической страницы может указывать сам на себя;
  • Поддерживается всеми поисковыми системами: в Яндексе с 23 мая 2011 года, в Google с 12 февраля 2009.

Практическое применение и эксперимент

Все, с теорией покончено, теперь я вам расскажу, зачем и для чего я использую тег rel=»canonical» на своих сайтах. Главное и основное – это борьба и предупреждение появления дублей. В основном это дубли, связанные с параметрами или метками в url. Не всегда уместно бороться с этими проблемами при помощи 301-редиректов. Метки иногда очень важны, например, когда ведется кампания в контексте и в метках передаются важные статистические сведения, да и много еще чего можно отслеживать метками. Закрывать такие адреса в robots.txt мне не по душе, использовать мета роботс не получится, а редирект уничтожит все данные.

Классический пример использования канонических адресов это интернет магазины с кучей сортировок по еще большей куче различных параметров товаров – мне кажется, ради этого и придумали данный атрибут.

Это все понятно. Но вот только о самом главном для нас seo’шников нигде не сказано – а как дела обстоят с передачей ссылочного веса? Что если на неканонический адрес стоят ссылки, что же будет с канонической страницей, получит ли она от этого бонусы? А если сперва появилась ссылка, а rel=»canonical» был указан позже? А что будет, если все наоборот?

Вопросов много, а официальных комментариев нет. На вопросы кто виноват и что делать, ответ один – надо ставить эксперимент! Хотел я такой эксперимент поставить, но оказалось, что его уже не так давно провел Игорь, автор блога bakalov.info, за что ему огромное спасибо.

Вот цитата с его блога о том, какова цель, какие варианты развития событий и ожидаемый результат:

Цель эксперимента: выяснить, будет ли передан «вес ссылки» со страницу А на страницу С, в том случае, если страница А ссылается на страницу Б, а на странице Б стоит rel=»canonical», который указывает, что канонической страницей является страница С.

Если со страницы А на страницу С «вес ссылки» передается, то необходимо выяснить имеет ли значение «первоочередность».

Вариант №1. Страница А ссылается на страницу Б и эта ссылка проиндексирована поисковыми системами. Через некоторое время на странице Б устанавливается rel=»canonical», который указывает, что канонической является страница С, что в итоге приводит к исключению страницы Б из индекса.

Вариант №2. На странице Б устанавливается rel=»canonical», который указывает, что канонической является страница С, что приводит к исключению страницы Б из индекса. Через некоторое время после этого со страницы А на страницу Б устанавливается ссылка.

Необходимо выяснить в каком из двух вариантов будет передан «вес ссылки» со страницы А на страницу С. Под «весом ссылки» я понимаю так называемый «анкорный вес», т.е. если страница акцептор ищется по тексту стоящей на нее ссылки, то считаем, что «вес ссылки» передается, если не ищется, то не передается.

Полное описание и ход эксперимента смотрите по ссылке.

Я же сообщу результаты эксперимента и выводы:

Для Яндекса не имеет значения, что появилось раньше – rel=»canonical», или внешняя ссылка – в любом случае «вес ссылки» будет передан с неканонического URL на канонический.

Для Google на самом деле все аналогично, хотя в посте Игоря говорится иначе: если канонический адрес был указан и страницы уже склеились, а потом появилась внешняя ссылка, то вес передается, а если внешняя ссылка появилась раньше, чем каноникал, то вес не перетекает.
Просто «перетекание» веса во втором случае заняло несколько больше времени, ведь согласно комментарию на блоге сказано, что каноническая страница все же ищется по анкорному тексту.

Короче, все работает!

В очередной раз обобщая всю информацию изложенную в посте, хочу сказать, что использовать тег link rel=»canonical» нужно. В первую очередь это отличный способ предотвратить дублирование контента (особенно это касается ошибок и недоработок большинства CMS) и наложение санкций за это со стороны поисковых систем.

Удачи вам, друзья! Оставляйте комментарии и задавайте вопросы.

Статус «Страница просканирована, но не проиндексирована»: что это значит и как от него избавиться?

Перевод статьи с портала MOZ

Отчет об индексировании от Google дает SEO-специалистам уникальную возможность понять, как происходит краулинг и индексирование страниц. Эта функция очень удобна для диагностики технических проблем, возникающих у клиентов.

В отчете встречается много разных «статусов», которые предоставляют веб-мастерам подробную информацию о том, как Google обрабатывает контент их сайта. И хотя большинство статусов дают понимание о решениях Google по краулингу и индексированию, один из них остается неясным. Речь идет о статусе «Crawled — currently not indexed» («Просканировано, но не проиндексировано).

Обращая внимание на подобные отчеты и выявив причины возникновения ошибок, можно будет с уверенностью ответить на вопрос «Почему сайт не индексируется в Google?».

Появления статуса «Crawled — currently not indexed» вызывает у владельцев сайтов много вопросов. Одно из преимуществ крупной компании — это возможность работать с большим объемом данных. Поэтому после появления этого статуса в нескольких учетных записях мы начали отслеживать тенденции по указанным URL-адресам.

Определение Google

Для начала давайте посмотрим, какое определение этому статусу дает сам Google. Согласно официальным документам Google, за непонятной фразой скрывается следующее: «Страница была просканирована Google, но не проиндексирована. Возможно, она будет проиндексирована в будущем; нет необходимости повторно отправлять этот URL для краулинга».

Итак, мы можем сделать следующие выводы:

1. Google может получить доступ к странице.

2. Google потратил время на сканирование страницы.

3. После сканирования Google решил не индексировать страницу.

Чтобы лучше понять этот статус, нужно подумать о причинах, по которым Google решил отказать странице в индексации. Очевидно, что Google без труда находит страницу, но почему-то не считает ее достаточно полезной для включения в поисковую выдачу.

Получать отказ в индексировании от Google всегда неприятно, особенно если вы не понимаете, что сделали не так. Ниже мы рассмотрим несколько наиболее распространенных причин, по которым этот загадочный статус может быть присвоен вашему сайту.

1. Ложная тревога

Приоритет: низкий

Прежде всего нелишним будет сделать несколько выборочных проверок URL-адресов, получивших статус «Crawled — currently not indexed». Нередко можно найти URL-адреса, которые отмечены как исключенные, но тем не менее присутствуют в поисковой выдаче Google.

Например, вот URL-адрес, получивший такой статус в отчете для нашего веб-сайта: https://gofishdigital.com/meetup/

Однако, используя оператор поиска по сайту, мы обнаруживаем, что URL по-прежнему включен в индекс Google. Вы можете сделать это, добавив site: перед URL, как показано на рисунке ниже.

Таким образом, если вы обнаружили статус «Crawled — currently not indexed» у URL-адреса, рекомендуется начать с оператора поиска по сайту, чтобы наверняка убедиться, проиндексирован он или нет. Иногда появление такого статуса — ложная тревога о статусе индексации в Google.

Решение: ничего делать не нужно. Все хорошо.

2. Адреса RSS-каналов

Приоритет: низкий

Один из достаточно распространенных случаев, с которыми нам приходилось сталкиваться. Если на вашем сайте используется RSS-канал, возможно, вы обнаружите у URL-адресов статус «Crawled — currently not indexed». Часто к этим URL-адресам будет добавлена строка /feed/. В отчете это выглядит следующим образом:

Google нашел эти URL-адреса RSS-каналов, связанных с основной страницей, затем просканировал, но не проиндексировал.

Связывание часто происходит с использованием элемента rel=alternate. Плагины WordPress, такие как Yoast, могут автоматически генерировать подобные URL.

Решение: ничего делать не нужно. Все хорошо.

Скорее всего, Google выборочно не индексирует эти URL-адреса, и вовсе не напрасно. Если вы перейдете по адресу RSS-канала, то увидите XML-документ, подобный приведенному ниже:

Хотя этот документ полезен для RSS-каналов, обычным пользователям он совершенно без надобности. Именно поэтому Google не индексирует такие URL-адреса.

3. Разбитые на страницы URL-адреса

Приоритет: низкий

Еще одна распространенная причина появления статуса «Crawled — currently not indexed» — разбивка на страницы. В отчете мы часто наблюдаем большое количество разбитых на страницы URL-адресов. На рисунке ниже приведено несколько URL-адресов с крупного сайта интернет-магазина:

Решение: ничего делать не нужно. Все хорошо.

Для полного краулинга сайта Google должен сканировать все разбитые на страницы URL-адреса. Это могут быть страницы с довольно важным контентом, например, с категориями или описанием продуктов. Однако поисковой системе вовсе не обязательно индексировать все подобные URL-адреса.

Тем не менее нужно удостовериться, что вы сами не препятствуете сканированию отдельных страниц. Убедитесь, что все ваши страницы имеют самореферентный канонический тег и не содержат nofollow-тегов. Подобная разбивка позволяет Google сканировать другие ключевые страницы вашего сайта.

4. Отсутствующие продукты

Приоритет: средний

После выборочной проверки отдельных страниц, перечисленных в отчете, мы обнаружили еще одну общую проблему многих клиентов. Речь идет об URL-адресах, содержащих текст «товары с истекшим сроком годности» или «нет в наличии». Похоже, что на сайтах интернет-магазинов Google проверяет наличие определенного продукта. Если выясняется, что продукта нет в наличии, Google убирает страницу из индекса.

С точки зрения пользовательского опыта, это действительно имеет смысл, поскольку Google сканирует и исключает из индекса товары, которые пользователи не могут приобрести.

Однако, если данные продукты доступны на вашем сайте, исключение из индекса сулит неприятные последствия. Если страница не была проиндексирована, ваш контент не получает никакого рейтинга.

Кроме того, Google не просто проверяет видимый контент на странице. Бывали случаи, когда видимый контент никоим образом не указывал на отсутствие того или иного продукта. Однако при проверке структурированных данных мы видим, что для свойства Availability («Доступность») установлено значение OutOfStock («Нет на складе»).

Похоже, что Google использует не только видимый контент, но и структурированные данные о доступности того или иного продукта. Поэтому важно проверять оба источника данных. Если проблема имеет массовый характер, Google не проиндексирует не только страницы, но и сайт в целом.

Решение: проверьте наличие продуктов на складе.

Если вы обнаружите, что ваш продукт, который на самом деле есть в наличии, почему-то исключен из индекса, это повод проверить и другие продукты, указанные в отчете. Проведите сканирование своего сайта с помощью инструментов извлечения, таких как Screaming Frog SEO Spider.

Например, если вы хотите увидеть все ваши URL-адреса, где присутствует значение OutOfStock, используйте регулярное выражение «availability»:».

С помощью «class=»redactor-autoparser-object»>http://schema.org/OutOfStock» автоматически отобразятся все URL-адреса с этим значением:

Вы можете экспортировать этот список и перекрестные ссылки с данными о наличии товара, используя Excel или инструменты бизнес-аналитики. Это позволит вам быстро найти расхождения между структурированными данными на вашем сайте и продуктами, которые действительно есть в наличии. Аналогичным образом можно обнаружить случаи, когда ваш видимый контент указывает, что срок годности продуктов истек.

5. Переадресация 301

Приоритет: средний

Конечный URL — еще один тип адресов в зоне риска. Мы часто видим, что Google сканирует конечный URL, но не включает его в индекс. Однако, посмотрев на поисковую выдачу, мы обнаружим, что Google индексирует перенаправленный URL. Поскольку перенаправленный URL индексируется, конечный URL-адрес добавляется в отчет «Crawled — currently not indexed».

Проблема в том, что Google, вероятно, еще не распознает переадресацию. В результате он рассматривает конечный URL как «дубликат» перенаправленного URL.

Решение: создайте временный файл sitemap.xml.

Если подобное происходит на большом количестве URL-адресов или сайт полностью не индексируется в Google, стоит принять меры для отправки в Google более сильных сигналов консолидации. Проблема может указывать на то, что Google своевременно не распознает ваши переадресации, что приводит к появлению сигналов о неконсолидированном контенте.

Одним из вариантов может стать создание временного файла sitemap. Это поможет значительно ускорить сканирование перенаправленных URL-адресов. Именно такую стратегию рекомендовал Джон Мюллер в одной из предыдущих статей.

Как сделать временную карту сайта с конечными URL адресами для редиректов:

1. Экспортируйте все URL-адреса из отчета «Crawled — currently not indexed».

2. Сопоставьте их в Excel с предварительно настроенными редиректами.

3. Найдите все переадресации, у которых в области «Crawled — currently not indexed» находится конечный URL.

4. С помощью Screaming Frog создайте статический файл sitemap.xml этих URL-адресов.

5. Загрузите sitemap и просмотрите отчет в Search Console.

Google будет сканировать URL-адреса во временном файле sitemap.xml чаще, что приведет к более быстрой консолидации редиректов.

6. Контент низкого качества

Приоритет: средний

Иногда мы видим в отчете URL-адреса с контентом очень низкого качества. На таких страницах могут быть правильно настроены все технические элементы и внутренние ссылки, однако им недостает фактического контента, что также замечает Google. Ниже приведен пример страницы с информацией о продукте, на которой очень мало уникального текста:

Этой странице был присвоен статус «Crawled — Currently Not Indexed». Наиболее вероятная причина — низкое качество контента.


Google посчитал ее либо недостаточно полезной, либо дубликатом другой страницы. В результате страница была удалена из индекса.

Вот еще один пример: Google просканировал страницу с отзывом на сайте Go Fish Digital (рисунок выше). Хотя этот контент является уникальным для нашего сайта, но Google, вероятно, не считает, что страница из одного предложения с рекомендацией заслуживает индексации.

Поэтому Google принял решение исключить страницу из индекса по причине низкого качества контента.

Решение: добавьте больше контента или настройте сигналы индексации.

Следующие шаги зависят от того, насколько важно для вас проиндексировать те или иные страницы.

Если вы считаете, что страница обязательно должна попасть в индекс, добавьте больше уникального контента. В этом случае Google посчитает страницу достаточно полезной и проиндексирует ее. 

Если тот или иной контент, на ваш взгляд, не нуждается в индексации, встает совершенно другой вопрос: следует ли вам предпринять дополнительные меры и убедительно показать, что данный контент не следует индексировать. Ведь, как мы помним, статус «Crawled —currently not indexed» указывает на то, что контент был просканирован и мог быть включен в индекс, но Google решил этого не делать.

Однако Google применяет эту логику не ко всем страницам низкого качества. Вы можете выполнить общий поиск по сайту с помощью оператора site:, чтобы найти проиндексированный контент, который соответствует приведенным выше критериям низкого качества. Если обнаружится, что большое количество таких страниц появляется в индексе, вы можете предпринять ряд мер, таких как тег noindex, ошибка 404 или полное удаление внутренних ссылок.

7. Дублированный (неуникальный) контент

Приоритет: высокий

Среди наших клиентов данная проблема встречается наиболее часто. Если Google посчитает ваш контент дублированным, он может сканировать его, но не включать в индекс. Это один из способов, с помощью которых Google избегает дублирования поисковой выдачи. Удаляя подобный контент, Google обеспечивает пользователям широкий выбор уникальных страниц. Иногда в отчете URL-адреса получают статус «дубликатов» (Duplicate, Google chose different canonical than user). Тем не менее не каждая страница является дублирующей в строгом смысле этого слова.

Эта проблема особенно актуальна для интернет-магазинов. Ключевые страницы, например, с описанием продукта, часто содержат контент, аналогичный или похожий на многие другие страницы в интернете. Если Google обнаружит, что по содержанию или структуре ваши страницы слишком похожи на страницы других сайтов, он может исключить их из индекса.

Решение: добавьте в дублированный контент уникальные элементы.

Если вы считаете, что это относится к вашему сайту, проведите следующую проверку:

1. Скопируйте сниппет потенциального дублированного текста и вставьте его в Google.

2. Добавьте в конец URL-адреса (в браузере) следующую строку: &num=100. Отобразятся первые 100 результатов.

3. Используйте функцию «Поиск», чтобы увидеть, появляется ли ваш результат среди первой сотни. Если нет, вероятно, он был удален из индекса.

4. Вернитесь к URL-адресу (в браузере) и добавьте следующую строку: &filter=0. Это должно показать вам нефильтрованные результаты Google (спасибо Патрику Стоксу за совет).

5. Используйте функцию «Поиск», чтобы найти ваш URL. Если теперь ваша страница появляется в выдаче, это говорит о том, что ваш контент удаляется фильтром из индекса.

6. Повторите процесс для нескольких URL-адресов с потенциально дублированным или очень похожим контентом, которые получили статус «Crawled — currently not indexed».

Если вы продолжаете замечать, что URL-адреса удаляются фильтром из индекса, необходимо сделать контент более уникальным.

Универсального средства для таких случаев не существует, но мы можем предложить несколько вариантов:

1. Перепишите контент на самых важных страницах, чтобы сделать его более уникальным.

2. Используйте динамические свойства для автоматической вставки уникального контента на страницу.

3. Удалите большие куски шаблонного текста. Иногда страница признается дубликатом именно по этой причине.

4. Если ваш сайт зависит от пользовательского контента, повысьте требования к уникальности текстов. Это может помочь предотвратить случаи, когда пользователи размещают один и тот же контент на нескольких страницах или доменах.

8. Скрытый контент

Приоритет: высокий

В некоторых случаях Google может сканировать контент, к которому у него не должно быть доступа. Если Google находит URL-адреса, на которых ведется разработка, он может включить их в отчет. Однажды мы столкнулись с тем, что Google сканировал субдомен, предназначенный для задач JIRA. Это вызвало тотальный обход сайта, содержащего страницы, совершенно не предназначенные для индексации.

Таким образом, Google тратит время на сканирование (и, возможно, индексацию) URL-адресов, которые не предназначены для обычных пользователей. Это может иметь серьезные последствия для краулингового бюджета сайта.

Решение: примите меры для краулинга и индексации.

Это решение будет полностью зависеть от ситуации и того, к чему Google может получить доступ. Как правило, первым делом необходимо выяснить, как Google смог обнаружить скрытые URL-адреса, особенно если это произошло через структуру внутренних ссылок.

Начните сканирование с домашней страницы основного субдомена и проверьте, может ли Screaming Frog получить доступ к скрытым субдоменам стандартным способом. Если да, то можно с уверенностью сказать, что робот Google мог использовать аналогичную лазейку. Вы можете ограничить доступ Google, удалив все внутренние ссылки на этот контент.

Следующим шагом может стать проверка статусов URL-адресов, которые должны быть исключены из индекса. Справляется ли Google с этой задачей, или некоторые из адресов все же были проиндексированы? Если Google не индексирует большой объем данного контента, вы можете настроить файл robots.txt так, чтобы он сразу блокировал сканирование. В противном случае используйте теги noindex, атрибуты canonical и страницы, защищенные паролем.

Пример: дублированный пользовательский контент

В качестве живого примера можно привести случай, когда мы диагностировали проблему на сайте клиента. Этот сайт очень похож на интернет-магазин, поскольку большая часть его контента состоит из страниц с описанием продуктов. Тем не менее все такие описания являются пользовательским контентом.

Третьим лицам разрешено создавать листинги продуктов на этом сайте. Однако очень часто пользователи составляют слишком короткие описания, что расценивается как контент низкого качества. По этой причине страницы с описанием продуктов от пользователей стали попадать в отчет «Crawled — currently not indexed». Таким образом, страницы, способные генерировать органический трафик, были вовсе исключены из индекса, что имело ряд неприятных последствий.

После проведения диагностики мы обнаружили, что страницам с описанием продуктов существенно не хватало уникального контента. Все исключенные страницы содержали не более одного абзаца уникального текста. Кроме того, основное содержание всех страниц представляло собой один и тот же шаблон. Из-за недостатка уникальности шаблонного текста Google мог рассматривать страницы как дубликаты. В результате они были исключены из индекса с присвоением статуса «Crawled — currently not indexed».

Совместно с клиентом мы решили, какой неуникальный контент необходимо убрать со страниц описания продукта. Мы удалили одинаковое содержание с тысяч страниц. Это привело к значительному уменьшению URL-адресов со статусом «Crawled — currently not indexed», так как Google начал рассматривать каждую страницу как более уникальную.

Заключение

Надеюсь, наша статья поможет SEO-специалистам лучше понять загадочный статус «Crawled — currently not indexed», который появляется в Отчете об индексировании. Конечно, могут быть и другие причины, по которым Google классифицирует URL-адреса подобным образом, однако мы привели наиболее распространенные среди наших клиентов случаи.

Таким образом, Отчет об индексации является одним из самых мощных инструментов Search Console. Мы настоятельно рекомендуем с ним ознакомиться, поскольку во многом благодаря этому инструменту мы своевременно обнаруживаем все аномалии краулинга и индексирования, особенно на крупных сайтах. Если вы сталкивались с другими причинами попадания URL-адресов в отчет «Crawled — currently not indexed», сообщите об этом в комментариях!

Об авторе:

Крис Лонг -— старший SEO-менеджер в Go Fish Digital. Крис работает с уникальными проблемами и сложными ситуациями, чтобы через глубокое понимание алгоритмов Google и веб-технологий помочь своим клиентам улучшить органический трафик. Крис сотрудничает с Moz, Search Engine Land и The Next Web. Он также выступает на тематических конференциях, таких как SMX East и State Of Search. Вы можете связаться с Крисом в Twitter и LinkedIn.

Автор: Кристофер Лонг

Ссылка на оригинал: https://moz.com/blog/crawled-currently-not-indexed-coverage-status

P.s. Мы стараемся регулярно готовить для вас полезный контент. Для того чтобы не пропустить очередную статью в нашем блоге, подписывайтесь на наш telegram-канал: T.me/seoantteam

Когда и как их использовать. Каноническая ссылка не является индексируемой

Сегодня мы поговорим про атрибут Rel=” Canonical” и в каких случаях его необходимо прописывать.

Это атрибут указывается в теге и используется для отображения канонических страниц на сайте. Каноническая страница – является главной страницей, именно она будет при на сайте.

12 февраля 2009 года Google представил атрибут canonical, который был создан, чтобы избавить сайт от дублированных страниц, указав необходимый URL адрес (каноническую страницу).

Атрибут тега rel canonical прописывается в разделе и может встречаться только 1 раз на странице. Данный тег не может указывается в других разделах на сайте

.

Каноническая ссылка – что это?

Каноническая страница – более приоритетная страница по сравнению с остальными.

Давайте разберем конкретный пример:

У нас имеется каноническая страница, на которую мы хотим ссылаться в случае с дублями.

Тег link с атрибутом каноникал будет являться канонической ссылкой .

Данную проблему мы можем решить другим способом. Со страниц дублей будет идти ReDirect 301 на главную (каноническую страницу). О 301-редиректе я расскажу в следующей статье.

Для главной страницы атрибут canonical необязателен, так как мы указываем в robots.txt директиву Host.

Что делать с пагинацией в интернет-магазине?

Нужен ли Canonical, где имеются карточки товаров? На этот вопрос уже ответил Яндекс:

“Если в какой-либо категории на вашем сайте находится большое количество товаров, могут появиться страницы пагинации (порядковой нумерации страниц), на которых собраны все товары данной категории. Если на такие страницы нет трафика из поисковых систем и их контент во многом идентичен, то советую настраивать атрибут rel=»canonical» тега на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими, а в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска.
Например, страница сайт.рф/ромашки/1 — каноническая, с неё начинается каталог, а страницы вида сайт.рф/ромашки/2 и сайт.рф/ромашки/3 — неканонические, в поиск их можно не включать. Это не только предотвратит возможное дублирование контента, но и позволит указать роботу, какая именно страница должна находиться в выдаче по запросам. “

То если страницы пагинаций вида:

http://site.ru /category-name/” />
Рекомендую ознакомится со следующим списком статей, который помогут сделать внутреннюю оптимизацию сайта качественно:

Как правило, проблемы с дублями возникают со стороны платформы (чаще всего это известные CMS Joomla, Opencart и прочие). Opencart вообще можно вынести в отдельную категорию, так как не до конца решена проблема, во всяком случае у меня разобраться не получилось и пришлось переносить все на другой движок. (Никому не рекомендую данный движок)

Но так же существуют ошибки со стороны оптимизатора которые я описал ниже.

Основные ошибки написания Canonical

Неверный ответ сервера.

Страница, на которую ставим тег link rel=” canonical” должна быть работоспособной. То есть ответ сервера должен быть 200.

Проверить robots.txt

Возможно, что данная страница закрыта от индексации поисковых роботов.

Дублирование и расположение атрибута.

Важно, чтобы тег встречался всего 1 раз на странице и располагался только в теге

.

Отсутствие цепочек ссылок.

Со всех дублирующихся страниц все канонические ссылки указывают на 1 каноническую страницу. Чтобы не получилось, что одна ссылка ссылается на другую вторая на третью и так далее.

Rel Canonical в CMS WordPress

Прописать тег Canonical в CMS WordPress вы можете c помощью плагинов:


В SEO Yoast ограниченный функционал, можно указать только в поле необходимый канонический URL.

Плагин All in SEO


В All in SEO имеется возможность так же указывать канонический URL, а так же запрещать пагинацию для канонических URL(то есть ПС не будет индексировать эти страницы).

Заключение

Учитывая проблемы многих платформ, данный атрибут обязательно стоит учитывать, ведь он влияет на индексацию страниц вашего сайта.

Думаю, я рассказал большую часть про атрибут Rel=” Canonical”. Пишите в комментариях, как вы используете канонические ссылки на своих сайтах.

Здравствуйте, друзья!

Сегодня будет очень важная статья, которая очень тесно пересекается с темой про дубли страниц.

Так, что внимательно вникаем и, если что-то непонятно, то пишите в комментарии. Темой обсуждения является животрепещащий атрибут rel=»canonical», который призван для предотвращения дублированного контента и упрощения индексации поисковым системам.
Пройдемся по каждому вопросу по порядку, чтобы сложилась целостная картина.

Принцип работы атрибута rel=»canonical»

Атрибут или тег canonical (как еще называют) используется для того, чтобы дать поисковым системам понять, какой адрес правдивый и является главным для каждой страницы на сайте.

Rel=»canonical» — это один из важнейших моментов в оптимизации любого сайта, который позволяет решить проблему дублированного контента. Особая нужда в его использовании появляется при использовании различных дижков для создания сайтов, таких как: WordPress, phpBB и других.

Различные движки помимо основных страниц генерируют еще и другие документы с точно таким же контентом, но выполняющие совершенно другие задачи, например:

  • версия страницы для печати;
  • мобильная версия статьи;
  • и любые другие страницы с таким же контентом, но с другими адресами.

Если взять сайт на WordPress, то при включенной функции древовидных комментариев доступна кнопка «Ответить» под каждым комментом.

Она делает адрес совершенно другим, а вот контент никуда не изменяется. Происходит явное дублирование контента, что очень плохо.

Одним из самых действенных способов предотвратить появление такой страницы в индексе поисковых систем является добавления на все подобные страницы атрибута rel=»canonical», который укажет, что только статья является предпочтительным документом для индексации, а все остальные в индекс брать не нужно.

Как прописывать rel=»canonical»

На различных движках (например, WordPress) добавление атрибута rel=»canonical» происходит в автоматическом режиме. Также атрибут добавляется с помощью различных SEo плагинов.

Если же хотим добавить canonical в ручном режиме, то в область

ресурса стоит добавить следующую строчку.

Данный строку нужно обязательно добавить в секцию шапки сайта, то есть между открывающим

и закрывающим тегом . Иначе поисковые системы проигнорируют ваше указание в виде этого атрибута. Также стоит добавлять его на каждую страницу, которая не является главной и доступна по другому адресу.

Если взять в пример ситуацию выше с адресами страниц, создаваемые кнопками ответа на комментарии на WordPress, то в исходном коде каждой такой страницы можно видеть атрибут rel=»canonical».

Как видим, канонический адрес указывает на основную страницу, когда исходный код я просматривал по адресу:

http://i-am-kulinar.ru/poleznoe-obzory-intervyu/ne-proigral-nikto.html?replytocom=5499#respond

http : //i-am-kulinar.ru/poleznoe-obzory-intervyu/ne-proigral-nikto.html?replytocom=5499#respond

Такая страница благодаря атрибуту канонических адресов в индекс не попадет. Поисковики прекрасно примут во внимание ваше указание.

Рассмотрев основной принцип работы данного атрибута, можно перейти к следующему вопросу материала.

В каких случаях использовать?


Теперь стоит рассмотреть основные ошибки, которые могут допускаться и их стоит избегать.

Основные ошибки


Когда разобрали основные ошибки, которых стоит избегать и которые чаще всего употребляются, стоит упомянуть плагины WordPress и некоторые моменты работы с атрибутом rel=»canonical» на том движке.

Сanonical в плагинах WordPress

Начнем с одного из самых популярных решений на рынке — all in one seo pack. Плагин хорош и добавляет данный атрибут в код каждой страницы, удаляя при этом стандартный canonical, создаваемый средствами движка. Для этого стоит включить соответствующую настройку.

Существует 2 проблемы, которые могут препятствовать нормальной индексации сайта и помочь конкурентам насолить нам.

Первый момент касается неправильной работы атрибута со страницами пагинации. Выше я писал, что каждая страница должна быть каноничной. Плагин же в rel=»canonical» вписывает адрес на первую страницу (на главный адрес омена) из всего списка пагинации.


Такой вариант может существовать, но он не совсем правильный, так как все страницы пагинации с большой вероятностью могут быть исключены из индекса ПС. Если это недопустимо, то проблему нужно решать.

Вторым моментом является косяк, который я описывал в соответствующей статье (). Он может помочь нашим конкурентам добавить нежелательные страницы в индекс с помощью инструментов addurl в поисковый индекс. Данный косяк конечно же исправляется и хорошо, что средствами самого же плагина, активировав определенную настройку «No Pagination for Canonical URLs».

На данном моменте тут я подробно останавливаться не буду, так как вопрос не маленький. Если хотите избежать второй проблемы при использовании этого плагина, то читайте статью по ссылке в предыдущем абзаце. Там все очень подробно расписано, что да как.

Вторым плагином на обозрении стоит Platinum seo pack. К страницам пагинации он относится с уважением. Проблема заключается лишь в дублировании rel=»canonical». Просмотрев исходный код страницы, можно увидеть, что при включенной функции добавления атрибута, не убирается стандартный атрибут, выводимый движком.


Привет, друзья. Пора бы мне уже довести до логического завершения тему про управление индексацией сайта. Я вам напомню, какие методы управления индексацией вообще существуют: файл robots.txt, мета-тег robots, заголовок X-Robots-Tag, ну и 301-редирект здесь можно упомянуть, как метод борьбы с дублями, что так же является неотъемлемой частью качественной индексации. И обо всем этом я вам уже рассказывал, но есть еще один очень важный и интересный способ борьбы с дублями, в чем-то альтернатива редиректу, это атрибут rel=»canonical» , который присваивается тегу link и располагается в части

любой html-страницы.

Выглядит это как-то так:

Что немаловажно – данный тег поддерживается всеми поисковыми системами , в том числе нашими любимыми Яндекс и Google.

Итак, сегодня я вам расскажу, как и для чего нужно использовать тег rel canonical , в каких ситуациях он действительно эффективен, а заодно убедимся в этой самой эффективности на реальном эксперименте. Приготовьтесь:)

Для начала напомню вам о тех постах, что я затронул в начале:

Сперва стоит пройтись по теории, чтобы понять для чего данный атрибут вообще был создан, какие цели преследовались и узнать, что же рекомендуют поисковики.

Теория и справка от поисковых систем

Привожу ссылки на официальную позицию поисковых систем: Google об атрибуте rel=»canonical» и Яндекс про атрибут rel=»canonical» тега . Разумеется, и mail.ru тут как тут – про значение canonical в теге — не могли же они отстать от Яндекса, но это и хорошо, все под копирку, нам же проще.

Что такое каноническая страница? Это рекомендуемый экземпляр из набора страниц с очень похожим содержанием.

Зачем нужно указывать каноническую страницу? Если поисковая система видит, что страницы очень похожи или одинаковы, то согласно алгоритмам в результатах поиска появится только одна предпочтительная страница, которая, по мнению поисковой системы, лучше всего отвечает на запрос пользователя.

А как мы знаем, поисковик не всегда угадывает наши желания, потому лучше перестраховаться и указать нужную страницу самостоятельно. Сделать это можно добавив ссылку rel=»canonical» в раздел

неканонических версий всех страниц HTML.

Еще оказывается, можно указывать каноническую ссылку для не HTML содержимого , а, например, для pdf, doc или других файлов при помощи заголовков. Типа как X-Robots-Tag HTTP header, только тут будет Link HTTP header. Но это уже совсем для гик-маньяков, так что рассказывать об этом не буду.

Что будет, если атрибут rel=»canonical» указывает на несуществующую страницу? А если каноническими назначено несколько страниц набора? В этом случае поисковая система просто проигнорирует данные правила и будет поступать, как и раньше — вычислять подходящий экземпляр из набора страниц согласно алгоритмам.

Можно ли использовать атрибут rel=»canonical» для указания канонического URL на другом домене? Можно, но не нужно. Важно понимать, что атрибут canonical это всего лишь подсказка или рекомендация, а не строгое правило в отличие от редиректа, который и стоит использовать в данном случае.

На основании всего вышенаписанного, а так же по информации из других официальных источников (блоги поисковых систем и блоги их сотрудников) можно сделать выводы о том, что тег link rel=»canonical»:

  • Это рекомендация, а не правило, а потому может быть проигнорирован в следующих случаях:
    • Документ по каноническому адресу не существует, отдает ответ 404;
    • Каноническая страница закрыта от индексации в robots.txt или мета-тегом;
    • В html-коде страницы указано сразу несколько атрибутов rel canonical;
    • Адрес канонического документа указывает на другой домен или поддомен;
    • Присутствует цепочка назначений rel=»canonical», т.е. для документа А каноническим указан документ Б, а в это время для документа Б указан каноническим документ В;
  • Необходимо указывать только для дублирующих или очень схожих страниц, а не для склейки двух разных страниц или передачи веса;
  • Адрес канонической страницы может указывать сам на себя;
  • Поддерживается всеми поисковыми системами: в Яндексе с 23 мая 2011 года, в Google с 12 февраля 2009.

Практическое применение и эксперимент

Все, с теорией покончено, теперь я вам расскажу, зачем и для чего я использую тег rel=»canonical» на своих сайтах. Главное и основное – это борьба и предупреждение появления дублей. В основном это дубли, связанные с параметрами или метками в url. Не всегда уместно бороться с этими проблемами . Метки иногда очень важны, например, когда ведется кампания в контексте и в метках передаются важные статистические сведения, да и много еще чего можно отслеживать метками. Закрывать такие адреса в robots.txt мне не по душе, использовать мета роботс не получится, а редирект уничтожит все данные.

Классический пример использования канонических адресов это интернет магазины с кучей сортировок по еще большей куче различных параметров товаров – мне кажется, ради этого и придумали данный атрибут.

Это все понятно. Но вот только о самом главном для нас seo’шников нигде не сказано – а как дела обстоят с передачей ссылочного веса? Что если на неканонический адрес стоят ссылки, что же будет с канонической страницей, получит ли она от этого бонусы? А если сперва появилась ссылка, а rel=»canonical» был указан позже? А что будет, если все наоборот?

Вопросов много, а официальных комментариев нет. На вопросы кто виноват и что делать, ответ один – надо ставить эксперимент! Хотел я такой эксперимент поставить, но оказалось, что его уже не так давно провел Игорь, автор блога bakalov.info , за что ему огромное спасибо.

Вот цитата с его блога о том, какова цель, какие варианты развития событий и ожидаемый результат:

Цель эксперимента: выяснить, будет ли передан «вес ссылки» со страницу А на страницу С, в том случае, если страница А ссылается на страницу Б, а на странице Б стоит rel=»canonical», который указывает, что канонической страницей является страница С.

Вариант №1. Страница А ссылается на страницу Б и эта ссылка проиндексирована поисковыми системами. Через некоторое время на странице Б устанавливается rel=»canonical», который указывает, что канонической является страница С, что в итоге приводит к исключению страницы Б из индекса.

Вариант №2. На странице Б устанавливается rel=»canonical», который указывает, что канонической является страница С, что приводит к исключению страницы Б из индекса. Через некоторое время после этого со страницы А на страницу Б устанавливается ссылка.

Необходимо выяснить в каком из двух вариантов будет передан «вес ссылки» со страницы А на страницу С. Под «весом ссылки» я понимаю так называемый «анкорный вес», т.е. если страница акцептор ищется по тексту стоящей на нее ссылки, то считаем, что «вес ссылки» передается, если не ищется, то не передается.

Полное описание и ход эксперимента .

Я же сообщу результаты эксперимента и выводы:

Для Яндекса не имеет значения, что появилось раньше – rel=»canonical», или внешняя ссылка – в любом случае «вес ссылки» будет передан с неканонического URL на канонический.

Для Google на самом деле все аналогично, хотя в посте Игоря говорится иначе: если канонический адрес был указан и страницы уже склеились, а потом появилась внешняя ссылка, то вес передается, а если внешняя ссылка появилась раньше, чем каноникал, то вес не перетекает.
Просто «перетекание» веса во втором случае заняло несколько больше времени, ведь согласно комментарию на блоге сказано, что каноническая страница все же ищется по анкорному тексту.

Короче, все работает!

В очередной раз обобщая всю информацию изложенную в посте, хочу сказать, что использовать тег link rel=»canonical» нужно . В первую очередь это отличный способ предотвратить дублирование контента (особенно это касается ошибок и недоработок большинства CMS) и наложение санкций за это со стороны поисковых систем.

Удачи вам, друзья! Оставляйте комментарии и задавайте вопросы.

Как указать каноническую страницу из числа одинаковых или похожих

Если у вас есть одна страница, доступная по нескольким URL, или разные страницы с похожим контентом (например, версии для мобильных устройств и компьютеров), Google будет считать один URL каноническим , а остальные – его копиями . Сканирование канонического URL будет выполняться намного чаще, чем его копий.

Сообщите нам, какой из URL является каноническим. В противном случае мы выберем его самостоятельно или будем считать оба адреса равноценными, а это может привести к нежелательным последствиям. Дополнительные сведения представлены в разделе ниже, где говорится о том, для чего нужно выбирать канонический URL .

Как указать каноническую страницу

Существует несколько способов указать каноническую страницу из числа повторяющихся:

Способ Описание
Рекомендации, которые имеют силу независимо от выбранного способа нормализации URL.

Добавьте в код всех повторяющихся страниц тег .

Плюсы

Минусы

  • Увеличивает размер страницы.
  • Работает только с HTML-страницами, но не с файлами, такими как PDF. Для последних можно использовать атрибут rel=canonical в HTTP-заголовке.

Включите в ответ страницы заголовок rel=canonical.

Плюсы

  • Не увеличивает размер страницы.
  • Так можно пометить сколько угодно страниц.

Минусы

  • Разметка на крупных сайтах или ресурсах, на которых URL часто меняются, отнимает много усилий.

Укажите канонические страницы в файле Sitemap.

Плюсы

  • Легко настроить и обновлять, особенно на крупных сайтах.

Минусы

  • Роботу Googlebot тем не менее нужно определить повторяющуюся страницу для каждой канонической, которую вы укажете в файле Sitemap.
  • Менее значимый сигнал для робота Googlebot, чем атрибут rel=canonical.
Используйте код статуса 301, чтобы сообщить роботу Googlebot, что URL, заданный в качестве нового адреса страницы, ведет на ее более актуальную версию.
Вариант страницы в формате AMP Если один из вариантов страницы – AMP, укажите каноническую страницу и ее варианты согласно инструкциям для AMP.

Общие положения

Ниже приведены общие инструкции по указанию канонических URL.

Общие положения

  • Не обозначайте канонические страницы с помощью файла robots.txt .
  • Не используйте инструмент удаления URL для указания канонической страницы: в этом случае из результатов поиска будут удалены все варианты URL.
  • Не указывайте разные URL одной страницы в качестве канонических одним и тем же или разными способами (например, не надо добавлять один URL, используя файл Sitemap, другой – с помощью атрибута rel=»canonical»).
  • Не пытайтесь предотвратить выбор канонической страницы, применяя директиву noindex . Она предназначена для исключения страницы из индекса.
  • Обязательно выделяйте каноническую страницу при использовании атрибутов hreflang . Выбирайте для этого страницу на том же языке или ее вариант на наиболее близком языке.

    Используйте канонический URL при настройке ссылок на своем сайте. Это поможет нам понять, какую страницу вы считаете приоритетной.

О преимуществах HTTPS по сравнению с HTTP в канонических URL

При определении канонических ссылок Google отдает предпочтение страницам HTTPS, если при этом не возникают проблемы, например следующие:

  • Страница HTTPS использует недействительный сертификат SSL.
  • Страница HTTPS содержит небезопасные зависимости (кроме изображений).
  • Страница HTTPS выполняет переадресацию на страницу HTTP.
  • Страница HTTPS указывает на страницу HTTP с помощью атрибута rel=»canonical» .

Кроме того, вы можете дополнительно указать, что адресу HTTPS следует отдавать предпочтение. Вот как это сделать:

  • Добавьте переадресацию с HTTP-страницы на HTTPS.
  • Добавьте ссылку rel=»canonical» , ведущую со страницы HTTP на страницу HTTPS.
  • Используйте протокол HSTS .

Как предотвратить использование страницы HTTP в качестве канонической:

  • Проверяйте сертификаты SSL, а также ссылки со страницы HTTPS на HTTP. Ошибки в них могут привести к тому, что каноническим будет считаться адрес HTTP. При этом реализация протокола HSTS не имеет значения.
  • В файлах Sitemap и компонентах указывайте страницу HTTPS, а не HTTP.
  • Не используйте сертификат SSL/TLS для некорректного хоста (например, если example.com передает сертификат для www.example.com). Этот сертификат должен соответствовать полному URL сайта или являться групповым, то есть пригодным для использования на нескольких субдоменах.

Только для опытных пользователей: как заставить роботов Google игнорировать динамические параметры

Вы можете сообщить Google о параметрах, которые следует игнорировать. Подробные сведения представлены в Справочном центре . При использовании этой функции наши роботы не будут обрабатывать повторяющийся контент, что упростит им работу. Например, если вы укажете, что нужно проигнорировать параметр sessionid , мы посчитаем идентичными следующие страницы:

  • https://www.example.com/dresses/green.php?sessionid=273749
  • https://www.example.com/dresses/green.php

Способы

Указать канонический URL для повторяющихся URL или похожих страниц можно одним из способов, описанных ниже.

Какой бы способ вы ни выбрали, обязательно следуйте приведенным выше общим рекомендациям.

Используйте атрибут rel=»canonical»

Используйте в заголовке страницы тег . Он указывает, что соответствующая страница копирует другую.

Предположим, вы хотите указать страницу https://example.com/dresses/green-dresses , содержание которой воспроизводится на других, в качестве канонической. Выполните следующие действия:

    Пометьте все повторяющиеся страницы с помощью элемента link с атрибутом rel=»canonical». Добавьте в раздел

    этих страниц элемент , содержащий атрибут rel=»canonical» и ссылку на каноническую страницу:

    Если у канонической страницы есть вариант для мобильных устройств, добавьте элемент link с атрибутом rel=»alternate» и ссылкой на мобильную версию:

    В случае необходимости добавьте атрибуты hreflang или настройте переадресацию другими способами .

Используйте следующую структуру URL: https://www.example.com/dresses/green/greendress.html
Не применяйте такой вариант: /dresses/green/greendress.html

Если у вас есть доступ к настройкам сервера, можно указывать канонический URL для документов в формате, отличном от HTML (например, PDF), с помощью атрибута rel=»canonical» в заголовках HTTP (а не с помощью HTML-тегов).

Например, если на вашем сайте по нескольким разным URL доступен файл PDF, можно возвращать заголовок HTTP rel=»canonical» , чтобы сообщить роботу Googlebot, какой из этих URL является каноническим:

Link: ; rel=»canonical»

В настоящее время этот способ поддерживается только для веб-поиска.

Элементы link с атрибутом rel=»canonical» должны содержать абсолютные пути, а не относительные . Подробнее:
Правильно: http://www.example.com/downloads/white-paper.pdf
Неправильно: /downloads/white-paper.pdf

Используйте файл Sitemap

Укажите канонический URL для каждой страницы в файле Sitemap . Все страницы в нем предлагаются в качестве канонических. Googlebot будет определять, какие из них являются повторяющимися (при наличии), по их контенту.

Мы не гарантируем, что URL в файле Sitemap будут рассматриваться как канонические во всех случаях. Но в целом это удобный способ для определения приоритетных URL на крупном сайте.

Не включайте в файл Sitemap неканонические страницы, если вы его используете.

Используйте код статуса 301 для URL удаленных страниц

Это позволяет исключить устаревшие адреса и обеспечить переадресацию на новые.

Предположим, на вашу страницу можно перейти по следующим URL:

  • https://example.com/home
  • https://home.example.com
  • https://www.example.com

Выберите один из этих адресов в качестве канонического и используйте переадресацию 301 на стороне сервера, чтобы перенаправлять на данный адрес трафик с других URL. Это один из самых надежных способов обеспечить переход пользователей и поисковых систем на нужную страницу. Код статуса 301 означает, что запрашиваемая страница находится по другому адресу.

Если у вас есть доступ к сервису веб-хостинга, попробуйте найти в представленных на нем справочных материалах документацию по настройке переадресаций 301.

Эта информация оказалась полезной?

Как можно улучшить эту статью?

Чтобы осуществлять правильное продвижение страниц сайта в поисковых системах, необходимо сообщать роботам, какие URL более предпочтительны для попадения в индекс. Это задаётся с помощью специальных тегов.

Что такое rel canonical?

Остановимся подробнее на теге rel=»canonical». Его основная цель — борьба с дублями страниц и неинформативными страницами (например страницами пагинации), а также повышение качества индексации с помощью прописывания приоритетного адреса.

У меня был сайт с ограниченным краулинговым бюджетом. То есть по факту там было тысяч 10 страниц, но в индексе могли быть только 2 тысячи (потому что сайт был молодой и не трастовый). В итоге те страницы, которые мне были нужны в индексе, часто туда не попадали. Помог каноникал — проставление со страниц пагинации каноникала на основные URL позволило четко дать поисковикам понять, какие страницы должны быть в индексе.

Что такое каноническая ссылка?

Тег canonical будет чрезвычайно полезен, если на вашем сайте есть страницы-дубли, которые имеются в доступе по различным адресам. С помощью него необходимо прописать приоритетный канонический URL для восприятия поисковиками.

Что важно — будет также передаваться ссылочный вес и прочие характеристики страницы (PageRank и др.).

Этот атрибут указывается внутри тега

на URL-дубликатах с указанием предпочитаемого URL. Оформляется он таким образом:

Для чего нужен каноникал?

При наличии похожих страниц в индексации поисковиками участвуют все они одновременно. В итоге ни одна из них в полной мере не продвигается по причине того, что внутренние ссылки имеются на обе страницы. Поисковик не знает, какой из них нужно отдать приоритет.

То же самое касается и внешних ссылок — продвигается не один URL, а несколько, а вес также распределяется между ними. И сайт находится на более низких позициях, чем мог бы быть.

Благодаря каноникал в индексе поисковиков будет предпочитаемый канонический URL.

Примеры использования

Например, у вас на сайте есть печатная версия страницы. Или отдельный урл для мобильной версии. И вы ставите каноникал с них на основную страницу, в итоге эта основная страница получает больший вес и плюс при ранжировании, а из индекса убирается куча мусора.

Как каноникал используется для пагинации

Нужно проставить rel canonical со страниц пагинации (site.ru/category/page/2) на первую из них (site.ru/category).

Мнения о настройке пагинации разнятся — некоторые специалисты говорят о необходимости закрытия от поисковиков всех страниц пагинации, другие — о том, что лучше их оставить в доступе роботов поисковых систем.

Яндекс рекомендует со всех страниц пагинации настраивать каноническую ссылку на первую из них. Как итог — яндекс-робот воспримет, что именно первую страницу необходимо индексировать. Про индексацию товаров уточняется, что по другим ссылкам Яндекс всё равно будет переходить.

Специалисты Google склоняются к следующим вариантам:

  1. оставить всё по-прежнему — поисковик по-разному распознаёт и воспринимает различные виды страниц;
  2. создать отдельный URL-адрес «Показать всё» и установить его как канонический — особенно рекомендуется для многостраничных статей;
  3. прописать в теге линк атрибуты rel=»prev» и rel=»next» с целью фиксации взаимосвязи между URL-адресами; поисковик будет выдавать первый из них.

А вот видос Деваки, где он подробно поясняет за пагинацию:

Атрибуты rel=»next» и rel=»prev»

Есть также и другое мнение — типа страницы пагинации закрывать не надо, что они наоборот должны получать дополнительный трафик. И тут важны два момента:

  • Все URL должны иметь уникальный параметр тега Title, уникальный текст и meta-теги;
  • Если Вы больше ориентируетесь на Google, то рекомендовано обязательное использование атрибутов rel=»next» и rel=»prev», которые нужно настроить так, чтобы каждая предыдущая страница ссылалась на следующую. На корневом адресе задаётся URL следующего, на последующих — URL предыдущей и следующей, на последней — только предыдущей.

Можно прописать пагинацию этими тегами, а каноническую ссылку оформить на первую или на главную страницу — в зависимости от особенностей ресурса.

Тема с SEO пагинатором

Вот допустим один из блогов (Sawynih или как-то так, уже не помню) писал о кейсе, когда страницы пагинации давали дополнительный трафик.

Если на разных URL представлен похожий товар, навигацию можно задать следующими способами:

  1. Прописать уникальные значения параметров автоматически, собирая заголовки из отдельных частей, к примеру:

    (купить|заказать|приобрести) юбки в (саратове|ростове|астрахани) (по низкой цене|выгодно|дешево) со скидкой (в магазине|в интернет магазине)

    Будут созданы уникальные значения метатегов.

  2. Самым эффективным и трудоемким является самостоятельное прописывание этих параметров, вручную. Все заголовки будут уникальными и очень сильно отличаться друг от друга, в том числе по смыслу. Это позволит продвинуть каждый URL по низкочастотным и низко конкурентным ключевым запросам в ТОП выдачи поисковиков. Благодаря применению этого способа расширится семантическое ядро. Плюс также в том, что для интернет-магазина множество статей писать нецелесообразно.

Важно осуществить эту работу один раз индивидуально для каждого URL. Параметры будут зафиксированы поисковиками.

Настройка Canonical для WordPress

Многие плагины для WordPress прекрасно работают с данным тегом.

Большинство из них просты в применении — активируем плагин, а канонические ссылки прописываются автоматически. В других SEO-плагинах достаточно установить галочку возле этого параметра в настройках. Если какая-то статья относится одновременно к разным категориям, то каноническая ссылка фиксируется самостоятельно.

При использовании плагина Yoast SEO и расположения поста в разных категориях, поисковик будет видеть только одну страницу.

Что еще полезно знать о каноникал?

Важно подчеркнуть следующие моменты:

  1. Тег canonical — не директива, а подсказка, которую следует учесть и проанализировать, выделив наиболее подходящий URL для поисковой выдачи.
  2. Касаемо оформления канонических ссылок отсутствует запрещающий момент в виде относительного пути. Даже в случае введения тега со ссылкой на документ, относительные пути станут восприниматься так, как прописано в базовом URL.
  3. Канонические страницы могут содержать не абсолютно одинаковое наполнение, и это логично. Могут присутствовать незначительные различия.
  4. Даже при наличии ошибки 404, контент будет индексироваться. Но рекомендуется указывать рабочие URL в качестве канонических.
  5. Если канонический url пока не проиндексирован, остаётся ждать — обычно недолго. Когда он распознается, подсказка будет пересмотрена.
  6. Можно использовать редирект — поисковик воспримет перенаправление и будет учитывать другой адрес.
  7. Рекомендуется задавать идентичный тег rel canonical, чтобы результат канонизации был оптимальным.
  8. Канонический урл может прописываться исключительно с текущего домена. Для указания урла с другого домена, следует использовать 301 редирект.
  9. Как оформляются канонические url, можно изучить на примере сайта wikia.com, открыв исходный код страницы http://starwars.wikia.com/wiki/Nelvana_Limited, содержащий canonical url http://starwars.wikia.com/wiki/Nelvana
    Обе ссылки практически одинаковы, но в первой прописан атрибут каноникал — и Google будет отображать версию, заданную в этом параметре.
  10. Вопросы применения каноникал можно задать в официальном блоге для вебмастеров поисковика Google.

В данном случае каноникал проставлен на чёрную овцу

Преимущества, связанные с умением правильно настраивать индексацию с помощью тега canonical:

  • избавление от похожего контента, связанного с недостатками движка, а также созданного искусственно целенаправленными действиями конкурентов;
  • отсутствие необходимости в применении robots.txt для запрета индексации отдельных страниц и угождения всем поисковикам.

Новый статус недостаточно качественная. Страницы в поиске. Страницы с малым количеством контента

Не так страшен чёрт, как его малюют
– русская пословица

Иногда довольно сложно понять, что от тебя хотят поисковые системы, что именно они понимают под значением «страницы низкого качества»? Порой смотришь на страницу и откровенно не понимаешь, почему же её невзлюбил Яндекс или Google. В этой статье мы рассмотрим страницы, которые ПС удаляют из поиска, считая недостаточно качественными.

Страницы низкого качества в понимании поисковых систем

В блоге Яндекса Елена Першина даёт следующее определение страницы низкого качества: «Под понятием некачественная страница мы понимаем страницы, вероятность показа которых в поиске практически нулевая. По понятным причинам мы не рассказываем способы определения таких страниц, но это чёткий сигнал, что если вы хотите видеть эту страницу в поиске, то со страницей нужно что-то делать».

Внесём немного корректив в слова представителя Яндекса: так как алгоритмы иногда дают сбой, причём в пользу сайтов, страница может занимать ТОП, а потом бесследно пропасть из выдачи.

То есть, страницы низкого качества – это документы, которые не имеют ценности, не несут новую и полезную информацию, не дают релевантный ответ на вопрос пользователя, с точки зрения поисковых систем.

Как обнаружить удалённые низкокачественные страницы

Яндекс.Вебмастер

Проще всего найти исключённые страницы, воспользовавшись инструментом Яндекс.Вебмастер .

Переходим в раздел «Индексирование» – «Страницы в поиске».

Переходим на вкладку «Исключённые страницы» – выбираем статус «Недостаточно качественная».

Можно, не переходя с «Последних изменений», выбрать статус «Удалено: Недостаточно качественная».

Google Search Console

В отличие от Яндекса, Google не предоставляет информацию о том, какие страницы были удалены из поиска из-за качества. Даже в новой бета-версии Google Search Console, к сожалению, эта функция отсутствует.

Единственным сигналом от Google сейчас можно считать «Отправленный URL возвращает ложную ошибку 404». В таких случаях нужно проанализировать страницы, убедиться, что они существуют, а не удалены (и просто ответ сервера некорректен). Подробнее о мягкой 404 можно прочесть .

  1. Переходим в новую версию Google Search Console.
  2. В боковом меню находим «Статус» – «Индексирование отправленных URL».

  1. Выбираем строку «Отправленный URL возвращает ложную ошибку 404».

  1. Анализируем исключённые страницы.

Причины удаления страниц

Проанализировав большое количество различных сайтов и выявив закономерность у страниц, удалённых по причине низкого качества, мы пришли к следующим выводам:
1) Алгоритм Яндекса недоскональный: вместо того, чтобы отнести страницу в удалённые, например, по причине дублирования, он исключает её как низкокачественную.
2) Страницы низкого качества чаще встречаются на коммерческих сайтах – интернет-магазинах и агрегаторах, чем на информационных (за счёт автоматической генерации).

Типология удалённых страниц низкого качества

1. «Жертвы» некорректной работы алгоритма

1.1. Дубли страниц

К страницам низкого качества довольно часто попадают дубликаты страниц.

Такие страницы довольно легко определить, если кроме URL ничего не уникализированно.

1.2. Страницы сортировки, пагинации и GET-параметры

Чаще Яндекс исключает такие страницы, как дубли, но, как показано на примере ниже, они могут быть удалены и по другой причине.

Страницы сортировки:

Страницы пагинации:

GET-параметры:
В этом примере GET-параметры определяют регион пользователя.

1.3. Неглавное зеркало

Сайт переехал на защищённый протокол. Долгое время робот Яндекса не знал, что делать со старой страницей на HTTP и, то удалял её как некачественную, то добавлял обратно в поиск. По итогу, спустя несколько месяцев, он удалил страницу как неглавное зеркало.

1.4. Страницы, закрытые в файле robots.txt

Директивы в файле не являются прямыми указаниями для поисковых роботов, а служат больше рекомендациями. Исходя из практики, бот Яндекса больше придерживается установок, прописанных в файле, чем Google. Но не в этот раз. Как и в прошлом примере, «помучив» несколько раз страницу, он всё-таки «снизошёл» и удалил её из поиска как запрещённую в файле robots.txt.

2. Действительные недостаточно качественные страницы

В эту группу «я плох, бесполезен и никому не нужен» попадают страницы низкого качества, которые действительно являются таковыми.

2.1. Шаблонная генерация страниц
Часто шаблонное заполнение и генерация страниц влечёт за собой ошибки внутренней оптимизации: неуникальные Title, отсутствует Description, с h2 что-то не так и т. д.

Тут важно сказать, что пользователь без проблем поймёт разницу в страницах и для него они могут быть даже полезными, но он о них не узнает, так как роботы стоят на страже порядка не допустят попадания данных страниц в поиск.

Увидев Title на странице, долго не пришлось гадать, что с ней не так.

2.2. Плохое заполнение карточек товара

Создать карточку товара просто, а вот наполнить её качественным контентом, описанием товара, изображениями – не каждому под силу.

2.3. Листинг без листинга

  • вряд ли такая страница попадёт в ТОП;
  • вероятнее всего, показатель отказов на такой странице будет максимальный.

Об этом скажет и сам Яндекс, исключив страницу из поиска как недостаточно качественную.

2.4. Страницы с малым количеством контента

Несмотря на слова поддержки Яндекса, что важно не количество контента, а качество, его отсутствие – не очень хорошая идея.
Например, на этой странице, кроме шаблонной части и двух изображений, ничего нет.

2.5. Страницы, не предназначенные для поиска

В эту группу относятся страницы robots.txt, Sitemap, RSS-ленты.
Чуть ли не в каждом проекте можно встретить файл robots.txt , удалённый из поиска как недостаточно качественная страница.

Не стоит паниковать, робот о нём знает и помнит. Страница просто не будет отображаться в поисковой выдаче – ну а зачем она там нужна?
XML- и HTML-карты сайта также исключаются. Особенно если у вас многостраничная карта сайта – какая польза от неё в поиске?

Яндекс считает, что RSS-лентам в поиске тоже нет места.

2.6. Страницы с некорректным ответом сервера

В эту группу мы отнесём страницы, которые должны выдавать 404 ответ сервера, а вместо этого отвечают 200 ОК.

Например, это могут быть несуществующие страницы пагинации. Яндекс исключил восьмую страницу пагинации, при имеющихся семи.

Также это могут быть пустые страницы. В таком случае нужно анализировать и принимать решение: настраивать 404 ответ сервера или 301 редирект.

Google может удалить такие страницы, как SOFT 404, но об этом чуть позже.

2.7. «Нужно больше страниц»

Этим часто грешат агрегаторы и интернет-магазины, считая, что чем больше страниц, тем больше видимость и трафик. Страницы создают, не беря во внимание их качество и надобность.

Например, низкокачественными являются страницы, созданные под каждый вопрос из FAQ.

Часто бесполезные страницы создаются с помощью применения всех фильтров. Я соглашусь, что нужно думать о посетителях и удобстве пользования сайтом. Если у интернет-магазина большой ассортимент, то структура сайта должна состоять из множества категорий и подкатегорий, а также иметь различные фильтры. Но, во-первых, нужно ли создавать страницу для «Фарфоровых кукол 20 см с голубыми глазами в розовом платье с корзинкой» и, во-вторых, нужны ли такие страницы в поиске?

2.8. Технические ошибки

Яндекс не жалует страницы с pop-upом, который перекрывает текст без возможности его закрыть, или случайно созданные страницы под изображения.

Как должно быть и как реализовано на сайте:

Случайно созданная страница:

2.9. SOFT 404

Как мы уже говорили, Google прикрепляет страницам именно такой ярлык. Это могут быть пустые страницы или же страницы с очень малым количеством контента.

Влияние низкокачественных страниц на ранжирование

Сколько бы страниц ни было исключено из поиска по этой причине, на ранжировании остальных страниц сайта это никак не отразится.

Этот алгоритм удаления страниц анализирует каждую страницу отдельно, пытаясь ответить на вопрос: «Если страница будет в поиске, даст ли она релевантный ответ на вопрос пользователя?».

Как говорит Яндекс, страница может быть исключена из поиска даже в том случае, если отсутствуют запросы. Робот может вернуть её, если количество запросов, которым будет релевантна страница, увеличится.

Что же делать со страницами низкого качества

Принимать меры можно только после того, как вы определили причину исключения страницы из поиска. Без выяснения обстоятельств не стоит паниковать, сразу удалять страницы, настраивать 301 редирект.

Алгоритм действий после определения причины удаления страницы:

Дубли страниц: 301 редирект или rel=“canonical”.

Страницы сортировки, пагинации и GET-параметры: настраиваем rel=“canonical”/уникализируем страницы пагинации.

Неглавное зеркало : проверяем 301 редирект, отправляем на переиндексацию.

Страницы, закрытые в файле robots.txt: если страница не нужна в поиске, настраиваем метатег noindex.

Шаблонная генерация страниц: если страница нужна в поиске – уникализируем её, работаем над качеством.

Плохое заполнение карточек товара: добавляем описание товара, изображения и т. д.

Листинг без листинга:

  • проверяем, приносили ли такие страницы трафик;
  • определяем, нужны ли они пользователям;
  • временно ли на них отсутствует товар или его не было и не будет.

Принимаем действия исходя из результата. Например, если страница приносила трафик и на ней временно отсутствует товар, можно вывести ленту с похожими товарами или со смежных категорий.

Страницы с малым количеством контента: определяем необходимость таких страниц в поиске, если они нужны – наполняем качественным контентом; не нужны – настраиваем метатег noindex.

Страницы, не предназначенные для поиска: тут всё просто – ничего не делаем, просто живём с этим.

Страницы с некорректным ответом сервера и SOFT 404: как бы ни логично это прозвучит, настраиваем корректный ответ сервера.

«Нужно больше страниц»: проверяем, приносили ли такие страницы трафик, определяем, нужны ли они пользователям в поиске, частотны ли запросы – принимаем действия исходя из результата.

Страницы с техническими ошибками: исправляем недочёты/если страницы не нужны – закрываем noindex/настраиваем 404 ответ сервера.

Заключение

К сожалению, выдача поисковых систем переполнена мусором, некачественным контентом и бессмысленными сгенерированными страницами. Яндекс и Google активно борются с такими страницами, исключая их из поиска. Мы за качественный контент. Поэтому, если у вас возникли трудности, вы наблюдаете, как поисковики удаляют страницы, ссылаясь на недостаточное качество, мы можем провести вашего сайта и написать инструкции по решению проблемы.

По поводу выгрузки проиндексированных страниц, Яндекс наконец сделал то что и нужно было.

И вот теперь мы получили очень хороший инструмент с помощью которого можно получить очень интересную информацию.

Я сегодня расскажу об этой информации и вы сможете применить это для продвижения ваших сайтов.

Переходим в Яндекс.Вебмастер, в раздел «Индексирование»

И вот перед вам такая картинка(нажимайте, чтобы увеличить):

Эти данные исключённых страниц дают нам очень много информации.

Ну начнём с Редиректа:

Обычно редирект не таит в себе каких то проблем. Это техническая составляющая работы сайта.

Это обычный дубль страницы. Я бы не сказал, что это не настолько критично. Просто Яндекс из двух страниц посчитал более релевантной именно вторую страницу.

И Яндекс даже написал свой комментарий: Страница дублирует уже представленную в поиске страницу http://сайт/?p=390. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel=»canonical».

Это можно использовать следующим образом: Иногда вылетают страницы сайта которые вы продвигаете и наоборот встают в индекс их дубли. В данном случае нужно просто прописать канонический урл на обоих этих страницах на ту которую вы продвигаете.

После этого обе эти страницы добавляете в «Переобход робота».

Это та страница в мета-тегах которой прописан канонический урл на нужную страницу.

Тут как раз всё прекрасно и это обычный процесс работы сайта.

Тут также Яндекс пишет подсказку: Страница проиндексирована по каноническому адресу http://сайт/?p=1705, который был указан в атрибуте rel=»canonical» в исходном коде. Исправьте или удалите атрибут canonical, если он указан некорректно. Робот отследит изменения автоматически.

Обычно это происходит когда вы удалили какие то страницы, а редирект не поставили. Или 404 ошибку не поставили.

Какого то вреда для продвижения сайта это не даёт.

Ну и подходит к самому интересному. Недостаточно качественная страница.

Т.е. страницы нашего сайта вылетели из индекса Яндекса потом что они недостаточно качественные.

Безусловно это важнейший сигнал вашему сайту, что у вас глобальные проблемы с этими страницами.

Но не всё так однозначно как кажется.

Зачастую это страницы пагинации, поиска или другого мусора. И эти страницы правильно исключены из индекса.

Но иногда бывает, что из индекса исключают карточки товаров Интернет-магазина. Причём исключают тысячами. И это безусловного говорит о том, что с вашими страницами карточек товаров какие то серьёзные проблемы.

Я за неделю просмотрел многие Интернет-магазины и почти у всех есть подобное. Причём вылет страниц наблюдается по десятку тысяч.

Тут могут быть такие проблемы, что мы имеем несколько одинаковых страниц где товар просто разного цвета. И Яндекс считает, что это одна страница.

В данном случае тут или делать одну страницу с выбором цвета на одной странице или же дорабатывать другие страницы.

Но конечно стоит сказать, что это ГЛОБАЛЬНАЯ помощь для всех владельцев Интернет-магазинов. Вам дали ясно понять какие страницы у вас улетели и почему.

Тут нужно работать над качеством этих страниц. Может эти страницы дублируют другие, а может и нет.

Иногда на таких страницах элементарно отсутствует текст. А на некоторых отсутствует цена и Яндекс удаляет из индекса такие страницы.

А ещё я заметил, что если на странице карточки товара стоит статус «Товар отсутствует на складе», то такая страница тоже удаляется из индекса Яндекса.

В общем то работайте.

О других интересных фишках я расскажу в понедельник на своём семинаре —

Да и ещё. Многие знают такую траблу с Яндекс.Советником:

Т.е. вы заплатили за клик с Директа, а Яндекс.Советник уводит вашего оплаченного клиента на Яндекс.Маркет.

Это на самом деле вопиющий случай.

Как я понял Яндекс ничего менять не будет.

Ну хорошо, тогда поменяю я сам.

Этот Яндекс.Советник косается в первую очередь Интернет магазинов. А Интернет магазины стоят в первую очередь на движках: Битрикс, Джумла, Вебасист.

Так вот для этих движков я пишу блокиратор советника. Т.е. при установке на вашем движке этого плагина, на вашем сайте не будет работать Яндекс.Советник.

Всем кто придёт на мои семинар я позже скину эти плагины бесплатно.

Я выбрал наиболее популярные движки на которых стоят ИМ. Для сайтов услуг это не нужно. А вот для ИМ, самое то.

Если есть вопросы, то задавайте вопросы.

Думаю, не для кого не секрет что некоторые страницы сайта рано или поздно пропадают из поисковой системы, причин тому может быть множество — не оригинальный контент, во время обода страницы роботом она была недоступна, всевозможные нарушения со стороны веб-мастера и так далее.

Однако существует и другая достаточно распространённая причина, о которой нас уведомляет Вебмастер Яндекса — недостаточно качественная страница . Что значит недостаточно качественная страница, ? Давайте попробуем в этом разобраться.

Проблема исключения страниц сайта из индекса мне известна достаточно давно, но лично для меня это было не критично по одной простой причине — эти страницы были не слишком популярны. А на данном сайте подобных проблем вообще не замечалось, до недавнего времени:

На скриншоте видно, что робот Яндекса исключает страницу из поиска с пометкой что она недостаточно качественная, а при следующем обновлении поисковой базы страница снова попадает в индекс. Яндекс объясняет это тем что исключение происходит в результате работы специального алгоритма, который по неким причинам посчитал данную страницу не релевантной запросам.

Такой ответ меня если честно не устроил и мне захотелось узнать конкретную причину исключения страницы из индекса . Ведь вроде бы все хорошо — контент уникальный, в индексе страница достаточно давно и никаких проблем не было, кроме того изменений на данной странице никаких не производилось и вдруг страница стала некачественной.

И тут я решил написать в поддержку Яндекса чтобы получить конкретные ответы на все вышеперечисленные вопросы. Надо отдать должное техподдержке Яндекса, ответили действительно быстро. Скриншот ответа на мое обращение Вы можете увидеть ниже, почему именно скриншот поясню позднее :

Ответ в принципе понятен, специальный алгоритм оценивает страницу и строит прогноз ее показа в поисковой выдаче. Если прогноз неутешительный и алгоритм решил, что данную страницу пользователи попросту не смогут найти, то она исключается до лучших времен. Кроме того, техподдержка Яндекса уверяет что это никак не скажется на посещаемости сайта. Вроде бы все понятно и в то же время все стало еще запутанней.

Но каково было мое удивление, когда я проверил данный текст на уникальность. Как вы уже наверно догадались уникальность была прямо скажем на нуле, нашлось невероятное количество сайтов где данный ответ уже был опубликован и как минимуму все эти сайты помогают улучшить секретно ингредиентный алгоритм Яндекса. Собственно, именно поэтому я и сделал скриншот письма, дабы не плодить его копии.

Открыв парочку сайтов на которых публиковали письмо с ответом почему Яндекс удаляет страницы из поиска , я был удивлен еще больше увидев дату публикации от 2014 года. Получается Яндекс дает стандартные отписки уже как минимум 4 года. И никаких обещанных улучшений замечено не было.

Почему Яндекс удаляет страницы из поиска

Проанализировав все те страницы, которые время от времени Яндекс считает недостаточно качественными и исключает из поиска я пришел к вполне логичному выводу — все дело в поведенческих факторах. И лично мое видение примерно такое:

  • Если пользователи находят страницу вашего сайта в поиске, но она не отвечает их запросу, они соответственно ее тут же закрывают, вот вам первый жирный минус для текущей страницы. Собственно, эта ситуация как раз таки говорит о нерелевантности страницы.
  • Второй минус, который может получить та или иная страница возникает из-за того, что пришедшие на сайт пользователи упорно не хотят переходить на определенные страницы, они видят на них ссылки, но не переходят.

Конечно все это лично мои догадки, точной работы алгоритма думаю не знает никто кроме его разработчиков и сотрудников самого Яндекса (и то не всех). Но все эти догадки лично мне кажутся вполне логичными.

Ведь просто так исключить из поиска нерелевантную страницу я считаю излишним, максимум что с ней может произойти это потеря позиций, а вот если при всем при этом её перестанут посещать пользователи то тут уже есть повод задуматься о ее временном исключении. Но как только страница на страницу будут заходить посетители она вновь появляется в поиске, о чем свидетельствует первый скриншот.

Как решить проблему некачественных страниц? Если честно мое видение примерно такое — анализ запросов, удаление лишних ключей, оптимизация текста, обратные ссылки на текущие страницы.

Есть интернет-магазин с огромным ассортиментом (более 4 млн наименований). Когда зарегистрировал его в Яндекс.Вебмастере, обнаружил, что часть страниц (довольно значительная) удалена из поиска Яндекса за то, что они недостаточно качественные. Это страницы разных товаров, которые отличаются только одной цифрой.
Когда проверил ТОП, увидел, что точно такие же страницы на похожих сайтах спокойно находятся в индексе. То есть там тоже сайты, на которых полно однотипных товаров. Но они тоже ведь не отличаются никак. Только одна цифра в Title и описании.

Что можно сделать? Забить, потому что все равно все страницы не могут быть в индексе или как-то попытаться улучшить страницы с точки зрения Яндекса? Не знаю как, ведь в ТОПе то же самое. Минимальное описание и даже такие же фотографии.

Привет. Сделай хоть понятливый пример. Думаю все проблема заключается вот в этом «Это страницы разных товаров, которые отличаются только одной цифрой.»

Привет! Яндекс удаляет из поиска страницы с вот такими Тайтлами: 1. Купить Porsche 955.044.80018 Пакет декоративный:: Porsche 2. Купить Porsche 955.044.80053 Пакет декоративный:: Porsche Cayenne Cayenne Обе страницы отличаются только заголовками h2 и Ttile. И то только на одну цифру. Обе эти страницы Яндекс пометил «Недостаточно качественная». Хотя в ТОПе есть точно такие же страницы. Там тоже минимальные характеристики и картинка такая же. Как решить ситуацию? Добавить текста?

Я кажись понял тебя. Возможно разочарую тебя.

Такие сайты импортируют автоматом и создают страницы, которые попадают под малый фильтр. На данный момент алгоритм Яндекса не настолько хорош, ну улучшается каждый год. У таких сайтов нет будущего. Проблема тут в автоматизации и легком импорте. Поисковый Алгоритм не может решить, какую из этих «страницу» оставить, а какую убрать. Так как каждая имеет практически одно и то же. Если рассматривать историю Гугля , то Яндекс идет по той же дорожке. В концовке твой Сайт с этим миллионами страницами попадет когда-то под сильный фильтр и произойдет одно: полная индексация твоего сайта.

Что ты можешь сделать? Тебе нужно создавать уникальные страницы, которые отличаются качеством, от твоих конкурентов, а не количеством страниц! Тебе нужно менять каждую страницу (Тайтел, Мета описание и другой пермалинк ставить) или надеяться на лучшее. Изучи основы SEO.
К сожалению тут нечего посоветовать, насчет SEO, так как концепт импорта построен на быстром заработке и спаме. Он не существен. Извини.

Это интернет-магазин. Тут большой ассортимент, поэтому много страниц. Причем здесь отличаться качеством, а не количеством? Если у конкурентов меньше товаров, у них меньше страниц. Причем здесь быстрый заработок и спам? Страницы похожие, но разные, потому товары почти не отличаются. Как это вообще относится к спаму? У сайта такая же структура, как и у тысяч подобных страниц. Есть все необходимое для пользователя: характеристики, цена, короткое описание. А как тогда по-твоему зарабатывают остальные, которые знают основы SEO? Вручную заполняют каждую карточку? Не смеши. Спасибо за то, что продемонстрировал тут свои «глубокие познания», но никак не помог мне.

И в чем твоё качество заключается, если у тебя миллион страниц, которые выглядят как дубликат других страниц для поисковой системе. Вот что я хотел сказать! Значит в этом проблема. Откуда у тебя Тайтел, Мета описание, описание товара и пермалинк структура для товаров? Ты хочешь сказать, что ты в ручную все миллионы продукты вставлял? Я тебе хотел объяснить, что импортирование и количество товаров к ничему хорошему не приведет. Что другие делают, это не важно..
«Вручную заполняют каждую карточку?»
Да, или дают людям заполнять и они по запросам покупателя решают, какие товары важны, а какие нет.
Я написал сверху, что тебе не понравится. (Имел виду сверху *де-индексация)

Новый Вебмастер Яндекса позволяет найти проблемы на сайте и исправить недочёты, мешающие ранжированию – это факт медицинский. Для этого Яша предложил на праздничный стол набор интересных инструментов, многих из которых не было на старом сервисе. Предлагаю обзор возможностей Вебмастера для стимулирования хорошего настроения.

Обзор инструментов

Инструменты нового Вебмастера разбиты по блокам, каждый из них открывается на вкладки. Вот основные пункты меню:

  1. — Диагностика,
  2. — Поисковые запросы,
  3. — Индексирование,
  4. — Настройка индексирования,
  5. — Инструменты.

Последний пункт «Права доступа» – это не гармошка, этот пункт не матрёшка, он не открывается. Как подсказывает интуиция, в каждом блоке находятся инструменты для решения узкоспециализированных задач, например, в блоке «Поисковые запросы» можно узнать всё о запросах пользователей, которые переходили на сайт, показах.

Диагностика

Первый пункт меню «Диагностика», в нём два пункта:

  1. — Диагностика сайта,
  2. — Безопасность и нарушения.

В первом пункте узнают о проблемах на сайте, например, недоступности страниц. Обновляется страничка со скрипом, как работает дизель в Заполярье, поэтому надеяться, что в ней оперативно отобразятся все проблемы не стоит, но иногда она приходит на помощь.

На странице «Безопасность и нарушения» отображаются проблемы с безопасностью сайта и некоторые нарушения. Тут можно увидеть информацию о вирусах, санкциях и прочих косяках. Также отображается не всё – например, неявный текстовой спам не показывают, а АГС отображают.

Поисковые запросы

Здесь два пункта:

  1. — Статистика,
  2. — Последние запросы.

В «Статистике» указываются запросы сайта за определённый период, а также запросы из топ-3-10-50. Для веб-мастера видны показы, клики и CTR запросов. Если CTR низкий, то стоит подумать об изменении сниппета или фавиконки, ибо что-то отпугивает пользователя в выдаче от активных действий в отношении сайта. Для справки – CTR топ-3 всегда выше, так как пользователи ещё не задолбались искать ответы в недрах выдачи. Если CTR меньше 2%, то беда, для топ-10 нормальный показатель от 3%.

Запросы можно отсортировать по группам, показателям и региону.

Страница «Последние запросы» то же самое, но в отношении последних действий пользователя в выдаче. Для веб-мастера последние запросы по показам, кликам и CTR + добавлена средняя позиция по запросу.

Тут также доступна сортировка, можно добавить фильтр или сгруппировать запросы.

Индексирование

Более массивный пункт «Индексирование», в нём находятся инструменты:

  1. — Статистика,
  2. — Структура сайта,
  3. — Проверка URL,
  4. — Внутренние и внешние ссылки.

На странице статистики указаны загруженные и исключённые web-документы, а также страницы в поиске. Отдельно настраивается показ по ошибкам кодов HTTP и запрещённым к индексированию роботом страницам.

В нижней части статистика последних обходов ботом, там виден url документа, статус HTTP и дата визита робота.

Полезный пункт «Страницы в поиске», ведь там можно увидеть не только банальщину, но и найти ценную информацию. Инструмент показывает количество добавленных и исключённых страниц, сортировка доступна по последним изменениям и всем страницам. Что тут полезного для ослабленной нервной системы веб-мастера? Инструмент показывает статус исключённых страниц, не HTTP статус, а причину исключения.

Две основные причины исключения из поиска – дубли и «недостаточно качественная страница». Если количество исключённых страниц (кроме специально удалённых через 404) велико, то ждите ухудшения ранжирования сайта. Пользуйтесь этим инструментом, смотрите причину удаления страниц и устраняйте её для собственного блага. Сделать это несложно – смотрите причину, переходите на страницу и придавайте её человекообразный вид, после чего отправляйте документ для переиндексации. Проверено – работает и помогает выходить из фильтров и не попадать под санкции.

Инструмент «Структура сайта» прост, но полезен. В нём видна структура сайта и указано количество загруженных и проиндексированных страниц в каждом разделе и категории. Стремитесь приблизить второй значение к первой цифре, для чего удаляйте и закрывайте в robots дубли и мусор.

Инструмент «Проверка URL» позволяет проверить любую страницу сайта на индексацию. Ничего оригинального. Добавили URL, проверили его, нажали «готово» и увидели в индексе или нет + статус HTTP

Более интересны инструменты «Внутренние и внешние ссылки», хотя и непонятно, зачем их засунули в раздел «Индексация».

C помощью инструмента «Внутренние ссылки» легко увидеть битые беки на внутренних страницах с указанием, где расположена ссылка и на какую страницу она ведёт. Вычищайте всё в ноль и будет счастье – никакие сторонние сервисы не нужны – найти все битые ссылки поможет Вебмастер.

  1. — Текущим и удалённым ссылкам,
  2. — Группировке по сайтам,
  3. — Неработающим бекам.

Вверху указано общее число внешних ссылок на сайт и доменов, с которых на вас ссылаются. Внизу детальная информация:

  1. — Адрес донора,
  2. — тИЦ ссылающегося сайта,
  3. — Страница акцептора,
  4. — Дата обновления информации.

Информация обновляется после ссылочных апдейтов.

Настройка индексирования

Здесь нашлось место инструментам:

  1. — Файлы Sitemap,
  2. — Переезд сайта,
  3. — Региональность,
  4. — Регистр имён сайта,
  5. — Быстрые ссылки,
  6. — Оригинальные тексты,
  7. — Товары и цены.

В инструменте Sitemap видны используемые карты сайта, тут же добавляют Sitemap в формате xml.

Во вкладке «Переезд сайта» добавляют для домена www и HTTPS, а в инструменте «Региональность» видны регионы сайта по ЯК, Яндекс Справочнику и Вебмастеру. В последнем пункте можно указать регион, но его надо подтвердить страницей, в которой есть информация о региональности.

Следующие три пункта понятны и школьнику, а инструмент «Товары и цены» пригодится интернет-магазину. Для этого соглашаются с условиями и подключают YML-файлы. Сюда лазать без программиста не рекомендую – чревато нервами и клизмами.

Инструменты

Здесь, как и следует из названия, представлены технические инструменты Вебмастера Яндекс. Для владельца веб-сайта или оптимизатора:

  1. — Анализ Sitemap и Robots,
  2. — Ответы сервера,
  3. — Удаление URL,
  4. — Проверка мобильной адаптивности страниц,
  5. — Переобход,
  6. — Микроразметка,
  7. — Валидатор XML.

Тут всё понятно интуитивно, особое внимание советую уделить инструменту «Проверка мобильных страниц», так как она работает несколько иначе, чем проверка адаптивности Google. Если продвигаетесь под Яндекс и имеете большой процент мобильной аудитории, то проблем с отображением страниц на планшетах и смартфонах быть не должно.

Последний пункт «Права доступа» позволяет делегировать кому-либо права доступа для просмотра статистики через свою панель Вебмастера. Укажите логин в Яндексе своего оптимизатора и делегируйте ему права.

что это за тег, его роль в пагинации и настройка канонических URL

Содержание статьи

Чтобы осуществлять правильное продвижение страниц сайта в поисковых системах, необходимо сообщать роботам, какие URL более предпочтительны для попадения в индекс. Это задаётся с помощью специальных тегов.

Что такое rel canonical?

Остановимся подробнее на теге rel=»canonical». Его основная цель — борьба с дублями страниц и неинформативными страницами (например страницами пагинации), а также повышение качества индексации с помощью прописывания приоритетного адреса.

У меня был сайт с ограниченным краулинговым бюджетом. То есть по факту там было тысяч 10 страниц, но в индексе могли быть только 2 тысячи (потому что сайт был молодой и не трастовый). В итоге те страницы, которые мне были нужны в индексе, часто туда не попадали. Помог каноникал — проставление со страниц пагинации каноникала на основные URL позволило четко дать поисковикам понять, какие страницы должны быть в индексе.

Что такое каноническая ссылка?

Тег canonical будет чрезвычайно полезен, если на вашем сайте есть страницы-дубли, которые имеются в доступе по различным адресам. С помощью него необходимо прописать приоритетный канонический URL для восприятия поисковиками.

Что важно — будет также передаваться ссылочный вес и прочие характеристики страницы (PageRank и др.).

Этот атрибут указывается внутри тега <head> на URL-дубликатах с указанием предпочитаемого URL. Оформляется он таким образом:

Для чего нужен каноникал?

При наличии похожих страниц в индексации поисковиками участвуют все они одновременно. В итоге ни одна из них в полной мере не продвигается по причине того, что внутренние ссылки имеются на обе страницы. Поисковик не знает, какой из них нужно отдать приоритет.

А если бы все внутренние ссылки стояли на одну страницу, или если хотя бы у одной из них был проставлен каноникал на другую, это дало бы мощный плюс основному URL при продвижении.

То же самое касается и внешних ссылок — продвигается не один URL, а несколько, а вес также распределяется между ними. И сайт находится на более низких позициях, чем мог бы быть.

Благодаря каноникал в индексе поисковиков будет предпочитаемый канонический URL.

Примеры использования

Например, у вас на сайте есть печатная версия страницы. Или отдельный урл для мобильной версии. И вы ставите каноникал с них на основную страницу, в итоге эта основная страница получает больший вес и плюс при ранжировании, а из индекса убирается куча мусора.

Как каноникал используется для пагинации

Нужно проставить rel canonical со страниц пагинации (site.ru/category/page/2) на первую из них (site.ru/category).

Мнения о настройке пагинации разнятся — некоторые специалисты говорят о необходимости закрытия от поисковиков всех страниц пагинации, другие — о том, что лучше их оставить в доступе роботов поисковых систем.

Яндекс рекомендует со всех страниц пагинации настраивать каноническую ссылку на первую из них. Как итог — яндекс-робот воспримет, что именно первую страницу необходимо индексировать. Про индексацию товаров уточняется, что по другим ссылкам Яндекс всё равно будет переходить.

Специалисты Google склоняются к следующим вариантам:

  1. оставить всё по-прежнему — поисковик по-разному распознаёт и воспринимает различные виды страниц;
  2. создать отдельный URL-адрес «Показать всё» и установить его как канонический — особенно рекомендуется для многостраничных статей;
  3. прописать в теге линк атрибуты rel=»prev» и rel=»next» с целью фиксации взаимосвязи между URL-адресами; поисковик будет выдавать первый из них.

А вот видос Деваки, где он подробно поясняет за пагинацию:

Атрибуты rel=»next» и rel=»prev»

Есть также и другое мнение — типа страницы пагинации закрывать не надо, что они наоборот должны получать дополнительный трафик. И тут важны два момента:

  • Все URL должны иметь уникальный параметр тега Title, уникальный текст и meta-теги;
  • Если Вы больше ориентируетесь на Google, то рекомендовано обязательное использование атрибутов rel=»next» и rel=»prev», которые нужно настроить так, чтобы каждая предыдущая страница ссылалась на следующую. На корневом адресе задаётся URL следующего, на последующих — URL предыдущей и следующей, на последней — только предыдущей.

Можно прописать пагинацию этими тегами, а каноническую ссылку оформить на первую или на главную страницу — в зависимости от особенностей ресурса.

Пример:

Тема с SEO пагинатором

Вот допустим один из блогов (Sawynih или как-то так, уже не помню) писал о кейсе, когда страницы пагинации давали дополнительный трафик.

Если на разных URL представлен похожий товар, навигацию можно задать следующими способами:

  1. Прописать уникальные значения параметров автоматически, собирая заголовки из отдельных частей, к примеру:

    (купить|заказать|приобрести) юбки в (саратове|ростове|астрахани) (по низкой цене|выгодно|дешево) со скидкой (в магазине|в интернет магазине)

    Будут созданы уникальные значения метатегов.

  2. Самым эффективным и трудоемким является самостоятельное прописывание этих параметров, вручную. Все заголовки будут уникальными и очень сильно отличаться друг от друга, в том числе по смыслу. Это позволит продвинуть каждый URL по низкочастотным и низко конкурентным ключевым запросам в ТОП выдачи поисковиков. Благодаря применению этого способа расширится семантическое ядро. Плюс также в том, что для интернет-магазина множество статей писать нецелесообразно.

Важно осуществить эту работу один раз индивидуально для каждого URL. Параметры будут зафиксированы поисковиками.

Настройка Canonical для WordPress

Многие плагины для WordPress прекрасно работают с данным тегом.

Большинство из них просты в применении — активируем плагин, а канонические ссылки прописываются автоматически. В других SEO-плагинах достаточно установить галочку возле этого параметра в настройках. Если какая-то статья относится одновременно к разным категориям, то каноническая ссылка фиксируется самостоятельно.

При использовании плагина Yoast SEO и расположения поста в разных категориях, поисковик будет видеть только одну страницу.

Что еще полезно знать о каноникал?

Важно подчеркнуть следующие моменты:

  1. Тег canonical — не директива, а подсказка, которую следует учесть и проанализировать, выделив наиболее подходящий URL для поисковой выдачи.
  2. Касаемо оформления канонических ссылок отсутствует запрещающий момент в виде относительного пути. Даже в случае введения тега <BASE> со ссылкой на документ, относительные пути станут восприниматься так, как прописано в базовом URL.
  3. Канонические страницы могут содержать не абсолютно одинаковое наполнение, и это логично. Могут присутствовать незначительные различия.
  4. Даже при наличии ошибки 404, контент будет индексироваться. Но рекомендуется указывать рабочие URL в качестве канонических.
  5. Если канонический url пока не проиндексирован, остаётся ждать — обычно недолго. Когда он распознается, подсказка будет пересмотрена.
  6. Можно использовать редирект — поисковик воспримет перенаправление и будет учитывать другой адрес.
  7. Рекомендуется задавать идентичный тег rel canonical, чтобы результат канонизации был оптимальным.
  8. Канонический урл может прописываться исключительно с текущего домена. Для указания урла с другого домена, следует использовать 301 редирект.
  9. Как оформляются канонические url, можно изучить на примере сайта wikia.com, открыв исходный код страницы http://starwars.wikia.com/wiki/Nelvana_Limited, содержащий canonical url http://starwars.wikia.com/wiki/Nelvana
    Обе ссылки практически одинаковы, но в первой прописан атрибут каноникал — и Google будет отображать версию, заданную в этом параметре.
  10. Вопросы применения каноникал можно задать в официальном блоге для вебмастеров поисковика Google.

В данном случае каноникал проставлен на чёрную овцу

Преимущества, связанные с умением правильно настраивать индексацию с помощью тега canonical:

  • избавление от похожего контента, связанного с недостатками движка, а также созданного искусственно целенаправленными действиями конкурентов;
  • отсутствие необходимости в применении robots.txt для запрета индексации отдельных страниц и угождения всем поисковикам.

Как Google справляется с канонизацией — советы по SEO

Обновление обратных ссылок на перенесенный домен помогает с канонизацией

21 февраля 2022 г. Источник

Участник говорил о переносе веб-сайта из домена А в домен Б. Они настраивали перенаправления, но спросили, не повлияет ли негативно на авторитет страницы и ранжирование, если будет много существующих обратных ссылок, указывающих на домен А.

Джон ответил, что настройка перенаправлений и использование инструмента смены адреса в Search Console поможет Google понять изменения, которые произошли во время переноса сайта.Однако он сказал, что на постраничной основе они также пытаются рассмотреть вопрос о канонизации. Когда речь идет о канонизации перенесенных доменов, Джон сказал, что перенаправления, внутренние ссылки и канонические теги играют роль, но внешние ссылки также играют роль. Что может произойти, если Google увидит много внешних ссылок, ведущих на старый URL-адрес, так это то, что они могут проиндексировать старый URL-адрес вместо нового. Это может быть связано с тем, что они думают, что изменение может быть временным из-за этих связующих сигналов. Во время миграции сайта они рекомендуют найти более крупные веб-сайты, ссылающиеся на ваш предыдущий домен, и запросить обновление этих обратных ссылок, чтобы убедиться, что они могут привести все в соответствие с новым доменом.


Если места не предлагают уникальный контент, отдельные страницы не рекомендуются

6 декабря 2021 г. Источник

На вопрос о том, следует ли канонизировать так называемые «дорвеи», Джон подчеркнул, что не существует единого решения, подходящего для любой ситуации. В качестве примера был приведен сайт, на котором есть отдельные страницы для «уроков игры на фортепиано в Бирмингеме» и «уроков игры на фортепиано в Лондоне».Если в предложениях в каждом городе есть что-то уникальное, обычно можно использовать отдельные URL-адреса. Если информация на обоих одинакова, рекомендуется подумать о том, чтобы объединить их в одну «более сильную» страницу, а не разбавлять сигналы несколькими почти идентичными. Вы также можете рассмотреть сочетание двух подходов, если в одном из этих мест есть выдающийся, уникальный элемент.


Рекомендации для канонических ссылок на страницах с разбивкой на страницы могут зависеть от вашей более широкой внутренней структуры ссылок

6 декабря 2021 г. Источник

Джон ответил на один из самых частых вопросов оптимизаторов; как мы должны обрабатывать канонические атрибуты на страницах с разбивкой на страницы? В конечном счете, это зависит от архитектуры сайта.Если внутренние ссылки достаточно сильны на более широком сайте, возможно канонизировать все URL-адреса с разбивкой на страницы на страницу 1 без исключения контента из индекса. Однако, если вы полагаетесь на то, что Google сканирует страницы 2, 3… и т. д., чтобы найти весь контент, который вы хотите просканировать, убедитесь, что URL-адреса с разбивкой на страницы самоканонизируются.


Убедитесь, что важный контент находится не только на канонизированных страницах

17 ноября 2021 г. Источник

Джон ответил на вопрос о том, должен ли совпадать дублированный контент, который в той или иной форме появляется как на канонической странице , так и на канонической странице .Он ответил, что им не обязательно иметь одинаковый контент. С каноническим тегом Google попытается проиндексировать указанную каноническую страницу. Если на неканонических страницах есть уникальный контент, он не будет проиндексирован. Поэтому убедитесь, что любой критический контент с канонических страниц также находится на канонической странице.


Инструмент параметра URL не предотвращает сканирование страниц

30 октября 2021 г. Источник

Джон объяснил, что любые URL-адреса, настроенные для игнорирования в инструменте URL Parameter , все равно могут сканироваться, хотя и с гораздо меньшей скоростью.Правила параметров, установленные в инструменте, также могут помочь Google принять решение о том, какие канонические теги следует использовать.

 

 


Все, что содержится на неканонических страницах, не будет использоваться для индексации

7 февраля 2020 г. Источник

Когда Google выберет каноническую страницу, они поймут, что существует набор страниц, но сосредоточатся только на содержании и ссылках канонической страницы.Все, что содержится только в неканонических версиях, не будет использоваться для индексации. Если у вас есть контент на тех страницах, которые вы хотели бы проиндексировать, Джон рекомендует убедиться, что они разные.


Проверьте канонические сигналы, если Google постоянно выбирает другой канонический набор вместо тех, что установлены

31 января 2020 г. Источник

Иногда Google может выбрать канонический код, отличный от того, который был установлен для определенных страниц, но это ничего не меняет с точки зрения ранжирования.Однако, если вы видите это в больших масштабах, Джон рекомендует проверить, не отправляете ли вы запутанные сигналы в Google.


Нет необходимости удалять внутренние ссылки на неканонических страницах, поскольку Google может определить связи

24 января 2020 г. Источник

Google видит ссылки с канонической страницы на каноническую страницу, и иногда с каждой может быть связано несколько внутренних ссылок.В этом случае Google объединит все сигналы и сохранит их для каждой страницы, но сможет понять связь между каноническими и канонизированными страницами.


Избегайте предоставления Google конфликтующих канонических тегов при работе с сайтами JavaScript

10 января 2020 г. Источник

Если у вас есть сайт JavaScript, Джон рекомендует убедиться, что статическая HTML-страница, которую вы предоставляете, не имеет канонического тега.Вместо этого используйте JavaScript, чтобы добавить его, чтобы избежать предоставления Google другой информации. Google может выбрать канонический формат после рендеринга страницы, чтобы обработать и использовать его.


Полное руководство по тегам Canonical для SEO

Канонические теги позволяют указать, какая из нескольких повторяющихся страниц является основной, предпочтительной версией страницы.

Любой веб-сайт может страдать от проблем с дублированием контента , и вы можете не знать, что часть вашего контента рассматривается как дубликат.

Без канонического тега вы находитесь во власти поисковых систем — они сами выберут каноническую версию. И они вполне могут выбрать тот, который вы не считаете репрезентативным для данного контента. Это может серьезно повлиять на вашу видимость в поиске и ранжирование.  

В этом руководстве объясняются характеристики и рекомендации по использованию канонических тегов для решения проблем с дублированием контента на вашем веб-сайте.

Что такое канонические теги?

Канонический тег — это фрагмент кода, указывающий основную (каноническую) версию страницы, когда существует более одной версии этой страницы.

Используя тег canonical, вы можете указать поисковым системам, какой URL-адрес должен быть проиндексирован и отображаться в результатах поиска.

Наиболее распространенный способ реализации канонических тегов — добавить следующий фрагмент кода в HTML-код страницы:

  

Код означает, что каноническая страница находится по указанному URL.

Канонические теги используются для решения проблем с дублированием контента, но какой контент поисковые системы считают дублирующим и как они к нему относятся?

Поисковые системы и дублированный контент

Проблемы с дублированным содержимым возникают из-за того простого факта, что сканеры поисковых систем смотрят на страницы не так, как пользователи.  

Для сканера поисковой системы каждый из следующих URL отличается:

  • http://site.com
  • https://site.com
  • https://site.com/index.php
  • http://site.com/index.php
  • http://www.site.com

Хотя пользователь обращает внимание на содержимое страницы, поисковые роботы воспринимают каждый URL-адрес как отдельный объект, даже если несколько страниц имеют одинаковое содержимое.

Проблемы с повторяющимся содержимым, как правило, особенно серьезны для сайтов электронной коммерции, но не ограничиваются ими.Многие современные веб-сайты автоматически добавляют теги и параметры к URL-адресам, например, для сортировки или фильтрации страниц, и часто используют множество путей, ведущих к одному и тому же контенту.

Также могут существовать несколько версий ваших URL-адресов, если вы используете разные структуры URL-адресов – например, ваши URL-адреса бывают как с www, так и без www, с косой чертой и без косой черты, с протоколами HTTP и HTTPS и в любых других форматах. .

Это может привести к дублированию контента, который поисковые системы не хотят индексировать.

В частности, когда поисковые системы сталкиваются с повторяющимся контентом, им сложно определить: 

  • Какая страница должна быть проиндексирована,
  • Какая страница должна ранжироваться по релевантным ключевым словам и 
  • Должны ли они объединять сигналы ранжирования под одним URL-адресом или разделять его между несколькими страницами.

Хотя поисковые системы могут дедуплицировать страницы для целей ранжирования, рискованно позволять им выбирать канонический URL-адрес — они могут выбрать страницу, которая не является наиболее репрезентативной версией вашего контента.

Как Google выбирает канонические страницы?

Важно отметить, что Googlebot не всегда будет следовать вашим каноническим тегам, поскольку они служат только в качестве рекомендаций относительно того, как следует обрабатывать данный URL.

Google учитывает многие другие факторы на странице при выборе канонической версии.

Эти факторы включают, среди прочего:

  • Перенаправления,
  • Внутренняя и внешняя перелинковка,
  • Файлы Sitemap,
  • Чистая структура URL,
  • Использование протокола HTTPS.

Вы можете проверить, учел ли Google ваш канонический тег или выбрал другой, используя инструмент проверки URL.

Google использует канонические страницы в качестве основных источников для оценки содержания и качества. Результат поиска Google обычно указывает на каноническую страницу, за исключением случаев, когда один из дубликатов явно лучше подходит для пользователя. Например, результат поиска, вероятно, будет указывать на мобильную страницу, если пользователь использует мобильное устройство, даже если страница для настольных компьютеров помечена как каноническая.

источник: документация Google

Посмотрите это видео, в котором объясняется, как Google выбирает канонические URL-адреса.

Когда следует использовать канонические теги?

Не забывайте, что простое добавление канонических тегов не решит всех проблем с дублирующимся или недостаточным контентом.

Ваша главная цель должна заключаться в устранении основных проблем, вызывающих эти проблемы. Сосредоточьтесь на анализе того, можете ли вы удалить или улучшить содержимое дублирующихся страниц, чтобы сделать его более уникальным и, возможно, более полезным для пользователя.

Тем не менее, правильная разметка ваших страниц каноническими тегами — это шаг вперед в борьбе с дублирующимся контентом.

Давайте проанализируем, как вы можете извлечь выгоду из канонических тегов и когда их использовать.

Преимущества использования канонических тегов

Добавляя канонические теги, вы можете:

Укажите, какая страница должна отображаться в результатах поиска

Поисковые системы стремятся обеспечить наилучшее взаимодействие с пользователем — поэтому они редко показывают более одной версии одного и того же контента в результатах поиска.

Канонические теги дают вам возможность улучшить видимость наиболее репрезентативной версии страницы в поиске, что может увеличить органический трафик на эту страницу и превратиться в преимущества для бизнеса.

Объединение сигналов ранжирования для дубликатов страниц

Другие сайты могут ссылаться на разные дубликаты ваших страниц, разбавляя сигналы , которые поисковые системы учитывают при ранжировании.

Когда вы используете канонический тег, вы сообщаете поисковым системам, что сигналы ранжирования от повторяющихся URL-адресов должны направляться на каноническую страницу.

Не поощрять сканирование дубликатов страниц

Если вы реализуете канонические теги, маловероятно, что поисковые системы будут продолжать сканировать канонизированные страницы, зная, что они являются копиями.

В то же время каноническую версию следует сканировать более регулярно.  

Это возможность для более эффективного сканирования ваших канонических страниц, что может положительно повлиять на статус индексации вашего сайта.

Типы контента для разметки каноническими тегами

Давайте пройдемся по конкретному контенту, для которого следует выбрать каноническую страницу.

Следующие типы контента и аспекты обычно не добавляют ценности вашему веб-сайту и могут привести к увеличению количества дублированного контента.

Синдицированный контент 

Распространение контента означает, что часть контента была повторно опубликована на другом домене.

Внедрение канонического тега может помочь приписать право собственности на произведение первоначальному издателю.

Фильтрация и сортировка товаров 

Параметры фильтрации и сортировки, типичны для сайтов электронной коммерции, обычно используют строки запроса, которые добавляются к URL-адресам — это может создавать огромное количество дублированного контента.Канонизация страниц фильтрации и сортировки поможет вашей канонической версии получить более высокий рейтинг и предотвратит ненужное сканирование дублирующегося контента поисковыми системами,

Избыточные параметры в URL 

Параметры могут быть избыточными для страницы , если они не используются для отслеживания, не меняют содержимое и не добавляют в URL никакой значимой информации.

Вместо этого они могут привести к неэффективному сканированию вашего сайта.

Варианты продукта 

Продукт может поставляться в различных вариантах, где единственной изменяемой характеристикой является цвет, размер или любой другой применимый атрибут.Канонизация может помочь вам выбрать основной вариант продукта.

Однако подумайте, остается ли продукт прежним. Например, в технологической нише различные варианты продуктов, такие как смартфоны , могут на самом деле содержать другие функции и, следовательно, все они должны отображаться в результатах поиска.

Параметры отслеживания и идентификаторы сеансов 

Параметры отслеживания могут отслеживать кампанию или путь пользователя, и не изменяют содержимое страницы, поэтому их также следует канонизировать.

Сравнение канонических тегов с тегами noindex и переадресацией 301

Вам может быть интересно, как канонические теги сравниваются с другими решениями, которые могут повлиять на то, как поисковые системы индексируют страницы и индексируют ли они их вообще.

Давайте сравним характеристики и варианты использования SEO канонических тегов, тегов noindex и редиректов 301.

Использование канонических тегов вместо тегов без индекса

Теги Noindex используются для исключения страниц из индекса, а не для управления тем, какая страница должна быть выбрана в качестве канонической.  

Никогда не используйте тег noindex, чтобы поисковые системы не могли выбрать каноническую страницу.

Канонизированные страницы обычно объединяют сигналы ранжирования под одним URL-адресом, в отличие от тегов noindex — это вызвано тем, что Google рассматривает долгосрочные теги noindex, follow как noindex, nofollow.

Эмпирическое правило заключается в том, что страница не должна быть одновременно неиндексирована и канонизирована. Например, страницы, канонизированные как неиндексированные URL-адреса, будут удалены из индекса.

Джон Мюллер разъяснил во время SEO Office Hours, что нет риска того, что неиндексированная и канонизированная страница перенесет noindex на свое каноническое место назначения, что впоследствии удалит оба адреса из индекса.

Однако , использующий теги noindex и canonical, посылает в Google смешанные сигналы. Это означает, что Google может интерпретировать теги по своему усмотрению, и результат может быть для вас нежелательным.

Использование канонических тегов против 301 редиректа

Поисковые системы и пользователи по-разному воспринимают канонические теги и 301 редиректы.

Если вы используете перенаправление 301, пользователи будут автоматически перенаправлены на целевую страницу и не увидят исходную страницу. 301 переадресация также поможет вам сэкономить краулинговый бюджет , потому что они ограничивают количество URL-адресов, которые необходимо сканировать.

Между тем, с каноническим тегом пользователи по-прежнему смогут посещать оба URL-адреса. Более того, повторяющиеся URL-адреса по-прежнему сканируются поисковыми системами, поэтому количество просматриваемых страниц не уменьшается.

Хотя канонические теги имеют тенденцию передавать сигналы ранжирования основной версии страницы, перенаправления 301 являются более сильным указанием для Google на то, что сигналы ранжирования должны передаваться на целевой URL.Это происходит потому, что Google не видит прерывистый контент, как и канонические теги.

Давайте уточним, когда 301 редирект будет более подходящим, чем канонический тег.

Лучше всего использовать переадресацию 301 для консолидации URL-адресов:

  • Содержит строчные и прописные буквы,
  • С косой чертой в конце и без нее,
  • Протоколы HTTP или HTTPS,
  • Существует как с www, так и без него.

Если вы вносите изменения в свой контент — например, во время миграции сайта — и ваши URL-адреса меняются, вам следует 301 перенаправить устаревшие URL-адреса на новые.Помимо перенаправления, убедитесь, что новый целевой URL имеет самореферентный канонический тег.

Другая ситуация, когда перенаправление 301 будет оптимальным, — это когда продукта доступны по многим URL-адресам.  

В этом случае измените структуру вашего URL-адреса, , чтобы он не включал название категории, к которой были отнесены продукты. Затем 301 перенаправляет устаревший URL-адрес. Если какие-либо категории являются избыточными, вы можете удалить их и перенаправить на соответствующие альтернативные страницы.

В целом, используйте перенаправление 301, если только один URL-адрес должен быть доступен для пользователей.

Как добавить канонические теги на страницу

Существует два основных метода указания канонических страниц — в заголовках HTML или HTTP. Вы можете реализовать их вручную или использовать один из инструментов, которые помогут вам автоматизировать это.

Например, вы можете выбрать SEO-плагин , если вы используете CMS. Плагины с функциональностью для указания канонических страниц включают Yoast SEO или All in One SEO.

Если вы используете Shopify , вы можете установить собственные канонические URL-адреса, если это необходимо — настройка Shopify по умолчанию — добавить самоссылающиеся канонические URL-адреса для продуктов и сообщений в блогах.

Независимо от того, какой метод вы выберете, не забывайте реализовывать канонические теги только в одном месте — не используйте эти методы одновременно. Если Google обнаружит несколько объявлений канонического тега, он, скорее всего, проигнорирует их все.

Тег HTML

Добавление канонического тега в ваш HTML — наиболее распространенный способ его реализации.

Добавьте следующий код в раздел дубликата страницы HTML и вставьте URL-адрес канонической версии:

 <ссылка rel="canonical" href="https://example.com" /> 

Этот метод работает только для HTML-страниц, поэтому используйте заголовок HTTP, если хотите канонизировать другие типы файлов.

Вы можете реализовать HTTP-заголовок «rel=canonical» для указания канонической версии URL-адреса:

 Ссылка: ; отн = "канонический" 

Используйте заголовок HTTP, чтобы указать канонический код для документов, отличных от HTML, таких как файлы PDF.

Чтобы использовать это решение, вам нужен доступ к серверу вашего веб-сайта. Это также требует некоторых технических навыков, так как этот метод более подвержен ошибкам и сложен в реализации, чем HTML.

Рекомендации по использованию канонических тегов

Соблюдение рекомендаций по использованию канонических тегов помогает снизить риск того, что поисковые системы сочтут неправильную версию страницы канонической.

Вот мой список рекомендаций для канонических тегов:

Использовать абсолютные URL 

Теоретически Google должен распознавать как относительные, так и абсолютные URL-адреса. Однако абсолютные версии URL-адресов менее подвержены ошибкам и их легче отлаживать.

Вы можете использовать любой из них, но я бы рекомендовал использовать абсолютные URL-адреса, чтобы вы были уверены, что они интерпретируются правильно.

— 🦙 johnmu.xml (личный) 🦙 (@JohnMu) 24 октября 2018 г.

Другими словами, используйте полный URL в каноническом теге:

 <ссылка rel="canonical" href="https://example.com/sample-page/» /> 

И воздержитесь от включения только пути URL:

  

Используйте самореферентные канонические теги 

Хотя это и не обязательно, рекомендуется использовать канонические теги, указывающие на страницы, на которых они расположены.

Это необходимо реализовать, если вы используете параметры для отслеживания кампаний — это должно сделать все URL-адреса с параметром кампании канонизированными по умолчанию статическим URL-адресом и предотвратить их индексацию.

Вот что сказал Джон Мюллер из Google во время SEO Office Hours относительно канонических ссылок на себя:

Наличие на странице самоссылающегося канонического тега не критично, но нам проще выбрать именно тот URL, который вы хотите сделать каноническим.

Мы используем ряд факторов, чтобы выбрать канонический URL-адрес, и rel=canonical действительно играет в этом роль.

Таким образом, в частности, такие вещи, как параметры URL-адреса или если URL-адрес помечен каким-либо определенным образом — может быть, у вас есть ссылки, ведущие на эту страницу, которые помечены, например, для аналитики — тогда может случиться так, что мы выберем этот тегированный URL-адрес как канонический […]

Отправлять четкие сигналы поисковым системам

Отправка сигналов очистки состоит из указания только одного канонического файла на страницу.  

Избегайте указания URL-адреса как канонического и одновременного перенаправления указанного URL-адреса на другое место назначения.

Другой случай касается канонических файлов, добавленных с помощью JavaScript.  

Если в HTML не указана каноническая страница, а канонический тег добавлен с помощью JavaScript, Google должен учитывать его во время рендеринга. Но если в HTML установлен канонический код, а JavaScript изменяет его, вы отправляете в Google смешанные сигналы.

Отправка смешанных сигналов может привести к тому, что поисковые системы неправильно интерпретируют ваши канонические коды или выберут неправильную версию в качестве канонической.

Убедитесь, что вы используете правильный URL-адрес при внутренней ссылке

При размещении внутренних ссылок на вашем сайте убедитесь, что вы ссылаетесь на канонический URL-адрес , а не на дубликаты.

Как уже упоминалось, Google может не соблюдать канонический, если более сильные сигналы указывают на другой URL-адрес . Одним из таких сигналов может быть увеличение количества ссылок на повторяющийся URL-адрес, который Google может вместо этого рассматривать как основную версию.

Распространенной ошибкой является стремление индексировать только первую страницу пагинации.Вы можете использовать его, чтобы запретить пользователям доступ к последующим страницам из результатов поиска, но это неправильный подход. Поисковые системы могут игнорировать канонизацию, так как эти страницы обычно не являются дубликатами. Но если они соблюдают канонические теги, нумерация страниц может быть канонизирована.

Если пагинация содержит ссылки на уникальные товары и между страницами товаров нет других ссылок, то ссылки на страницы товаров в пагинации могут не учитываться. Другими словами, индексируемые страницы продуктов не будут иметь внутренних ссылок с других страниц.

Вместо этого страницы с разбивкой на страницы должны иметь канонические теги, ссылающиеся на самих себя. Содержимое этих страниц не идентично, и, добавляя самореферентные теги, вы сообщаете поисковым системам, что каждая страница уникальна. Если вы не хотите, чтобы эти страницы индексировались, используйте теги noindex.

Укажите на настольную версию страницы

Если ваш мобильный сайт расположен на поддомене, тег canonical должен указывать на настольную версию страницы.

Определение канонической страницы при использовании тегов hreflang

Хотя Google не считает разные версии одного и того же контента, переведенного на другие языки, дубликатами, тем не менее следует использовать канонические теги.

Сообщите поисковым системам , какая каноническая страница написана на том же языке или на лучшем заменяющем языке. Варианты языка должны быть самоканоническими.

Предотвращение проблем с краулинговым бюджетом

Канонические URL-адреса могут по-прежнему расходовать ваш краулинговый бюджет, даже если канонические теги реализованы правильно.

Хотя скорость сканирования канонизированных URL-адресов со временем должна снижаться, поисковые системы могут по-прежнему фокусироваться на поиске дубликатов, а не на сканировании и индексировании новых страниц.

Проверьте журналы своего сервера, чтобы увидеть, как робот Googlebot ведет себя на вашем сайте, и выявить возможные проблемы со сканированием.

Чтобы смягчить проблемы с краулинговым бюджетом, обычно следует:

  • Уменьшить внутренние ссылки на неканонические версии URL,
  • Используйте инструмент параметров URL-адресов в Google Search Console, чтобы указать роботу Googlebot сканировать статические версии URL-адресов.

Но имейте в виду, что проблемы с краулинговым бюджетом возникают на очень больших сайтах. Google заявляет, что большинству сайтов никогда не придется беспокоиться об этом.

Я рекомендую вам прочитать статью Google о распространенных ошибках при реализации «rel=canonical», чтобы узнать, чего еще следует избегать.

Как проверить канонические теги

Чтобы ваши канонические теги были подобраны, вам необходимо убедиться, что на странице есть канонический тег, указывающий на нужную страницу.

Также необходимо проверить, доступна ли страница для сканирования и индексации — она не должна быть заблокирована robots.txt или помечена тегом noindex.

Ниже приведены несколько полезных способов проверки ваших канонических тегов.

Как использовать Google Search Console для анализа канонических тегов

Google Search Console содержит несколько полезных инструментов для аудита ваших канонических страниц: отчет о покрытии индекса и инструмент проверки URL.

Отчет о покрытии индекса

Отчет об индексировании в Google Search Console является ценным источником информации о вашем состоянии индексации — какие URL-адреса проиндексированы, а какие не индексируются и почему.

Чтобы проанализировать канонические файлы вашего сайта, перейдите в категорию «Исключено».  

Здесь вы можете найти несколько актуальных для вас статусов:

Альтернативная страница с правильным каноническим тегом

URL-адреса, отмеченные этим статусом, указывают на страницы, для которых Google уважает вашу канонизацию в URL-адрес.

Можно ожидать, что количество этих URL-адресов увеличится, если вы недавно канонизировали некоторые страницы. Вы можете использовать этот раздел отчета Google, чтобы проверить, не сканирует ли Google дубликаты больше, чем необходимо.

В противном случае эти URL-адреса не требуют вашего внимания.

Дубликат, Google выбрал другой канонический код, чем пользователь
.

Статус указывает на то, что Google проигнорировал вашу самоотсылающую каноническую или каноническую ссылку на другую каноническую. Это может произойти, если более сильные сигналы указывают на другие URL-адреса — например, может быть больше внутренних ссылок на другие страницы.

Эта проблема также может указывать на проблемы с содержимым . Например, возможно, уникальная часть контента не загрузилась или вы выбрали не ту страницу для канонизации, т.е.г., потому что между дубликатами и каноническими страницами нет достаточного паритета контента.

Если вы не можете определить, как решить эту проблему, перейдите прямо к нашему руководству о том, как исправить дубликат, Google выбрал другую каноническую проблему, чем проблема пользователя.

Повторяющийся отправленный URL не выбран в качестве канонического 

Это означает, что Google обнаружил страницы в ваших картах сайта XML, которые он считает дубликатами. Просмотрите свою карту сайта и убедитесь, что все найденные в ней URL-адреса должны быть проиндексированы.

Дублировать без выбранного пользователем канонического 

Это повторяющиеся URL-адреса без указания rel=canonical URL-адресов – определите для них наиболее подходящие канонические страницы и добавьте их.

Инструмент проверки URL 

Вы можете использовать инструмент проверки URL для дальнейшего изучения того, как робот Googlebot просматривает URL-адреса, исключенные из индекса.

При просмотре страницы обратите внимание на:

  • Дата последнего обхода — последний раз, когда робот Googlebot извлекал страницу.Если канонический тег был добавлен недавно, вполне вероятно, что с тех пор робот Googlebot не сканировал URL-адрес.
  • Объявленный пользователем канонический — здесь должен отображаться выбранный вами URL-адрес — проверьте, правильный ли это URL-адрес.
  • Канонический, выбранный Google . Если Google выбрал другую каноническую страницу, вы можете увидеть, какой URL был выбран.

Вы также можете проверить правильность добавления канонического тега. Щелкните Просмотреть просканированную страницу, чтобы изучить отображаемый контент и найти канонический тег в разделе .

На вкладке «Дополнительная информация» вы можете проверить заголовок HTTP-ответа, полученный роботом Googlebot.

Убедитесь, что он соответствует желаемой конфигурации, даже если вы используете rel=canonical в HTML-коде страницы.

Выполнение обхода сайта для аудита канонических тегов

Сканирование веб-сайта может помочь вам обнаружить проблемы с вашими каноническими тегами.

Сканеры веб-сайтов предоставят вам подробную информацию о соотношении канонических и неканонических материалов. Они предупредят вас о любых неверных канонических тегах, таких как удаленные/отсутствующие страницы (HTTP 4xx), ошибки сервера (HTTP 5xx) или перенаправления (HTTP 3xx) в канонических тегах.Как правило, следует исследовать любые коды состояния, отличные от HTTP 200.

Следуйте этому руководству, чтобы узнать, как проверить свои канонические файлы с помощью SEO Spider от Screaming Frog.

Подведение итогов

Внедрение канонических тегов дает вам возможность сообщать поисковым системам, какой URL-адрес представляет наилучшую версию каждого фрагмента контента. Затем вы можете влиять на то, какие страницы будут отображаться в результатах поиска, а какие будут считаться второстепенными.

Canonicals — это просто сигналы, которые поисковые системы не должны уважать.Но во многих случаях вы можете увеличить шансы на то, что ваши канонические теги будут соблюдены. Как?

Следуйте изложенным передовым методам — вот сжатый список моих рекомендаций:

  • Определите дублирующийся контент на своих страницах и выберите, какая версия страницы должна быть основной, например потому что это самая репрезентативная или ценная страница, 90 157
  • Убедитесь, что вы отправляете поисковым системам согласованные сигналы о ваших канонических файлах,
  • Использовать самореферентные канонические теги,
  • Убедитесь, что ваша реализация robots.txt, теги noindex и карта сайта соответствуют вашей канонизации,
  • Убедитесь, что между дубликатами и каноническими страницами достаточно паритета содержания, 
  • Ограничьте внутренние ссылки дубликатами страниц.

Руководство для начинающих по поиску и устранению канонических ошибок SEO

Канонические проблемы, вызванные дублированием контента, являются очень распространенной проблемой SEO для веб-сайтов. Наличие идентичного или очень похожего контента на нескольких URL-адресах может привести к проблемам с индексацией.Хуже того, это может снизить ваш ссылочный капитал, что может повредить вашему поисковому рейтингу.

Научившись выявлять и устранять проблемы с дублированием контента на своем веб-сайте, вы сможете избежать канонических проблем и всех связанных с ними проблем.

Содержание:

Что такое канонические проблемы в SEO?

Канонические проблемы чаще всего возникают, когда веб-сайт имеет более одного URL-адреса, отображающего похожее или идентичное содержимое. Они часто являются результатом отсутствия надлежащих переадресаций, хотя они также могут быть вызваны параметрами поиска на сайтах электронной коммерции и синдикацией или публикацией контента на нескольких сайтах.

Например, веб-сайт может загружать свою домашнюю страницу для всех следующих URL-адресов:

Для каждого из этих URL-адресов отображается одна и та же страница, но, поскольку у каждого из них разные URL-адреса, поисковые системы воспринимают это как четыре разных страницы. Это создает проблему дублирования контента, что может быть проблемой для SEO.

Почему канонические вопросы вызывают проблемы?

Есть несколько причин, по которым канонические проблемы являются проблематичными для SEO.

Во-первых, Google не хочет включать дублирующийся контент в свой индекс.Поэтому, когда он обнаруживает дубликаты страниц, он выбирает каноническую (по умолчанию) версию этой страницы и исключает все другие версии страницы из результатов поиска. Это может стать проблемой, если Google выберет URL-адрес, который не является тем URL-адресом, который вы хотели бы проиндексировать.

Вот отличное видео от Джона Мюллера из Google, объясняющее, как поисковая система выбирает канонический URL-адрес, когда несколько URL-адресов на сайте отображают одинаковый или похожий контент:

   

Во-вторых, если ваш контент доступен по нескольким URL-адресам, другие сайты могут ссылаться на другие URL-адреса при цитировании контента на вашем сайте.Это диверсифицирует ваш ссылочный вес на несколько страниц, разбавляя его.

Третья проблема вызвана сочетанием двух указанных выше проблем. Допустим, у вас есть 100 ссылок, указывающих на URL-адрес 1, и 10 ссылок, указывающих на URL-адрес 2. Затем Google выбирает URL-адрес 2 в качестве канонической версии вашей страницы. Он может учитывать только ссылки, указывающие на URL 2, а не ссылки, указывающие на URL 1, при ранжировании страницы, что может привести к ухудшению вашего рейтинга.

Каковы некоторые распространенные причины канонических проблем?

Существует множество сценариев, вызывающих канонические проблемы, но вот несколько наиболее распространенных, по данным Google:

  • HTTPS и HTTPSHTTP : если ваш сайт защищен SSL-сертификатом, возможно, он загружается при вводе как HTTPS-, так и HTTP-версии вашего URL-адреса. Эта проблема создает дубликаты каждой отдельной страницы вашего сайта.
  • WWW против не-WWW : Если вы не указали версию своего URL-адреса по умолчанию, возможно, ваш сайт загружается при предварении URL-адреса WWW и без предварения его WWW. Опять же, эта проблема создает дубликаты каждой отдельной страницы вашего сайта.
  • URL-адреса, которые меняются в зависимости от взаимодействия с пользователем : Некоторые сайты, в частности сайты электронной коммерции, генерируют разные URL-адреса на основе параметров поиска или фильтров. Например:
  • URL-адреса, которые меняются в зависимости от устройства, используемого для просмотра страницы : Если у вас есть разные веб-сайты для настольных и мобильных пользователей (m.[site].com и [site].com) или если вы используете AMP ( amp.[site].com и [site].com), это может привести к каноническим проблемам.
  • Синдицированный контент : Если вы публикуете свой контент на нескольких веб-сайтах или разрешаете его синдицирование — например, вы публикуете каждую новую запись в блоге на своем веб-сайте и на Medium — это может создать канонические проблемы.

Плохая новость заключается в том, что существует множество способов непреднамеренно создать канонические проблемы на вашем сайте. Хорошая новость заключается в том, что все эти канонические проблемы можно исправить.

Как определить, есть ли на вашем сайте канонические проблемы

Канонические проблемы, вызванные HTTP/HTTPS или WWW/не WWW, являются самыми простыми проблемами для выявления. Чтобы определить, связаны ли эти проблемы с вашим сайтом, введите каждую возможную версию URL-адреса вашего сайта в браузере. Например:

Если все эти URL-адреса перенаправляют на один из этих URL-адресов (например, каждый из этих URL-адресов AuthorityLabs перенаправляет на https://www.authorlabs.com), то у вас нет этих канонических проблем на вашем сайте. Но если какой-либо из этих URL-адресов не перенаправляется на ваш предпочтительный URL-адрес, у вас есть каноническая проблема.

Обнаружение других проблем может быть более сложным и трудоемким. Например, один из вариантов, который вы можете попробовать, — это пойти в Google, ввести site:[yoursite.com] и просмотреть все страницы в индексе Google, чтобы увидеть, есть ли там что-то, что вас удивляет.

Но просмотр десятков или сотен результатов Google может быть не идеальным, поэтому другой вариант — использовать такой инструмент, как Screaming Frog, для сканирования всего вашего сайта и создания списка всех его URL-адресов.

Или, чтобы избавить себя от необходимости просматривать каждый из URL-адресов вашего сайта по отдельности для поиска проблем, вы можете использовать функции аудита сайта в популярных инструментах SEO, таких как Ahrefs, Moz или SEMrush. Все эти инструменты имеют функции, которые ищут дублированный контент и канонические проблемы на вашем сайте и создают простой для понимания отчет, который вы можете использовать для устранения этих проблем.

Как исправить распространенные канонические проблемы

Существует два основных способа исправить канонические проблемы на веб-сайте: реализовать переадресацию 301 и/или добавить канонические теги на страницы вашего сайта, чтобы сообщить Google, какая из нескольких похожих страниц предпочтительнее.Правильный вариант зависит от канонической проблемы, которую вы пытаетесь решить.

Внедрить переадресацию 301 для повторяющихся страниц по всему сайту

Устраняет проблемы с HTTP/HTTPS и WWW/не WWW

Канонические проблемы HTTP/HTTPS и WWW/не WWW можно исправить, внедрив переадресацию 301 для всего сайта на правильную версию вашего URL.

Существует несколько способов настроить перенаправление по всему сайту. Самый простой и наименее рискованный метод — настроить перенаправление через хост вашего сайта.

Вы можете начать с поиска в Google «перенаправление с HTTP на HTTPS [имя хоста]» или «перенаправление с WWW на не-WWW [имя хоста]» и посмотреть, есть ли у вашего хоста страница поддержки, объясняющая, как внести изменение. И наоборот, вы можете обратиться за помощью в службу поддержки вашего хоста.

Если у вас есть разработчики, которые могут помочь, они также могут настроить перенаправления с помощью перенаправления .htaccess (Apache), перенаправления NGINX или других методов.

После внесения изменений вы можете заметить некоторые изменения в трафике и рейтинге.По словам Google, это нормально, и через короткий промежуток времени ваш трафик и рейтинг восстановятся.

Вы можете использовать такой инструмент, как AuthorityLabs, для отслеживания рейтинга каждой из страниц вашего сайта как до, так и после перенаправления, чтобы следить за любыми изменениями и убедиться, что ваш сайт в конечном итоге восстановится.

Также стоит отметить, что могут потребоваться некоторые другие изменения, помимо перенаправления ваших URL-адресов, например, обновление файла robots.txt, карт сайта и любых жестко запрограммированных URL-адресов, поэтому вы можете использовать HTTP для Руководство по миграции сайта HTTPS, чтобы убедиться, что вы не пропустите ни одного важного шага.

Добавьте канонические теги на все страницы вашего сайта

Устраняет проблемы с URL-адресами, которые меняются в зависимости от взаимодействия с пользователем (например, сайты электронной торговли)

Вместо того, чтобы позволять Google решать, какие из ваших дубликатов страниц должны быть каноническими, вы можете указать, какую страницу вы хотите считать канонической, добавив тег rel=canonical на каждую страницу вашего веб-сайта.

Добавлять этот код на каждую страницу вашего сайта, вероятно, неудобно и непрактично, но в большинстве систем управления контентом есть способы упростить канонизацию страниц вашего сайта.

Например, на сайтах WordPress вы можете использовать премиум-версию плагина Yoast SEO для автоматического добавления самореферентных канонических тегов на каждую страницу вашего сайта. Пользователи HubSpot CMS могут изменить свои настройки, чтобы CMS автоматически добавляла URL-адреса, ссылающиеся на самих себя. Shopify автоматически добавляет канонические теги на ваши страницы, поэтому вам не нужно об этом беспокоиться.

Если вы используете CMS, отличную от одной из перечисленных выше, стоит провести небольшое исследование, чтобы выяснить, предлагает ли ваша CMS простое решение для добавления канонических тегов на страницы вашего сайта.

Направляйте дубликаты страниц на предпочтительный URL-адрес с помощью тегов Canonical

Решает проблемы с URL-адресами, которые меняются в зависимости от устройства, используемого для просмотра страницы

Если у вашего сайта есть как мобильная (m.[site].com), так и десктопная ([site].com) версии, выберите сайт, который будет служить вашей канонической версией. Скорее всего, это будет ваш настольный сайт, поэтому мы будем использовать его в качестве примера нашей канонической версии ниже.

Теперь убедитесь, что каждая страница вашего настольного сайта имеет самореферентный канонический тег.После этого добавьте канонический тег на каждую страницу вашего мобильного сайта, который указывает на URL-адрес дубликата страницы на вашем настольном сайте.

Даже с этим каноническим тегом Google по-прежнему будет показывать ваш мобильный сайт в результатах поиска по запросам на мобильных устройствах, но любые ссылки на любую версию страницы будут учитываться при ранжировании этой страницы в результатах поиска.

Если вы используете AMP на своем сайте и вам необходимо канонизировать ваши страницы AMP до их аналогов на рабочем столе, следуйте этим инструкциям.

Убедитесь, что другие сайты используют теги Canonical при публикации вашего контента

Устраняет проблемы с синдицированным контентом/контентом, который дублируется на нескольких сайтах

Если вы синдицируете свой контент или публикуете его на нескольких сайтах, важно убедиться, что любой вторичный сайт, на котором публикуется ваш контент, включает тег rel=canonical, указывающий на URL-адрес контента на вашем веб-сайте. В противном случае Google может быть не в состоянии определить первоисточник контента и может ранжировать дополнительный сайт выше, чем ваш.

Рекомендации по использованию тегов Canonical

При добавлении канонических тегов на страницы вашего веб-сайта важно следовать нескольким рекомендациям:

  • Добавьте канонический тег и URL-адрес на каждую страницу вашего сайта. Даже если у вас в настоящее время нет проблем с дублированным содержимым, как вы видели, они могут легко возникнуть случайно и без вашего ведома. По этой причине хорошо просто по умолчанию добавлять самореферентные канонические теги на каждую страницу вашего сайта и каждую новую страницу, которую вы создаете.
  • Убедитесь, что сайты, которые повторно публикуют ваш контент, добавляют канонические теги, указывающие на ваш URL. В противном случае Google не будет точно знать, какой сайт был первоначальным источником контента, и может ранжировать страницу, которая повторно опубликовала ваш контент, выше, чем вашу страницу в результатах поиска.
  • Время от времени проверяйте канонические теги и URL-адреса. Рекомендуется время от времени проверять свои канонические файлы, чтобы убедиться, что они все еще там и работают правильно.Вы можете проверить, запустив аудит сайта в инструменте SEO или используя расширение браузера, такое как MozBar, которое показывает вам канонический URL-адрес любой веб-страницы.
  • Не канонизировать, когда нужно перенаправить. Если нет смысла дублировать контент на двух или более разных URL-адресах, не утруждайте себя добавлением канонического тега на неосновную страницу. Просто 301 перенаправьте его на основной URL.
  • Убедитесь, что вы всегда используете одну и ту же структуру URL. Не добавляйте каноническую версию, использующую HTTP или WWW, если каноническая версия вашего веб-сайта — HTTPS или не WWW. Следите за тем, чтобы форматирование URL-адресов было одинаковым на вашем сайте и в ваших канонических тегах.
  • Используйте абсолютные URL-адреса, а не относительные URL-адреса. Абсолютный URL-адрес выглядит следующим образом: https://www.authoritylabs.com/pricing-updated/. Относительный URL-адрес не включает первую часть вашего домена: /pricing-updated/. При добавлении канонических тегов используйте абсолютные URL.
  • Канонизировать страницы на разных языках до основной страницы для этого языка. Если вы публикуете несколько версий своих страниц/контента на разных языках, не канонизируйте страницы, скажем, на немецком, на страницы на английском. Канонические немецкие страницы на главную страницу, написанную на немецком языке, даже если вы считаете английскую версию своей основной страницей.

Штрафа за дублирование контента нет, но есть проблемы с дублированием контента

В SEO распространен миф о том, что Google наказывает за дублирование контента, но это наказание применяется только к сайтам, которые злонамеренно дублируют контент (т.грамм. скопированный и переизданный контент, являющийся интеллектуальной собственностью другого сайта).

Если вы непреднамеренно продублировали контент на своем сайте, вы не будете наказаны, но это не значит, что это не вызовет проблем.

Как мы обсуждали ранее, неканонизированный дублированный контент может привести к тому, что Google покажет непредпочтительную версию вашего контента в поиске, и, что еще хуже, к уменьшению ссылочного веса за счет обратных ссылок, которые вы заработали, которые указывают на разные страницы с тем же контентом.

По этим причинам важно научиться находить канонические проблемы на вашем веб-сайте и принимать меры для их устранения. Затем просто убедитесь, что вы следуете рекомендациям по переадресации 301 и каноническим тегам, и вам не придется слишком беспокоиться о канонических проблемах в будущем.

Что, почему и как использовать канонические теги и URL-адреса

«Это канон!»

Возможно, вы слышали, что эта фраза используется для описания творческого произведения, которое остается верным оригинальному произведению или вымышленной вселенной.

Если вы знакомы с каноном, вы уже на пути к пониманию канонизации и того, как она влияет на веб-страницы.

Давайте рассмотрим, что такое канонизация, почему она важна для поисковой оптимизации и как добавить тег на свой сайт.

Что такое канонизация?

Канонизация объявляет исходную или предпочтительную веб-страницу, что помогает консолидировать дубликаты страниц для сканирования.

Без указания канонического URL поисковые роботы могут сканировать и индексировать несколько версий вашей веб-страницы.Google сообщает, что будет реже сканировать неканонические страницы, чтобы уменьшить нагрузку сканирования на ваш сайт.

Менее частое сканирование некачественных дубликатов страниц означает, что более важные страницы могут быть отданы в приоритет для сканирования.

Хорошо, но зачем нам намеренно дублировать контент? Ну… вы когда-нибудь публиковали свой контент на своем веб-сайте, а также на Medium? Или, возможно, после гостевой публикации вы также размещаете версию публикации в блоге на своем веб-сайте.

Для этого необходимо указать исходную версию в качестве канонического URL-адреса.Канонические URL-адреса могут ссылаться на разные домены — это означает, что канонический URL-адрес может находиться на другом веб-сайте.

Даже если вы не создаете дубликаты страниц для многоканального продвижения, дублирование происходит естественным образом из-за разных частей веб-адреса. Использует ли ваш сайт защищенный протокол, например HTTPS? Тогда у вас может быть HTTP- и HTTPS-версия вашей веб-страницы.

То же самое можно сказать и о www и без www. Использует ли ваш веб-сайт косую черту в конце или нет? Если ваш веб-сайт не всегда перенаправляет на предпочтительную версию вашей страницы (безопасную или нет, www или нет, косую черту в конце или нет), может произойти дублирование.

Даже если вы навязываете предпочтительную версию через перенаправление, параметры запроса, используемые для отслеживания посещений или фильтрации просмотров на странице, также могут выглядеть для поисковых роботов как отдельные URL-адреса. Объявление канонического URL указывает поисковым роботам игнорировать параметры запроса или другие версии URL.

Что такое канонический URL?

Элемент внешнего ресурса определяет отношения между текущей страницей и другими ресурсами. Атрибут «rel» используется в теге для указания типа отношения.Некоторые распространенные типы ссылок включают «предыдущую» и «следующую» для разбиения на страницы, «таблицу стилей» и, конечно же, «каноническую».

Тег использует атрибут href для установки URL-адреса, который служит каноническим для активной страницы. Хотя они предназначены для ссылок на внешние ресурсы, канонический URL-адрес может быть «самоотсылающим», то есть это точная версия текущей страницы. Использование канонических ссылок, ссылающихся на самих себя, помогает уменьшить ненужное сканирование нежелательных версий вашей страницы, если вы всегда используете абсолютный URL-адрес в качестве значения href.

В Google Search Console вы можете использовать инструмент проверки URL, чтобы понять, какой URL Google считает каноническим, даже если вы его не установили. Даже если вы объявили канонический URL-адрес, Google иногда все равно выбирает другой URL-адрес, указанный как «канонический, выбранный Google». По этой причине канонизация не является гарантией того, что Google выберет предпочтительную версию или что другие версии не будут проиндексированы.

Как добавить тег Canonical

Добавление канонического тега в документ HTML

Как уже упоминалось, вы можете использовать элемент для установки своего канонического URL-адреса.Элементы ссылки представляют собой самозакрывающиеся теги. Атрибуты «rel» и «href» обязательны. .

Чтобы добавить каноническую ссылку в документ HTML, добавьте элемент в элемент . Убедитесь, что для атрибута «rel» установлено значение «canonical». Не забудьте указать абсолютный URL предпочтительного веб-адреса в качестве значения атрибута href.

<голова>

Добавление тега Canonical в HubSpot

В HubSpot вы можете установить свой канонический URL-адрес на отдельной странице или в настройках публикации в разделе «Дополнительные параметры».Узнайте больше о параметрах настройки канонического URL.

Добавление канонического тега в WordPress

распространенных SEO-плагина WordPress, включая Yoast и RankMath, упрощают настройку канонических URL-адресов, особенно для нескольких страниц. Если вы немного более продвинуты и не хотите добавлять еще один плагин, вы также можете обновить канонический URL-адрес с помощью хуков WordPress.

1. Использование хука get_canonical_url.

Хук-фильтр WordPress позволяет изменять данные во время работы WordPress.Функция add_filter() принимает как минимум два параметра: тег и функцию обратного вызова. Тег будет хуком, в данном случае это get_canonical_url.

Параметром функции обратного вызова будет имя созданной вами функции, которая возвращает канонический URL-адрес. Функция обратного вызова может использовать условные операторы для сопоставления с конкретными сообщениями. Обратитесь к этому примеру ответа Stack Exchange.

В этом примере функция обратного вызова «wpse_302620_canonical_url» использует оператор if для возврата нового канонического значения, когда идентификатор сообщения, который передается в качестве аргумента функции, соответствует определенному сообщению.Имея это в виду, это решение выглядит как исправление для нескольких сообщений или типов сообщений, но может плохо масштабироваться. Чтобы применить к нескольким страницам, использование плагина, вероятно, будет лучшим вариантом.

2. Использование плагина Yoast.

Если вы используете Yoast, вы можете применять канонические URL-адреса к сообщениям, страницам и таксономиям. Выберите тип контента, который вы хотите отредактировать, в меню слева, затем «отредактируйте» отдельный фрагмент контента. В мета-поле Yoast SEO переключите раздел «Дополнительно». Добавьте предпочтительный веб-адрес в поле «Канонический URL» и сохраните.Узнайте больше о настройках канонического URL-адреса Yoast.

3. Использование плагина Rank Math.

При редактировании конкретной страницы или публикации выберите вкладку «Дополнительно» в Rank Math. Добавьте предпочтительный веб-адрес в поле «Канонический URL» и сохраните. Узнайте больше о настройке канонических URL-адресов в Rank Math.

Как проводить аудит Canonicals — Screaming Frog

Как проводить аудит Canonical с помощью SEO Spider

Элемент rel=»canonical» помогает указать одну предпочтительную версию страницы, когда она доступна по нескольким URL-адресам.Это подсказка для поисковых систем, чтобы помочь предотвратить дублирование контента, объединив свойства индексации и ссылки в один URL-адрес для использования в ранжировании.

В этом учебном пособии вы узнаете, как использовать Screaming Frog SEO Spider для быстрого и эффективного аудита канонической реализации на веб-сайте. SEO Spider будет сканировать канонические элементы ссылок, найденные в заголовках HTML и HTTP, и сообщать об их настройке и распространенных ошибках.

Чтобы начать работу, вам необходимо загрузить SEO Spider, который является бесплатным в облегченной форме для сканирования до 500 URL-адресов.Вы можете скачать с помощью кнопок в правой боковой панели. Далее просто выполните следующие действия.

1) Убедитесь, что Canonicals «Сохранить» и «Сканировать» включены в разделе «Конфигурация > Паук > Сканирование»

Эта опция включена по умолчанию, поэтому, если вы не изменили конфигурацию, она уже будет настроена. «Конфигурация» SEO Spider доступна в меню верхнего уровня.

Это будет означать, что URL-адреса, указанные в rel=»canonical», будут сканироваться, а также извлекаться и сообщаться.Затем нажмите «ОК».

2) Просканировать веб-сайт

Откройте SEO Spider, введите или скопируйте веб-сайт, который вы хотите сканировать, в поле «Введите URL-адрес для паука» и нажмите «Пуск».

Веб-сайт и любые URL-адреса в элементах rel=»canonical» будут просканированы.

Теперь выпейте кофе и подождите, пока индикатор выполнения не достигнет 100% и сканирование не будет завершено.

3) Просмотр вкладки Canonicals

На вкладке Canonicals отображаются все URL-адреса, найденные при сканировании, и соответствующие им элементы ссылок rel=»canonical» и HTTP Canonicals в отдельных соответствующих столбцах на панели главного окна.

На вкладке канонических ссылок есть 6 фильтров, которые помогут вам понять вашу каноническую реализацию и выявить распространенные канонические проблемы.

В столбце «Вхождения» подсчитывается количество элементов rel=»canonical», обнаруженных для каждого URL-адреса.

Правая панель обзорного окна предоставляет сводку данных, содержащихся на каждой вкладке и фильтре, чтобы вы знали, где щелкнуть, без необходимости проверять каждый фильтр, чтобы увидеть, есть ли данные. На изображении ниже мы видим, что есть 1 URL-адрес, который является «каноническим», и 1 URL-адрес, который имеет «неиндексируемый канонический».

Вы можете фильтровать по следующему –

  • Содержит Canonical — страница имеет канонический URL-адрес (через элемент ссылки, HTTP-заголовок или и то, и другое). Это может быть самоссылающийся канонический URL-адрес, где URL-адрес страницы совпадает с каноническим URL-адресом, или он может быть «каноническим», когда канонический URL-адрес отличается от URL-адреса страницы.
  • Самоссылающийся — URL-адрес имеет канонический URL-адрес, который совпадает с URL-адресом просканированной страницы (следовательно, это самоссылающийся).В идеале внутренние ссылки должны быть связаны только с каноническими версиями URL-адресов, и каждый URL-адрес должен иметь каноническую ссылку на себя, чтобы избежать любых потенциальных проблем с дублированием контента, которые могут возникнуть (даже естественным образом в Интернете, например, параметры отслеживания в URL-адресах, другие веб-сайты неправильно ссылка на URL-адрес, который разрешается и т. д.).
  • Канонизированный — страница имеет канонический URL-адрес, который отличается от нее самой. URL-адрес «канонизируется» в другом месте. Это означает, что поисковые системы получают указание не индексировать страницу, а свойства индексирования и связывания должны быть объединены с целевым каноническим URL-адресом.Эти URL следует внимательно изучить. В идеальном мире веб-сайту не нужно было бы канонизировать какие-либо URL-адреса, поскольку ссылки будут связаны только с каноническими версиями, но часто это требуется из-за различных обстоятельств, не зависящих от контроля, и для предотвращения дублирования контента.
  • Отсутствует — канонический URL-адрес отсутствует ни в виде элемента ссылки, ни в заголовке HTTP. Если на странице не указан канонический URL-адрес, Google определит, что, по их мнению, является лучшей версией или URL-адресом. Это может привести к непредсказуемости ранжирования, поэтому, как правило, все URL-адреса должны указывать каноническую версию.
  • Несколько — для URL-адреса установлено несколько канонических значений (либо несколько элементов ссылки, заголовок HTTP, либо оба вместе). Это может привести к непредсказуемости, поскольку для страницы должен быть только один канонический URL-адрес, заданный одной реализацией (элементом ссылки или HTTP-заголовком).
  • Неиндексируемый канонический — канонический URL-адрес является неиндексируемой страницей. Это будет включать канонические файлы, которые заблокированы robots.txt, нет ответа, перенаправление (3XX), ошибка клиента (4XX), ошибка сервера (5XX) или «без индекса».Канонические версии URL-адресов всегда должны быть индексируемыми, страницы ответов «200». Поэтому каноники, которые идут на неиндексируемые страницы, нужно исправлять на разрешающие индексируемые версии.

4) Просмотр неиндексируемых канонических URL-адресов «Статус индексируемости» на вкладке «Информация об URL» в нижней панели окна

На вкладке «Информация об URL» внизу отображается причина, по которой канонический не индексируется. В приведенном ниже примере этот канонический URL-адрес не индексируется, поскольку он перенаправлен.

Канонический URL-адрес: https://www.thelightingsuperstore.co.uk/clearance-lighting/clearance-stock-light-fittings», который перенаправляет. Следовательно, это считается «неиндексируемым».

5) Используйте экспорт «Отчеты > Canonicals > Non-Indexable Canonicals» для массового экспорта исходных URL-адресов, неиндексируемых канонических URL-адресов и их кодов состояния

Чтобы выполнить массовый экспорт сведений об исходных страницах, содержащих неиндексируемые канонические файлы, их соответствующую индексируемость, статус индексируемости, статус и код состояния, нажмите «Отчеты» в меню верхнего уровня и выберите «Канонические файлы > Неиндексируемые канонические файлы».

Этот экспорт часто намного легче переварить и исправить (или отправить разработчику для исправления). Он также включает сведения о любых канонических URL-адресах, которые «отсоединены» при сканировании с помощью обычных элементов привязки HTML.

6) Нажмите «Отчеты > Canonicals > Canonical Chains» для просмотра связанных Canonicals и циклов

Подобно редиректам, канонические ссылки также могут быть связаны цепочками и иметь циклы. URL-адрес страницы может быть канонизирован до другого URL-адреса, который канонизирован до другого URL-адреса и так далее.Или, часто, сочетание канонических и редиректов вместе.

После экспорта этого отчета отфильтруйте столбец «Тип цепочки» на «Канонический» или «Смешанный», чтобы просмотреть канонические цепочки. В приведенном выше примере мы видим «смешанную» петлю перенаправления из-за неиндексируемого канонического URL.

На изображении ниже показана экспортированная электронная таблица, в которой показаны два «перенаправления» (что на самом деле означает «переходы», поскольку оно может включать канонизированные URL-адреса), начальный «адрес» и «конечный адрес» в фиксированных столбцах.Окончательная индексируемость адреса является «неиндексируемой», поскольку она «канонизирована». Нажмите на изображение, чтобы развернуть.

При прокрутке таблицы вправо отображаются все обнаруженные переходы. Мы видим, что адрес имеет каноническую переадресацию с кодом состояния 301, которая возвращается к начальному URL-адресу (вызывая петлю). Опять же, вы можете нажать на изображение, чтобы развернуть его.

Подводя итоги электронной таблицы, экспорт канонических цепочек показывает https://www.thelightingsuperstore.co.uk/clearance-lighting имеет канонический URL-адрес, установленный как https://www.thelightingsuperstore.co.uk/clearance-lighting/clearance-stock-light-fittings.

Однако канонический URL-адрес https://www.thelightingsuperstore.co.uk/clearance-lighting/clearance-stock-light-fittings на самом деле 301 перенаправляет обратно на исходный https://www.thelightingsuperstore.co.uk/clearance- освещение родительской страницы.

Хотя это не является большой проблемой, это противоречивый сигнал для поисковых систем, и его следует исправить.Могут быть некоторые сценарии, когда канонические цепочки намного больше и сложнее, и этот отчет поможет определить и выделить ошибку, а также полный путь в цепочке.

Дополнительная поддержка

Приведенное выше руководство должно помочь проиллюстрировать простые шаги, необходимые для аудита rel=»canonical» на веб-сайте с помощью SEO Spider.

Пожалуйста, прочтите также наш Screaming Frog SEO Spider Часто задаваемые вопросы и полное руководство пользователя для получения дополнительной информации об инструменте.

Если у вас есть дополнительные вопросы, просто свяжитесь со службой поддержки.

Что такое Google, объявленный пользователем каноническим?

Что подразумевается под каноническим URL?

Если вы считаете, что ваш контент не будет дублироваться или канонизация не нужна, у вас могут возникнуть проблемы. Мы, как люди, рассматриваем страницу как идею, как и вашу целевую страницу. Однако каждый уникальный URL-адрес — это отдельная страница для сканеров поисковых систем. Например, сканеры поисковых систем могут отображать вашу целевую страницу следующими способами: 

.
  • http://www.example.com
  • https://www.example.com
  • http://example.com
  • http://example.com/index.php
  • http://example.com/index.php? r 

Для человека эти URL относятся к одной странице. Но для сканеров поисковых систем каждый из этих URL-адресов является уникальной страницей. Теперь вы можете видеть, что в игре есть пять дубликатов целевой страницы. На самом деле, это лишь небольшой пример проблем, с которыми вы можете столкнуться.

Чтобы смягчить эти проблемы, канонический URL-адрес играет жизненно важную роль в обеспечении того, чтобы ваш веб-сайт не подвергался наказанию со стороны Google или поисковых систем.Канонические URL-адреса гарантируют, что поисковые роботы не запутаются, когда несколько URL-адресов выделяют похожий контент или страницу. Это также помогает сообщить, какие URL-адреса имеют идентичный или одинаковый контент. Проще говоря, что такое объявленный пользователем канонический?

Канонический URL-адрес — это URL-адрес определенной страницы, которую Google считает наиболее релевантной из нескольких дублирующихся страниц на вашем веб-сайте. Если у вас есть URL похожей страницы, например (example.com? dress=1234 и example.com/dresses/1234), то Google считает каноническим один.

В двух словах, если у вас есть веб-страница, доступная по многочисленным URL-адресам, или несколько страниц с похожим содержимым, например, отдельные варианты для мобильных и настольных компьютеров; вы должны указать поисковой системе, какой URL-адрес является законным (каноническим) для этой страницы.

Что объявлено пользователем Google каноническим?

Предположим, вы видите что-то вроде «Канонический, выбранный Google: такой же, как канонический, объявленный пользователем». Это подразумевает, что Google считает таким же каноническим, как и пользователь.В этом случае пользователь — это вы (не пользователи вашего сайта, а пользователь поисковой консоли). Это означает, что Google согласен с вами.

Если значения «канонический, объявленный пользователем» и «канонический, выбранный Google» не совпадают, подразумевается, что этот URL-адрес является одной из множества похожих страниц. Это означает, что Google рассматривает возможность индексации другой версии той же страницы.

Если вы видите в консоли поиска, что проверяете URL-адрес, который не заканчивается на «/». Но если вы видите, что установленный вами канонический URL-адрес заканчивается на «/».Таким образом, вы проверяете неканоническую версию своей веб-страницы. Если дела не улучшаются, то ошибки нет. Это означает, что Google не предпочитает или не любит вашу веб-страницу настолько, чтобы хорошо ее ранжировать.

Какая польза от канонических URL-адресов?

Когда поисковые системы сканируют несколько URL-адресов с похожим содержанием, это может создать много проблем с поисковой оптимизацией. Если сканерам поисковых систем нужно просмотреть много дублированного контента, они могут пропустить часть вашего уникального контента. Во-вторых, слишком много дублирования может ослабить вашу способность ранжирования.Даже если ваш контент ранжируется, поисковые роботы могут выбрать неверный URL-адрес в качестве исходного. Таким образом, использование канонизации помогает вам контролировать копирование вашего контента.

Если вы синдицируете свой контент для совместного использования на разных доменах, канонические URL-адреса связывают рейтинг страницы с вашим предпочтительным URL-адресом. Канонические URL-адреса помогают поисковым системам объединять данные, которые у них есть для каждого URL-адреса, в единый и законный URL-адрес. Прежде всего, дублированный контент на веб-сайтах не должен бороться за трафик или рейтинг в поисковой системе.  

Канонический тег сообщает поисковым системам, что конкретный URL-адрес относится к мастер-копии определенной страницы. Использование тега canonical предотвращает проблемы, вызванные идентичным или повторяющимся контентом, отображаемым на разных URL-адресах. Канонический тег уведомляет поисковые системы, какую версию URL-адреса вы хотите отображать в результатах поиска.

Когда существует множество URL-адресов, становится сложнее получить сводные показатели для определенного контента. Канонические URL-адреса делают вещи простыми и организованными, особенно в отношении отчетов о производительности для вашего клиента.

Что такое неканонический URL?

Вы можете определить, какие страницы являются неканоническими, исходя из того, совпадает ли канонический URL-адрес с URL-адресом страницы. Если URL-адреса не совпадают, значит, страница неканоническая. Эти страницы не часто являются центром SEO-оценки.

Неканонические URL-адреса — это страницы, которые являются либо канонической копией другого URL-адреса, либо скопированным фрагментом контента. Это означает, что эти URL-адреса связаны со страницами вашего сайта.Это означает, что они доступны, что возможно, если о них не заботятся перенаправления.

Если URL-адрес каждой просканированной страницы и канонический URL-адрес не совпадают, это неканоническая страница. Чтобы страница считалась неканонической, она должна соответствовать следующим стандартам:

.
  • HTML/текст
  • Доступно
  • Доставить код состояния «200»
  • Подключено хотя бы один раз
  • Включить канонический тег

Вы можете использовать эту информацию для распознавания страниц, которые являются законными каноническими копиями других страниц.Вы можете исключить эти страницы из любого запроса, поскольку они не являются каноническими. Следовательно, страницы не нуждаются в оптимизации, как канонические страницы.

Как найти мой канонический URL?

Поиск канонического URL-адреса является проблемой для веб-сайтов, и разработаны стратегии настройки канонической версии веб-сайта. Самый популярный способ найти канонический URL — это переадресация сервера: 

.

Перенаправление 301 позволяет серверу указать код состояния, при котором URL-адрес перенаправляется навсегда.Перенаправление 302 уведомляет ваш сервер о том, что перенаправление является временным. По причинам выбора канонического URL-адреса переадресация 302 не должна использоваться. Google явно не передает права на ваш сайт из временной переадресации 302.

Вы можете найти свой канонический URL через консоль поиска инструментов Google для веб-мастеров. При настройке инструментов для веб-мастеров вам будет разрешено «Установить предпочитаемый домен». Он показывает устройствам Google, какую версию URL вы хотели бы использовать в качестве основного домена.

Чтобы указать предпочтительный домен в Инструментах для веб-мастеров: 

  1. Убедитесь, что на целевой странице Search Console вы найдете несколько версий своего сайта.
  2. Выберите желаемую производительность вашего сайта.
  3. Щелкните значок шестеренки, а затем щелкните Параметры сайта.
  4. В сегменте Preferred domain выберите сайт, который вы хотите понравиться.

Как исправить дубликат отправленного URL-адреса, не выбранный в качестве канонического?

Укажите для скопированных URL-адресов отсутствие индекса или установите канонический, чтобы Google понимал, что ранжировать, а не копировать контент.В итоге оба акта решат проблему.

Во-первых, вам нужно идентифицировать дублированное содержимое. Даже если Google сообщает вам в Search Console, какой URL он считает скопированным, они не раскрывают эти данные.

Чтобы найти дублированное содержимое, вы можете использовать поиск Google. Возьмите фразу со страницы, которая должна быть уникальной, и найдите ее в Google с цитатами вокруг нее. Он покажет, какую страницу Google индексирует.

Когда вы обнаружите повторяющийся контент, вы можете выбрать способ управления им.У вас будет несколько вариантов: 

Разрешить Google выбирать, какая страница считается скопированной. Google перечисляет одну копию страницы, когда обнаруживает дубликаты. Копирование страниц и разрешение Google управлять ими, следовательно, не повредит вашему сайту.

Если у вас есть контроль над страницами, вы можете использовать канонические теги или перенаправления, чтобы уведомить Google, какую из них вы хотите проиндексировать.

Если скопированный контент взят с другого веб-сайта и если этот контент принадлежит вам, вы можете закрыть этот веб-сайт или удалить его из Google с помощью DMCA.Вы также можете разделить страницы, чтобы они больше не копировались.

Помимо приведенного выше решения, вы можете выполнить следующие процедуры, чтобы углубиться:  

  1. Скопируйте старый URL-адрес и используйте инструмент SEO, который вы предпочитаете.
  2. Выберите «Внутренние обратные ссылки» -> «Все».
  3. Перейдите на каждую ссылающуюся страницу и найдите «Якорь» в соответствии с рекомендациями инструментов SEO.
  4. Оцените текст привязки и измените URL-адрес текста привязки на новый URL-адрес, который вы обновили.
  5. Перейдите в Google Search Console и запросите индекс каждой страницы, чтобы изменить URL-адрес анкорного текста.
  6. Если возможно, сделайте новую внутреннюю ссылку на уникальный URL-адрес и запросите индекс из Google Search Console.
  7. Сделайте обратную ссылку на новый URL, если это возможно.
  8. Перейдите в Google Search Console и запросите временное удаление URL-адреса для предыдущего URL-адреса.

Поисковая оптимизация (SEO) жизненно важна для каждого веб-сайта. Канонические URL-адреса могут помочь информировать поисковые системы о том, какие URL-адреса имеют идентичный или дублированный контент.Знание того, как использовать канонические URL-адреса, является одним из основных навыков, которые вам необходимо оптимизировать. Начните сегодня, убедившись, что темы, которые вы создали или используете, содержат канонические URL-адреса.

Канонизация — Улучшите свой SEO-рейтинг

Канонизация, иногда называемая стандартизацией или нормализацией, представляет собой процесс компьютерной науки, который преобразует данные, имеющие более одного возможного представления, в стандартизированную, нормализованную или каноническую форму. Если бы нам пришлось перефразировать это определение простыми словами, это метод объединения данных, имеющих одинаковое содержание, но разные метки, под одним общим именем.Когда дело доходит до поисковой оптимизации (SEO), канонизация — это процесс обеспечения того, чтобы унифицированные указатели ресурсов (URL), указывающие на местоположение вашего веб-сайта в Интернете, соответствовали одному универсальному адресу.

Увеличение числа вариантов URL

На заре Всемирной паутины стандартный URL-адрес любого веб-сайта начинался с префикса «www», добавленного к началу имени домена. Если вы хотите перейти на определенный сайт, вам нужно будет ввести www.cdnsun.com в адресной строке браузера. Однако с течением времени и развитием Интернета многие сайты решили отказаться от префикса «www». Таким образом, вместо того, чтобы вводить www.cdnsun.com, теперь вам нужно было ввести только cdnsun.com, чтобы перейти на тот же веб-сайт. Эта эволюция в использовании «голого» домена вместо префикса поддомена привела к появлению нескольких вариантов URL-адресов, которые ссылаются на одно и то же местоположение в Интернете.

Развивая приведенный выше пример, если вы введете www.cdnsun.com или cdnsun.com в адресную строку браузера, вы попадете на тот же веб-сайт.Другие веб-сайты могут использовать еще больше вариантов URL-адресов, таких как example.com/index.html и exmaple.com/home.html. Хотя использование этих различных URL-адресов с годами становится все более популярным, облегчая конечным пользователям поиск определенного сайта или онлайн-сервиса, это может повредить поисковой оптимизации сайта.

Плохая канонизация негативно влияет на SEO

Поисковые системы используют сканеры для индексации содержимого своих результатов поиска. Проблема с несколькими вариантами URL-адресов для одного и того же веб-сайта заключается в том, что поисковые роботы видят каждый URL-адрес как отдельный сайт или службу.Сканер-бот будет эффективно индексировать веб-сайт для каждого варианта URL-адреса, в результате чего голоса будут разделены на количество уникальных URL-адресов. Продолжая экстраполировать этот пример, поскольку поисковые роботы будут сканировать веб-сайт для каждого URL-адреса независимо, каждый ресурс, будь то страница, изображение, видео или сам контент, индексируется несколько раз и ссылается поисковой системой, используя каждый уникальный URL-адрес. Поскольку все эти просканированные ссылки относятся к одному и тому же сайту и контенту, результатом является снижение оценки SEO. В мире онлайн-маркетинга оригинальный контент является королем.Создание эффективной стратегии SEO начинается с создания контента или онлайн-сервисов, которые нужны людям. Внедрение эффективной схемы канонических URL — это только часть эффективного плана SEO. Вам по-прежнему необходимо создать дифференцирующую тягу, чтобы привлечь посетителей на ваш сайт. Тем не менее, хороший контент и эффективная канонизация — гораздо лучший вариант, чем хороший контент с несколькими вариантами URL для одного и того же веб-сайта или службы.

Настройка канонического URL-адреса

Существует несколько методов, которые можно использовать для настройки канонического URL-адреса для вашего веб-сайта.Однако, прежде чем реализовать один из задокументированных подходов, вы должны определить свой предпочтительный URL-адрес и убедиться, что он единственный, связанный с вашей стратегией SEO. После того, как вы выбрали свой канонический URL-адрес с помощью Google Search Console, вы можете либо добавить HTML-тег ссылки в свой код, настроить перенаправление HTTP 301 или использовать канонический HTTP-заголовок.

Использование Google Search Console для канонизации

Поскольку Google постоянно контролирует более 85% рынка поисковых систем, целесообразно использовать его набор инструментов, когда вам нужно определить и установить свой канонический URL-адрес.Инструмент проверки URL-адресов Google предоставляет вам возможность видеть текущий статус индекса, проверять экземпляр в реальном времени и запрашивать индексацию для определенного URL-адреса. Использование этого инструмента поможет вам определить канонический URL-адрес вашего сайта, как его видит крупнейшая поисковая система в Интернете. Единственным недостатком является то, что он покажет вам только то, что видит Google. Однако из-за его лидирующего положения на рынке поисковых систем этот кажущийся недостаток можно смело игнорировать.

Добавление HTML-тега ссылки в ваш код

Если у вас есть идентичные страницы, созданные несколькими вариантами URL-адресов, вы можете добавить тег ссылки rel=»canonical» в раздел вашей объектной модели HTML-документа (DOM).Например, если у вас есть два явных URL-адреса, таких как example.com и www.example.com, и вы решили, что example.com является вашим каноническим URL-адресом, в разделе вашей страницы www.example.com вы должны вставить следующий тег ссылки:

Использование заголовка HTTP

Если у вас есть доступ к веб-серверу, на котором размещен ваш сайт, вы можете настроить его для использования HTTP-заголовка rel=»canonical». Эта конфигурация задает канонический URL-адрес для объектов, отличных от HTML, таких как файлы PDF или другие загружаемые артефакты.Заголовки HTTP — чрезвычайно полезные инструменты настройки, которые вы можете использовать для всего: от настроек управления кешем до защиты исходного сервера. Преимущество использования этого подхода заключается в том, что он не увеличивает размер вашей страницы и, подобно тегу ссылки HTML, также может отображать бесконечное количество страниц. У него также есть общие недостатки: его сложно поддерживать на больших сайтах или в службах, где URL-адреса регулярно меняются.

Использовать карту сайта

Использование карты сайта дает вам возможность предоставить поисковому роботу информацию о страницах, изображениях, видео и других файлах на вашем веб-сайте.Это также указывает на отношения между различными объектами. Когда поисковый робот, такой как Googlebot, обнаруживает карту сайта, он использует информацию в документе для интеллектуального сканирования сайта. Преимущество использования этого подхода заключается в том, что его легко поддерживать для больших веб-сайтов. Однако у него есть свои недостатки. Поисковый робот должен определять связанные повторяющиеся URL-адреса, которые вы объявляете в карте сайта, и он не так эффективен, как явно указанный метод rel=canonical.

HTTP 301 перенаправление

Перенаправление HTTP 301 сообщает боту или браузеру, что конкретный URL-адрес был перемещен навсегда.Если у вас есть доступ к серверу, на котором размещен ваш сайт, вы можете настроить перенаправление, используя встроенные возможности конкретного веб-сервера, будь то Apache, IIS или NGINX. Использование этого метода помогает поисковому роботу идентифицировать и индексировать правильную каноническую страницу. Если вы управляете сайтом, на котором у вас есть дубликаты страниц, вы также можете использовать этот метод для реализации канонизации. Однако вы должны иметь в виду, что этот метод является постоянным перенаправлением и его использование ограничено идентичными страницами на одном сайте или если сама страница устарела.

Канонизация и SEO

Поскольку мир продолжает осваивать электронную коммерцию и другие цифровые услуги, роль поисковых систем в интернет-маркетинге становится как никогда важной. Как правило, первое, что делает человек или компания при поиске определенного продукта или услуги, — это выполняет поиск в Интернете. Если ваш сайт или бизнес конкурирует с современной цифровой экономикой, люди должны легко и эффективно находить ваш сайт или услугу. Поисковая оптимизация — это наука, которая предоставляет инструменты и методы, необходимые для того, чтобы ваш сайт занимал как можно более высокие позиции в любом поисковом индексе.Хотя канонизация не является серебряной пулей SEO, она остается незаменимым компонентом, который необходимо использовать в любой стратегии поисковой оптимизации.

.

Leave a Reply