Как проверить индексацию страницы в яндексе: Как быстро проверить индексацию страниц в Яндексе и Google

Содержание

Как проверить, открыт ли сайт для поисковых роботов Яндекса и Google?

За то время, что я занимаюсь разработкой и продвижением сайтов, через мои руки прошли десятки, если не сотни сайтов. Это и сайты, разработанные в нашей студии, и сайты наших коллег и сайты, сделанные частными мастерами или самими клиентами на бесплатных платформах.

Владельцы этих сайтов иногда задают вопрос: «Cайт сдали, а по нужным запросам сайта нет на первых 3 (4, 5) страницах поиска, в чем причина?»

Причин как минимум три: либо конкуренция высока по этим запросам на поиске Яндекса или Гугла, либо сайт пока еще не проиндексировался поисковыми роботами, либо сайт закрыт для индексации поисковыми роботам.

Если сайт размещен на хостинге не более 10 дней, то отсутствие в поисковой выдаче это нормально! Для индексации сайта требуется некоторое время: одна или две недели.

Продвижение сайта — это тема другой статьи, а сегодня расскажу о том, как проверить, открыт ли ваш сайт для индексации поисковыми системами.

А также:

Почему некоторые разработчики или SEO-оптимизаторы закрывают сайты от индексации?
Как открыть для индексации ваш сайт?


Давайте сначала разберемся, что такое индексация сайта.

Индексация – это добавление информации о сайте в базы данных поисковиков. Поисковые роботы «пробегают по сайту», сканируют информацию, размещенную на сайте, контент (наполнение, содержимое сайта, страницы сайта, статьи) сайта заносится в поисковые базы и поисковики начинают распределять сайт или на нашем «птичьем» языке «ранжировать» сайт относительно других сайтов.

  • Какой сайт полезнее для пользователей?
  • Где нужная пользователю информация выложена интереснее и понятнее?
  • Какой сайт быстрее загружается и адаптируется под мобильные устройства?

Это лишь часть критериев, по которым поисковыми системами принимается решение о месте сайта в выдаче. Поэтому важно, чтобы вновь созданный сайт был открыт для индексации и поисковые роботы могли на него попасть целиком или только на нужные разделы-подразделы.

Но иногда так случается, что разработчики сайта забывают открыть сайт для индексации (каюсь, и за нами случался такой «грех» пару раз).


Почему это происходит?

Работы по сайту идут продолжительный промежуток времени: чтобы «сырой» сайт или недозаполненный сайт не принимал участия в выдаче, сайт закрывают для индексации.

Если работы шли год или около того, или же наоборот, сайт запускался в авральном порядке, может сработать человеческий фактор и программист, который выкладывает сайт на хостинг, забывает поставить условную галочку «открыть сайт для индексации».

Другой случай, когда общение с клиентом идет тяжело, клиент отказывается прислушиваться к мнению разработчика сайта, а разработчик — эмоциональный фрилансер — на этапе размещения сайта на хостинге может «отомстить» заказчику и сознательно не убрать (ну или не поставить) эту самую условную галочку.

Почему сразу фрилансер? Фирма дорожит имиджем, наработанным портфолио и старается выпустить сайт вне зависимости от отношения к клиенту. Это профессиональная этика.

Третий случай — продвиженцы или сео-оптимизаторы заключают с владельцем сайта договор на продвижение товара или категории товаров. Запустив работы по продвижению сайта, они могут закрыть все остальные страницы сайта, кроме нужных, для того, чтобы достигнуть результата как можно быстрее.

Сайт становится «легче» для поисковых машин, страниц, открытых к выдаче, меньше, роботы быстрее реагируют на вносимые сеоспециалистами изменения.


Как проверить, открыт ли ваш сайт для индексации:

1. Проверяем настройку файла robots.txt – лежит в корне сайта, у него всегда одна ссылка: адрес домена сайта, не важно, на латинице или кириллице: http://domen.ru/robots.txt

Например посмотрите наш robots.txt: https://www.novelsite.ru/robots.txt

Наберите в строке браузера нужную комбинацию и посмотрите, что получится: если «перебрасывает» на страницу 404 или страница вовсе не открывается, значит, этого файла нет.

Это не значит, что сайт закрыт для индексации, файл просто не настроен, но страницы должны присутствовать в поиске, вне зависимости от вида сайта: одностраничный лендинг-пейдж, сайт-визитка или интернет-магазин.

Помните!
Для каждого сайта настройка robots.txt индивидуальна.
Если с момента размещения сайта на сервер (хостинг) прошло мало времени, то, что сайта нет в поиске — это нормально. Для индексации нужно некоторое время, об этом было уже написано выше, повторяюсь.

Теперь смотрим, что написано внутри robots.txt.

Команды, которые нужно использовать в файле robots.txt, рекомендуем изучить в справке Яндекс.Вебмастер

Но главное, на что нужно обратить внимание – это команда «Disallow: /». Именно со знаком слеш «/», потому что это признак того, что ваш сайт закрыт для индексации от всех поисковых систем.

Если разработчик сайта сдал проект, нужно связаться с ним и попросить устранить эту досадную оплошность или ошибку. Вне зависимости от подписания акта выполненных работ.

Важно!
Если в файле robots.txt есть команды «Disallow: /basket» или, «Disallow: /403.html», это не ошибка. Обычно так закрывают для индексации разделы с технической информацией: корзина сайта, файлы админки, файлы js, css. Эти разделы индексации не требуют.

2. Вносим правки и открываем сайт для индексации.

Единственное, что нужно сделать, это убрать строчку, где прописана команда «Disallow: /» и сохранить файл. Как это сделать?

  • Попросить разработчиков сайта
  • Самостоятельно внести правки через админку сайта, если в вашей системе управления сайтом есть возможность попасть в корень сайта и отредактировать этот файл;
  • Через доступ к файлам на сервере по протоколам FTP, SSH (SFTP) доступы к которым есть в панели управления хостингом сайта.
    Правда, чтобы добраться до файлов сайта, придётся скачать сторонний софт, например FarManager, WinSCP , Filezilla и др.
  • Попросить компанию «Новый сайт»
  • После правок должно пройти немного времени, чтобы поисковые роботы начали индексацию сайта. Не ждите моментального чуда.

Есть вопросы по продвижению сайта? Обращайтесь!

Нурисламова Мария
Руководитель проектов по разработке сайтов и SEO
Сертифицированный специалист Яндекс.Директ, Яндекс.Метрика, Яндекс.Маркет, Google Реклама, Google Analytics, Callibri — сервис прокачки маркетинга
([email protected])

как сделать в Яндексе и Гугле

Автор Prodvigaem Team На чтение 5 мин. Просмотров 250 Опубликовано

Регулярная проверка индексирования сайта необходима при продвижении в поисковых системах. Вы должны проверять на наличие в индексе не только целевые URL, но и возможное попадание в поисковую выдачу «мусорных» или служебных страниц.

Способы проверки

Поисковый запрос в Google

Самый быстрый вариант проверить индексацию сайта в индексе яндекса и гугла – это сформировать в поисковой строке запрос вида «site:yoursite.ru». Естественно, после команды site: нужно указывать свой адрес ресурса. Выполнив поиск, Google покажет все страницы, находящиеся в индексе.

Помимо поиска всех страниц, можете точно так же найти все ресурсы раздела. Если же требуется проверка индекса конкретной страницы, то в этом поможет оператор поискового запроса «info:».

Google Search Console

Незаменимый инструмент SEO-оптимизации. Если Вы еще не зарегистрировали свой сайт в панели вебмастера Google, сделайте это как можно скорее.

Чтобы посмотреть статус индексирования зайдите в раздел Индекс Google > Статус индексирования. В этом разделе Вы увидите количество проиндексированных страниц проверяемой площадки. Сравните количество проиндексированных URL с количеством в файле sitemap.xml.

Если проиндексировано страниц меньше, чем содержит XML карта сайта, возможно, наблюдается одна из проблем, о которых мы поговорим немного позже. Если же страниц в индексе находится больше, чем в файле sitemap, значит, в индекс попали лишние страницы, которые нужно срочно закрыть от индексации.

Лишние URL:

  • Страницы дубликаты контента (создаются автоматически некоторыми CMS системами).
  • Служебные ресурсы (файлы CMS системы, админ-панель).
  • Файлы. Например, PDF фалы, могут попасть в индекс.

SEO-плагины для браузеров

SEO-плагины – это специальные надстройки для браузеров, которые позволяют узнать основную информацию об открытом сайте, попавшую в выдачу поисковиков Яндекс и Гугл: количество проиндексированных ресурсов и картинок, рейтинг, ошибки в meta-тегах и много другой ценной информации. Один из самых популярных плагинов – RDS bar для Google Chrome или Mozilla.

Netpeak Spider и Netpeak checker

Два профессиональных инструмента для вебмастеров, которые занимаются вопросами SEO. 

Эти программы платные. Netpeak Spider стоит 117.6$ в год, а Checker 159.6$ в год. Есть подписки на месяц, три или полгода. Несмотря на внушительную стоимость, относительно других инструментов: эти две программы позволяют проводить SEO-анализ по самым глубоким показателям и находить SEO-ошибки.

Netpeak Spider

Как можно понять из названия – это программа паук, которая, пройдя по всему сайту, найдет все страницы, скачает контент так, как его видят поисковые роботы, и выдаст отчет по 112 показателям. Сейчас же нас интересует проверка соответствия инструкции для индексации.

Проверяем инструкции для поисковых агентов (пауков).

В программе Netpeak Spider зайдите в меню «Настройки сканирования», и в разделе «индексация» отметьте все пункты. После проведения сканирования программа выдаст отчет по всему сайту.

Куда смотреть в отчете

Запомните теги, которые указывают на разрешение или запрет на индексацию конкретной страницы.

Разрешающие команды:

  • Allow – команда из robots.txt.
  • Index – из тега meta-robots. Разрешает показ в результатах поиска.
  • Follow – из тега meta-robots. Разрешает переходить по ссылкам со страницы.

Запрещающими тегами будут соответственно:

  • Disallow.
  • Noindex.
  • Nofollow.

Проверьте все страницы в отчете на предмет соответствия целям. Нет ли в отчете важных disallow страниц? Нет ли мусорных, наоборот, разрешенных к индексированию?

Canonical URL

Канонический URL – это указание в специальном теге страницы оригинала. Если на вашем ресурсе существуют страницы дубликаты, или частичные дубликаты, нужно указывать канонический URL в специальном теге.

Пример: <link rel=»canonical»href=»http://site.ru/blog/index/google»/>

В этом отчете указываются данные об исходных URL, если они были указаны.

Netpeak Checker

Эта программа покажет: проиндексирован сайт или нет, а также, сколько страниц проиндексировано.

Запустите сканирование и выберите пункт Google SERP: URL.

Значения TRUE / FALSE покажут наличие индексации и склейки с другим доменом или URL. А в следующей колонке Вы увидите количество проиндексированных страниц.

Screaming Frog SEO Spider

Еще один сервис-паук для SEO-анализа сайта. Сразу о приятном. Программа имеет бесплатную ограниченную версию, которая может анализировать сайты до 500 страниц. Если же нужно проанализировать ресурс большего размера, Вы можете купить программу за 149 фунтов в год.

Конечно, покупать программу за 150 фунтов для проверки индексации абсолютно не целесообразно. Однако помимо проверки индекса домена и заданных страниц, Screaming Frog проводит полный технический SEO-аудит сайта. Поэтому рекомендуем 

ознакомиться с программой хотя бы в бесплатной версии.

Xenu Link Sleuth

Старая и надежная программа для аудита архитектуры сайта и поиска нерабочих ссылок. Функционал программы сильно уступает ранее описанным, однако Xenu распространяется бесплатно. Xenu не предназначена для проверки индексации, однако позволит найти базовые ошибки в архитектуре сайта.

Почему может не индексироваться контент

  • Вы запретили доступ к индексации в файле robots.txt.
  • Отсутствует файл sitemap.xml.
  • Существует много дублей, вызванных неправильной работой CMS. Тоже касается битых ссылок и висячих узлов.
  • На сайте присутствует вирус.
  • Низкая скорость загрузки сайта.

Как ускорить индексацию

Прежде чем заняться вопросом ускорения, индексации необходимо устранить SEO-ошибки, т.к. они влияют на доверие поисковой системы к вашему ресурсу. После, можете применить некоторые лайфхаки для ускорения индексации.

Ускорение индексации:

  • Опубликуйте ссылку на ресурс и на каждую страницу в социальной сети Google+ и других социальных сетях.
  • Если Вы выкатываете большое количество страниц, можете обновить файл sitemap.xml в панели вебмастера.
  • Регулярно обновляйте контент на своем ресурсе. Поисковик выработает график посещения и страницы будут быстрее попадать в индекс.

После того как вы научитесь проверять индексацию своего сайта, вы сможете вовремя обнаруживать проблемы со страницами на нем.

Как проиндексировать сайт в Яндекс и Google. Как ускорить и проверить индексацию страниц

Здравствуйте!

Индексация сайта в поисковых системах — важная составляющая продвижения сайта в топ Яндекс и Google.

В статье расскажем, что такое индексация сайта, чем отличается индексация Яндекс и Google, как проиндексировать сайт в поисковых системах и как можно ускорить этот процесс. В завершении покажем, как проверить индексацию страниц.

Что такое индексация сайта в поисковых системах?

Индексация сайта или страниц сайта — это когда поисковые роботы обходят сайт и собирают данные о его содержании. Во время индексации сканируется вёрстка, текст, внешние и внутренние ссылки, графические и медиа элементы. После успешной проверки сайт попадает в индекс поисковой системы.

Простыми словами, поисковики вносят ваш сайт в свою базу данных и решают, показывать ли его в результатах выдачи. Далее поисковая система ранжирует ресурсы по собственным алгоритмам, учитывая полезность, тематику и другие параметры.

По большому счёту, процесс индексирования сайта в Яндекс и Google идентичен, но с одним отличием. В 2019 году Google изменил свой основной принцип индексирования сайта и перешёл на Mobile-first. С этого момента, поисковик в первую очередь сканирует мобильную версию страниц, а не десктопную. Поэтому, если вы хотите, чтобы ваш сайт лучше ранжировался в Google, проработайте отображение сайта на мобильных устройствах.

При этом, не стоит путать индексацию и ранжирование сайта:

  1. Ранжирование — это порядок отображения сайта в результатах поисковой выдачи, по определённым запросам.
  2. Индексация — это всего лишь фиксация данных о сайте в базе данных ПС.

Не путайте!

Как проиндексировать сайт в Яндекс и Google

По факту, можно ничего не делать и просто подождать, и поисковые системы, рано или поздно, самостоятельно проиндексируют сайт. Но лучше не надеяться на поисковики и взять инициативу в свои руки.

Но перед тем, как отправить сайт на индексацию, помните о поисковой оптимизации: правильном заполнении title и description, заголовков h2 и h3-H6, уникальном тексте, перелинковке, микроразметке.

Когда сайт готов, можно переходить к индексации.

Индексация сайта в Яндексе:

  1. Правильно прописать файл robots.txt.
  2. Сделать карту сайта.
  3. Добавить сайт в Яндекс.Вебмастер.
  4. Отправлять новые страницы на индексацию.

Индексация сайта в Google:

  1. Правильно прописать файл robots.txt.
  2. Сделать карту сайта.
  3. Добавить сайт в Google Search Console.
  4. Отправлять новые страницы на индексацию.

После этого поисковикам потребуется время на то, чтобы собрать и отобразить данные о сайте. Отобразятся они там же, в Яндекс.Вебмастер и Search Console. Обычно на это уходит 2-3 дня, может и больше, но не более недели.

Если вы всё сделали правильно и сайт до сих пор не проиндексирован, то почитайте нашу статью: скоро здесь появится ссылка.

Как ускорить индексацию сайта

Выпустили новую статью и хотите, чтобы она как можно быстрее стала приводить вам поисковый трафик? В таком случае, можно ускорить индексацию новой страницы.

Вот несколько действенных способов:

  1. Откройте Яндекс.Вебмастер. Перейдите «Индексирование — Переобход страниц». Вставьте в текстовое поле URL-адрес и нажмите внизу «Отправить». Молодые сайты таким способом могут проиндексировать до 30 новых страниц за сутки, далее лимиты устанавливаются индивидуально.
  2. Для Google. Заходим в Search Console. В поле сверху вставляем URL-адрес и жмём Enter. Откроется страница с предварительными данными, здесь нажимаем «Запросить индексирование».
  3. Разместите ссылку на новую страницу в социальных сетях: ВКонтакте, Facebook, Twitter и прочих. Чем больше, тем лучше.
  4. Сделайте email-рассылку с анонсом новой страницы или статьи. Также рассылку можно сделать в соцсетях или мессенджерах.
  5. Добавьте внутренние ссылки, ведущих на нужную страницу. Лучше всего размещать такие ссылки на самых посещаемых страницах своего сайта.
  6. Чаще обновляйте сайт и публикуйте новый контент. Тогда поисковые роботы сами будут чаще сканировать ваш ресурс.

Все эти действия в комплексе или по отдельности позволят поисковикам раньше обнаружить и проиндексировать новую страницу или ресурс в целом.

Как проверить индексацию сайта

Чтобы проверить индексацию сайта в поисковых системах, можно сделать следующее.

Способ 1. Введите в поиске специальный запрос: оператор [site] и адрес сайта (без пробела).

Пример: site:postium.ru.

Актуально, как для Яндекса, так и для Google.

Способ 2: Как узнать сколько страниц проиндексировал Яндекс.

Заходим в Яндекс.Вебмастер и переходим «Индексирование — Структура сайта». Напротив своего сайта, в столбце «В поиске» вы увидите количество проиндексированных страниц.

Способ 3: Как узнать сколько страниц проиндексировал Google.

Заходим в Search Console и открываем раздел «Покрытие». Здесь также показывается количество проиндексированных страниц, и страницы с ошибками.

Способ 4. Расширения для браузера, такой как, например RDS-бар.

Способ 5. Различные SEO-сервисы для анализа сайтов: Serpstat, Netpeak Checker, Pr-cy и прочие.

Заключение

После успешной индексации сайта в поисковых системах, работа не заканчивается. Необходимо периодически делать анализ индексации сайт, а так же снимать позиции по популярным запросам. Это позволит держать руку на пульсе и не оказаться в ситуации, когда значительная часть трафика из поисковиков просто исчезла.

 

Как узнать дату индексации страницы. Параметр modtime в Яндекс.Xml. Неужели Яндекс помечает возраст страницы в заботе о сеошниках? Проверить дату индексации страницы яндексом

Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.

Индексация в Яндекс

Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает 🙂

Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.

Проверить индексацию сайта в Яндексе можно несколькими способами:

  • с помощью Яндекс Вебмастера;
  • с использованием операторов поисковой системы;
  • с помощью расширений и плагинов;
  • с помощью онлайн-сервисов.

Индексация страниц сайта в Яндекс Вебмастер

Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

  • новые — страницы, которые недавно появились на сайте либо робот их только что обошел;
  • изменившиеся — страницы, который поисковик Яндекса раньше видел, но они изменились;
  • история обхода — количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

В этом пункте отображены страницы, которые Яндекс нашел.

N/a — URL не известен роботу, т.е. робот её раньше не встречал.

Какие выводы из скрина можно сделать:

  1. Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
  2. Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо — Яндекс удалил, а что надо — Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется — добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

  • для отслеживания изменений количества страниц в Яндексе;
  • для слежения за добавленными и исключенными страницами;
  • для выяснения причин исключения сайта из поисковой выдачи;
  • для получения информации о дате посещения сайта поисковиком;
  • для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Проверка количества страниц в индексе Яндекса с помощью операторов

Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.

Будем использовать два оператора:

  • «site» — поиск по всем поддоменам и страницам указанного сайта;
  • «host» — поиск по страницам, размещенным на данном хосте.

Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.

Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.

Проверка индексации с помощью плагинов и расширений

Проверить индексацию сайта с помощью сервисов

Таких сервисов очень много. Я покажу вам два.

Serphunt

Serphunt — онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.

Одновременно можно проверить до 100 страниц сайта по двум поисковикам — Яндекс и Google.

Чтобы проверить индексацию страницы внесите её в список:

Нажимаем «Начать проверку» и через несколько секунд получаем результат:

Для ряда задач SEO-аналитики требуется определить, с какого времени поисковая система «знает» о существовании на сайте конкретной страницы. Один из распространенных путей узнать возраст документа в Яндексе — это поиск url с помощью Яндекс.Xml для получения параметра modtime. В связи с поломкой параметра «&how=tm» способ получил еще большую популярность.

Получается удобно и быстро, благо есть визуальный интерфейс на https://xml.yandex.ru/test/ . Но я с большим сомнением отношусь к этому методу.

Что не так с modtime?

Во-первых, в документации сервиса указано лишь это:

Таким образом, идея о том, что тег отображает дату первой индексации, целиком принадлежит SEO-шникам.

Во-вторых, пользователи Яндекс.Xml — это, как бы помягче выразиться, далеко не самые важные клиенты для поисковой системы. Доступ дается бесплатно, никакой рекламы там не откручивается. С чего бы «ООО Яндекс» особо заботиться о точности, актуальности и достоверности xml-параметров? Хотя в это еще можно поверить — ну просто хорошие программисты все делают хорошо. А вот зачем предоставлять недокументированные возможности — совсем непонятно.

Впрочем, все это лирика и мои домыслы. Перейдем к фактам.

Что такое «возраст документа с точки зрения Яндекса» ?

Как мне подсказывают логика и Google, это время, прошедшее с первой индексации. Чаще всего нам интересно именно это — с какой даты страница начала привлекать трафик, копить возраст и так далее.

В действительности бывает по разному. За примером далеко ходить не надо.

Проверим modtime для нескольких страниц моего старого хобби-проекта smmup.ru .

Адрес Дата из modtime
/ 20140916T170528 2014-09-16
/activity.php 20150422T103533 2015-04-22
/target.php 20150208T173922 2015-02-08
/kogda.php 20141112T210047 2014-11-12

Я уже писал об истории ресурса в статье Длительное время он толком не индексировался Яндексом. У меня сохранилась переписка с Платоном, датированная 20 апреля 2015 года. На этот момент в поиске присутствовала 1 единственная страница — главная.

То есть modtime как минимум для двух url оказался вовсе не датой появления в индексе. Для /kogda.php разница между значением из этого параметра и временем окончательной индексации — почти полгода ! Документ не в индексе — а modtime уже со стажем (солдат спит — служба идет).

Что это означает? Немного утрируя: мы проанализировали конкурентов по запросу, увидели там кучу старых страниц, испугались и не стали по нему продвигаться. А половина конкурентов на самом деле долго была под жесткими фильтрами и побороть их не так уж сложно.

Ситуация теоретическая, описал просто как понятный пример, почему полагаться на modtime нужно с большой оглядкой.

Но это еще цветочки.

Modtime может содержать дату ПОЗЖЕ реальной индексации

В случае с smmup.ru мы по крайней мере можем интерпретировать modtime как время первого визита робота. Даты неплохо коррелируют с реальным появлением страниц на сайте.

Вот вам другой пример. Здесь я просто не решаюсь выдвинуть гипотезу, откуда что берется.

  • У моего блога нет проблем с индексацией (тем более что ту статью репостнули в несколько популярных групп).
  • Никаких редиректов, смены адресов и тому подобного не было.

Чтобы развеять последние сомнения:

То есть: modtime значительно занизил возраст страницы.

Этот пример был найден ровно за 2 минуты (просто смотрел параметр для страниц блога, без дополнительных ухищрений), что говорит о высокой распространенности подобных результатов. Кроме того, видел немало аналогичных случаев на сайтах, которые аудировал (не показываю по понятным причинам), порой погрешность составляла годы.

Итоги

  1. Modtime далеко не всегда отображает корректную дату индексации (собственно, этого никто из Яндекса и не обещал).
  2. Опираться только на этот параметр в определении возраста страниц нельзя . Результаты недостоверны.
  3. Поэтому его использование для анализа сайтов конкурентов под большим вопросом. Применять в работе с собственными проектами можно — благодаря наличию других данных для контроля. Однако спектр задач, которые можно решать таким образом, довольно узок.

Буду рад дополнительным интерпретациям и интересным примерам!

p.s. На FB было длинное и не особо продуктивное обсуждение этой темы. Возможно, мне недостаточно хорошо удалось сформулировать посыл статьи. Суть не в том, что с modtime какие-то глюки. Понятно, что Яндекс может по тем или иным причинам обнулять «возраст» страницы. Главное — в том, что эти примеры иллюстрируют: а) нельзя полагаться на modtime как на дату первой индексации б) нет уверенности в том, что «сброшенный» согласно modtime возраст означает полную очистку страницы от накопленных факторов, которые прямо или косвенно связаны с возрастом.

Два метода получения даты первой индексации страницы перестали работать:

  • оператор date работает некорректно;
  • добавление к строке запроса параметра &how=tm перестало отображать даты индексации.

Но эту информацию все еще можно получить через Яндекс XML. Для этого необходимо перейти по ссылке https://xml.yandex.ru/test/ и в поле «&query» ввести запрос вида url:%page%, где %page% — адрес страницы. Далее нажимаем на «Найти» и в полученном результате ищем тег, который и укажет дату первой индексации страницы.


Дата обхода поисковым роботом и статуса в поисковой базе

Чтобы узнать дату последнего обхода страницы и информацию о том, какая версия находится при построении поисковой выдачи, необходимо в сервисе Яндекс.Вебмастер в разделе «Индексирование» выбрать «Проверить статус URL». Далее указываем необходимый адрес и получаем данные. Этот способ работает лишь для подтвержденного сайта.


Дата формирования сохраненной копии

Чтобы узнать дату формирования сохраненной копии, необходимо в поисковой выдаче кликнуть на выпадающее меню (рядом с название адреса страницы).






Просмотр сохраненных копий в поисковых системах Bing и Mail позволит показать старые версии страниц, поскольку они переиндексируют их медленнее, чем поисковые роботы Яндекс и Google.

Вывод

  1. Как показано на примере выше, не всегда сохраненная копия страницы используется для построения базы индекса. Но, зачастую, это действительно так.
  2. Кроме того, если вы внесли какие-либо правки на странице и ждете, когда эти изменения переиндексируются, то не стоит делать вывод о том, что правки учтены, по дате последнего обхода поисковым роботом.

Два метода получения даты первой индексации страницы перестали работать:

  • оператор date работает некорректно;
  • добавление к строке запроса параметра &how=tm перестало отображать даты индексации.

Но эту информацию все еще можно получить через Яндекс XML. Для этого необходимо перейти по ссылке https://xml.yandex.ru/test/ и в поле «&query» ввести запрос вида url:%page%, где %page% — адрес страницы. Далее нажимаем на «Найти» и в полученном результате ищем тег, который и укажет дату первой индексации страницы.


Дата обхода поисковым роботом и статуса в поисковой базе

Чтобы узнать дату последнего обхода страницы и информацию о том, какая версия находится при построении поисковой выдачи, необходимо в сервисе Яндекс.Вебмастер в разделе «Индексирование» выбрать «Проверить статус URL». Далее указываем необходимый адрес и получаем данные. Этот способ работает лишь для подтвержденного сайта.


Дата формирования сохраненной копии

Чтобы узнать дату формирования сохраненной копии, необходимо в поисковой выдаче кликнуть на выпадающее меню (рядом с название адреса страницы).






Просмотр сохраненных копий в поисковых системах Bing и Mail позволит показать старые версии страниц, поскольку они переиндексируют их медленнее, чем поисковые роботы Яндекс и Google.

Вывод

  1. Как показано на примере выше, не всегда сохраненная копия страницы используется для построения базы индекса. Но, зачастую, это действительно так.
  2. Кроме того, если вы внесли какие-либо правки на странице и ждете, когда эти изменения переиндексируются, то не стоит делать вывод о том, что правки учтены, по дате последнего обхода поисковым роботом.

Что такое индексирование страницы. Быстрый способ проверить индексацию страниц в Яндексе и Google. От чего зависит скорость индексации

Индексирование сайта — это важнейшая, необходимая и первоочередная деталь в осуществлении его оптимизации. Ведь именно вследствие наличия индекса поисковые системы предельно быстро и точно могут отвечать на все запросы пользователей.

Что такое индексация сайта?

Индексацией сайта называют процесс добавления информации о содержимом (контенте) сайта в базу данных поисковиков. Именно индекс и является базой данных поисковых систем. Для того чтобы сайт был проиндексирован и появился в поисковой выдаче, на него должен зайти специальный поисковый бот. Весь ресурс, страница за страницей, исследуется ботом по определенному алгоритму. В результате находя и индексируя ссылки, изображения, статьи и т. д. При этом в поисковой выдаче выше в перечне будут находиться те сайты, авторитет которых выше по сравнению с остальными.

Выделяют 2 варианта индексации сайта ПС:

  • Самостоятельное определение поисковым роботом свежих страниц либо созданного ресурса — данный способ хорош при наличии активных ссылок с других, уже проиндексированных сайтов, на ваш. В ином случае ждать поискового робота можно бесконечно долго;
  • Пнесение URL на сайт в предназначенной для этого форме поисковика ручным способом — этот вариант позволяет новому сайту «встать в очередь» на индексацию, которая займет довольно продолжительное время. Способ простой, бесплатный и требует внесения адреса лишь главной страницы ресурса. Данную процедуру можно выполнить через панель вебмастера Яндекса и Гугла .

Как подготовить сайт к индексации?

Сразу стоит отметить, что крайне нежелательно выкладывать сайт на стадии разработки. Поисковые системы могут проиндексировать неоконченные страницы с некорректными сведениями, орфографическими ошибками и т. д. В итоге это негативно отразится на рейтинге сайта и выдаче информации с данного ресурса в поиске.

Теперь давайте перечислим моменты, о которых нельзя забывать на этапе подготовки ресурса к индексации:

  • на flash файлы распространяются ограничения индексации, поэтому сайт лучше создавать с помощью HTML;
  • такой тип данных, как Java Script также не индексируется поисковыми роботам, в связи с этим навигацию по сайту следует дублировать текстовыми ссылками, а всю важную информацию, которая должна быть проиндексирована, не пишем в Java Script;
  • нужно убрать все неработающие внутренние ссылки так, чтобы каждая ссылка вела на реальную страницу вашего ресурса;
  • структура сайта должна позволять с легкостью переходить от нижних страниц к главной и обратно;
  • лишние и второстепенные сведения и блоки лучше переместить к низу страницы, а также скрыть их от ботов специальными тегами.

Как часто происходит индексация?

Индексация сайта в зависимости от ряда причин может занимать от нескольких часов до нескольких недель, вплоть до целого месяца. Обновление индексации, или апы поисковых систем происходят с различной периодичностью. По статистике в среднем Яндекс индексирует новые страницы и сайты за период от 1 до 4 недель, а Google справляется за период до 7 дней.

Но при правильной предварительной подготовке созданного ресурса эти сроки можно сократить до минимума. Ведь по сути все алгоритмы индексации ПС и логика их работы сводится к тому, чтобы дать наиболее точный и актуальный ответ на запрос пользователя. Соответственно, чем регулярнее на вашем ресурсе будет появляться качественный контент, тем быстрее он будет проходить индексацию.

Методы ускорения индексации

Для начала следует «оповестить» поисковики о том, что вы создали новый ресурс, как уже говорилось в пункте выше. Также многие рекомендуют добавить новый сайт в системы социальных закладок, но я так не делаю. Это действительно позволяло ускорить индексацию несколько лет назад, так как поисковые роботы частенько «наведываются» на такие ресурсы, но, на мой взгляд, сейчас лучше поставить ссылку из популярный соц сетей. В скором времени заметят и ссылку на ваш ресурс, и проиндексируют его. Подобный эффект может быть достигнут и при помощи прямых ссылок на новый сайт с уже проиндексированных ресурсов.

После того как несколько страниц уже попали в индекс и сайт стал развиваться для ускорения индексации можно попробовать «прикормить» поискового бота. Для этого нужно переодически публиковать новый контент примерно через равные промежутки времени (например, каждый день по 1-2 статьи). Конечно же, контент должен быть уникальным, качественным, грамотным и неперенасыщенным ключевыми фразами . Также рекомендую создать XML карту сайта, о котором пойдет речь ниже и добавить его в панели веб-мастера обоих поисковых систем.

Файлы robots.txt и Sitemap

Текстовый файл robots txt включает в себя указания для ботов поисковиков. При этом он дает возможность запретить индексацию выбранных страниц сайта для заданной поисковой системы. Если будете его делать вручную, то важно, чтобы имя данного файла было прописано только прописными буквами и находилось в корневой директории сайта, большинство CMS генеририруют его самостоятельно или с помощью плагинов.

Sitemap или карта сайта представляет собой страничку, содержащую полную модель структуры сайта в помощь «заблудившимся пользователям». При этом можно перемещаться со страницы на страницу без использования навигации сайта. Желательно создать такую карту и в формате XML для поисковых систем и вписать его в файл robots.txt для улучшения индексации.

Об этих файлах можете получить более подробную информацию в соответствующих разделах, перейдя по ссылкам.

Как запретить сайт к индексации?

Управлять, в том числе и запрещать сайт или отдельную страницу к индексации, можно при помощи уже упомянутого выше файла robots.txt. Для этого создайте на своем ПК текстовый документ с таким названием, поместите его в корневой папке сайта и пропишите в файле от какого поисковика вы хотите скрыть сайт. Кроме того, скрыть контент сайта от ботов Google или Яндекса можно используя знак * . Вот эта инструкция в robots.txt запретит индексацию всем поисковым системам.

User-agent: * Disallow: /

Для сайтов на WordPress запретить индексацию сайта можно через панель управления. Для этого в настойках видимости сайта нужно поставить галочку «Рекомендовать поисковым машинам не индексировать сайт». При этом Яндекс, скорее всего, прислушается к вашему пожеланию, а вот с Google не обязательно, но могут возникнуть некоторые проблемы.

Привет, Друзья! Очень часто вы задаёте мне следующие вопросы: — «почему мой сайт долго индексируется», «как часто яндекс индексирует сайты», «могут ли мой контент украсть до индексации и обвинить меня в воровстве», как ускорить индексацию сайта яндексом» и так далее. Ответов на почту всем интересующимся я послал более 50 и решил упростить свой труд и ответить на вышеописанные вопросы в этой статье, так сказать убить двух зайцев с одного выстрела))) Итак, начинаем охоту!

Давайте сначала разберем два понятия, индексация и апдейт. Постараюсь кратко написать, что они из себя представляют и с чем их едят.

Индексация сайта — это обработка сайта , то есть программами, сканирующими сайт и заполняющими базы данных поисковиков результатами для поисковых запросов. Если индексация выполнена верно, то пользователь легко найдет нужные страницы сайта. В противном случае веб-ресурс не будет отображаться в поисковых системах, проще говоря, его не увидят пользователи и не приобретут товар, не воспользуются услугой и так далее.

Термин «апдейт » происходит от английского слова – update, что в переводе означает – обновление. Среди специалистов, занимающихся , он используется часто и дословно означает «обновление данных». Разновидностями такого обновления будет доработка интерфейсной части сайта или внесение изменений на конкретной странице. В среде специалистов используется также сокращенная форма слова – «ап».

Появление новых результатов поиска, после запроса по одной и той же ключевой фразе в поисковике, например, Google или Яндекс – вот что такое «апдейт» применительно к . У поисковых движков есть , в которых все страницы расположены по порядку. Апдейт приводит к изменению позиций уже существующих записей веб-ресурсов или добавлению новых в ответах на пользовательские запросы. Связанный с апдейтом процесс, приводит к обновлению кэша поисковой машины и индексации сайтов в ее базе данных.

Более подробно об этих двух понятиях можете прочитать на страницах моего сайта, вот ссылки на то — что такое и что такое .

Ну думаю с этим разобрались, теперь переходим к вашим вопросам.

Почему мой сайт долго индексируется

Здесь всё зависит, как раз от поискового робота. Именно он заходит на сайты по определённому графику, известному только в компании Яндекс и сканирует миллионы WEB проектов на наличие обновлений. К примеру, если контент (статьи, фотографии, видео, карточки товаров) на своем сайте вы добавляете или меняете раз в месяц, то робот рано или поздно это поймёт и будет заходить на ваш ресурс лишь раз в месяц. Отсюда и срок индексации сайта будет такой же.

Чем чаще вы добавляете контент, тем чаще робот будет к вам приходить на сайт. На новостных ресурсах, таких как Фонтанка.ру или RBK роботы просто «живут» и не выходят от туда. Новости на таких сайтах обновляются и добавляются в день десятками, а то и сотнями и поисковые боты их скандируют и индексируют практически мгновенно.

Могут ли украсть контент до индексации сайта

Да могут! И именно так это и делается. Пока сайт молодой и только начинает свой жизненный путь, он индексируется раз в месяц, а то и два. Весь контент, который публикуется на таком сайте, может быть украден, как в ручную, так и автоматически (что бывает чаще) , работающими в самонаполняющихся сайтах. Большинство моих учеников очень удивляется, когда я анализирую их сайт и выявляю не уникальный контент.

Последний мой ученик, опубликовал на своём молодом сайте сразу 15 статей и через месяц был очень удивлён, тому что Яндекс обвинил его в копипасте и наложил на сайт фильтр. Доказать Яндексу (Платону Щукину), что это не он вор, а наоборот у него статьи украли, не получилось. Сделать это теперь очень проблематично и к тому же, чтобы вытащить сайт из под фильтра, придётся все эти статьи удалять и писать новые. Результат от незнания и неправильных действий — потеря денег, потеря контента и попадание под фильтр.

Как обезопасить свой контент от воровства можете прочитать , либо посмотреть моё видео, если лень читать))) Подробно об этом писать здесь не буду.

Как защитить контент от воровства

Теперь поговорим о том, как ускорить процесс индексации.

Как ускорить процесс индексации

Для того чтобы индексация вашего сайта и вновь добавленного контента прошла быстрее, нужно «попросить» яндекс-бота посетить ваш сайт. Делаю я это просто и несколькими способами.

Первый способ ускорения индексации сайта

Я привлекаю на свой сайт робота, методом расшаривания постов опубликованных статей через социальные сети. Делаю я это с помощью блока кнопок социальных сетей. Как только пост опубликован его видят роботы, так как в социальных сетях они живут постоянно и не выходят от туда, как и с новостных лент.

Публикация статей в социальные сети передаёт на сайт соц-сигналы и помимо ускорения индексации пладотворно влияет на продвижение сайта в Google и Яндекс. Напомню, перед расшариванием текстов, обязательно дайте понять Яндексу, что они ваши (смотри видео выше).

Второй способ ускорения индексации сайта

Здесь мы информируем Яндекс-Бота о том, что на нашем сайте появился новый контент, через Яндекс Веб мастер, раздел которого в простонародии называется Адурилкой.

Заходим в Яндекс Вебмастер, регистрируемся, добавляем свой сайт и переходим на вкладку индексирование — переобход страниц. Затем копируем URL той страницы, которую хотите быстро проиндексировать и добавляете в графу, как на картинке ниже и нажимаете кнопку отправить.

После этого ждём обхода робота. Добавление новых URL адресов в адурилку существенно ускоряет процесс индексации, а когда вы работаете в связке с сервисом , то ещё и полностью исключаете воровство вашего контента. Все на самом деле очень просто, если всё это знать.

Также просто и продвигать сайты в Яндекс. Делать это можно самостоятельно и абсолютно бесплатно, но опять же нужны знания. Если хотите, могу научить и этому (информация ниже).

Обучение продвижению сайтов

На этом сегодня всё, всем удачи и до новых встреч!

Что такое индексирование сайта? Как оно происходит? На эти и другие вопросы вы можете найти ответы в статье. в поисковых системах) называют процесс приобщения информации о сайте к базе данных роботом поисковой машины, которая впоследствии используется для розыска сведений на веб-проектах, прошедших такую процедуру.

Данные о веб-ресурсах чаще всего состоят из ключевых слов, статей, ссылок, документов. Индексироваться также могут аудио, изображения и так далее. Известно, что алгоритм выявления ключевых слов зависим от поискового устройства.

На типы индексируемой информации (flash файлы, javascript) существует некоторая лимитация.

Управление приобщением

Индексирование сайта — сложный процесс. Чтобы им управлять (к примеру, запрещать приобщение той или иной страницы), нужно использовать файл robots.txt и такие предписания, как Allow, Disallow, Crawl-delay, User-agent и другие.

Также для ведения индексации применяют теги и реквизит , скрывающие содержимое ресурса от роботов Google и «Яндекса» (Yahoo применяет тег ).

В поисковой системе Goglle новые сайты индексируются от пары дней до одной недели, а в Яндексе — от одной недели до четырёх.

Вы желаете, чтобы ваш сайт показывался в запросах результатов поисковиков? Тогда он должен быть обработан «Рамблером», «Яндексом», Google, Yahoo и так далее. Вы должны сообщить поисковым машинам (паукам, системам) о существовании вашего веб-узла, и тогда они просканируют его полностью или частично.

Многие сайты не индексируются годами. Информацию, которая на них находится, не видит никто, кроме их владельцев.

Способы обработки

Индексирование сайта может выполняться несколькими способами:

  1. Первым вариантом является ручное добавление. Вам нужно ввести данные своего сайта через особые формы, предлагаемые поисковиками.
  2. Во втором случае робот поисковой машины сам находит ваш веб-узел по ссылкам и индексирует его. Он может разыскать ваш сайт по ссылкам с других ресурсов, которые ведут на ваш проект. Этот способ наиболее эффективен. Если поисковик нашёл сайт таким образом, он считает его значительным.

Сроки

Индексирование сайта происходит не слишком быстро. Сроки разные, от 1-2 недель. Ссылки с авторитетных ресурсов (с великолепным PR и Тиц) значительно ускоряют размещение сайта в базе поисковиков. Сегодня самым медленным считается Google, хотя до 2012 года он мог выполнять эту работу за неделю. К сожалению, всё очень быстро меняется. Известно, что Mail.ru работает с веб-узлами в этой области около полугода.

Индексирование сайта в поисковиках осуществить способен не каждый специалист. На сроки добавления в базу новых страниц уже обработанного поисковиками сайта влияет частота корректировки его контента. Если на ресурсе постоянно появляется свежая информация, система считает его часто обновляемым и полезным для людей. В этом случае её работа ускоряется.

За ходом индексации веб-узла можно следить на особых разделах для веб-мастеров или на поисковиках.

Изменения

Итак, мы уже разобрались, как происходит индексирование сайта. Необходимо отметить, что базы данных поисковиков часто обновляются. Поэтому количество добавленных в них страниц вашего проекта может меняться (как уменьшаться, так и увеличиваться) по следующим причинам:

  • санкции поисковика к веб-узлу;
  • наличие погрешностей на сайте;
  • изменение алгоритмов поисковиков;
  • отвратительный хостинг (недосягаемость сервера, на котором находится проект) и так далее.

Ответы «Яндекса» на обычные вопросы

«Яндекс» — поисковая система, которой пользуются многие пользователи. Она занимает пятое место среди розыскных систем мира по числу обработанных исследовательских запросов. Если вы в неё добавили сайт, он может слишком долго добавляться в базу.

Добавление URL не гарантирует его индексацию. Это лишь один из методов, с помощью которого сообщают роботу системы о том, что появился новый ресурс. Если на сайт отсутствуют ссылки с других веб-узлов или их немного, добавление поможет его быстрее обнаружить.

Если индексация не произошла, нужно проверить, не было ли на сервере сбоев в момент создания ему заявки от робота «Яндекса». Если сервер сообщает об ошибке, робот завершит свою работу и попытается её выполнить в порядке всестороннего обхода. Работники «Яндекса» не могут увеличить скорость добавления страниц в базу поисковика.

Индексирование сайта в «Яндексе» — довольно-таки сложное занятие. Вы не знаете как добавить ресурс в поисковую систему? Если на него имеются ссылки с других веб-узлов, то добавлять специально сайт не требуется — робот его автоматически разыщет и проиндексирует. Если у вас нет таких ссылок, можно использовать форму «Добавить URL», чтобы заявить поисковику о существовании веб-узла.

Необходимо помнить, что добавление URL не гарантирует индексацию вашего творения (или её скорость).

Многим интересно, сколько времени занимает индексирование сайта в «Яндексе». Сотрудники этой компании не дают гарантий и не прогнозируют сроки. Как правило, с тех пор, как робот узнал о сайте, страницы его в поиске появляются через два дня, иногда — через пару недель.

Процесс обработки

«Яндекс» — поисковая система, требующая точности и внимания. Индексация сайта состоит из трёх частей:

  1. Поисковый робот выполняет обход страниц ресурса.
  2. Содержимое (контент) сайта записывается в базу данных (индекс) розыскной системы.
  3. Через 2-4 недели, после обновления базы, можно увидеть результаты. Ваш сайт появится (или не появится) в поисковой выдаче.

Проверка индексации

Как проверить индексацию сайта? Выполнить это можно тремя способами:

  1. Введите наименование своего предприятия в строке поиска (к примеру, «Яндекса») и проверьте каждую ссылку на первой и второй странице. Если вы обнаружите там URL своего детища, значит, робот свою задачу выполнил.
  2. Можно ввести URL своего сайта в розыскной строке. Вы сможете увидеть, сколько интернет-листов показывается, то есть проиндексировано.
  3. Зарегистрируйтесь на страницах веб-мастеров в Mail.ru, «Гугле», «Яндексе». После того как вы пройдёте верификацию сайта, вы сможете увидеть и итоги индексации, и иные сервисы поисковиков, созданные для улучшения работы вашего ресурса.

Почему «Яндекс» отказывает?

Индексирование сайта в Google осуществляется следующим образом: робот в базу данных заносит все страницы сайта, некачественные и качественные, не выбирая. Но в ранжировании участвуют лишь полезные документы. А «Яндекс» весь веб-хлам исключает сразу же. Он может проиндексировать любую страницу, но поисковик со временем ликвидирует весь мусор.

У обеих систем имеется добавочный индекс. И у той, и у другой страницы низкого качества влияют на рейтинг веб-узла в целом. Здесь работает простая философия. Излюбленные ресурсы конкретного пользователя будут занимать более высокие позиции в его выдаче. Зато этот же индивидуум с трудом отыщет сайт, который ему в прошлый раз не понравился.

Именно поэтому сперва необходимо от индексации прикрыть копии веб-документов, проинспектировать наличие пустых страниц и не пускать в выдачу некачественный контент.

Ускорение работы «Яндекса»

Как можно ускорить индексирование сайта в «Яндексе»? Необходимо выполнить следующие шаги:

Промежуточные действия

Что необходимо выполнить, пока веб-страница «Яндексом» не проиндексирована? Отечественный поисковик должен считать сайт первоисточником. Именно поэтому ещё до публикации статьи обязательно необходимо добавить её содержание в форму «Специфичных текстов». В противном случае плагиаторы скопируют запись на свой ресурс и окажутся в базе данных первыми. В итоге признаны авторами будут они.

База данных Google

Запрещение

Что собой представляет запрет индексирования сайта? Вы можете наложить его как на всю страницу, так и на отдельную её часть (ссылку или кусок текста). Фактически существует как глобальный запрет индексации, так и локальный. Как это реализуется?

Рассмотрим запрет добавления в базу поисковика веб-узла в Robots.txt. С помощью файла robots.txt можно исключить индексацию одной страницы или целой рубрики ресурса так:

  1. User-agent: *
  2. Disallow: /kolobok.html
  3. Disallow: /foto/

Первый пункт говорит о том, что инструкции определены для всех ПС, второй указывает на запрет индексации файла kolobok.html, а третий — не разрешает добавление в базу всей начинки папки foto. Если нужно исключить несколько страниц или папок, укажите их все в «Роботсе».

Для того чтобы воспрепятствовать индексации отдельного интернет-листа, можно применить мета-тег robots. Он отличается от robots.txt тем, что даёт указания сразу всем ПС. Этот мета-тег подчиняется общим принципам формата html. Его нужно размещать в заголовке страницы между Запись для запрета, к примеру, может быть написана так: .

Ajax

А как проводит индексирование Ajax-сайтов Yandex? Сегодня технологией Ajax пользуются многие разработчики веб-узлов. Конечно, у неё есть большие возможности. С помощью неё можно создавать быстродействующие и производительные интерактивные веб-страницы.

Однако системы веб-лист «видит» не так, как пользователь и браузер. К примеру, человек смотрит на комфортный интерфейс с подвижно подгружаемыми интернет-листами. Для поискового робота содержимое той же страницы может быть порожним или представленным как остальной статический HTML-контент, для генерации которого скрипты не идут в дело.

Для создания Ajax-сайтов можно применять URL с #, но его робот-поисковик не использует. Обычно часть URL после # отделяется. Это нужно учитывать. Поэтому взамен URL вида http://site.ru/#example он делает заявку главной странице ресурса, размещённой по адресу http://site.ru. Это значит, что контент интернет-листа может не попасть в базу данных. В итоге он не окажется в результатах поиска.

Для усовершенствования индексации Ajax-сайтов «Яндекс» поддержал изменения в поисковом роботе и правилах обработки URL таких веб-узлов. Сегодня веб-мастера могут указать поисковику «Яндекса» на необходимость индексации, создав соответствующую схему в структуре ресурса. Для этого необходимо:

  1. Заменить в URL страниц символ # на #!. Теперь робот поймёт, что он сможет обратиться за HTML-версией наполнения этого интернет-листа.
  2. HTML-версия контента такой страницы должна быть размещена на URL, где #! заменён на?_escaped_fragment_=.

Пока поисковая система не проиндексирует страницу сайта , та не будет участвовать в её результатах выдачи. Узнать о сайте поисковик может двумя способами:

  1. от вебмастера. Для чего URL-адрес веб-документа нужно добавить в аддурилку Яндекса или Google (от английского add url).
  2. перейдя на страницы сайта по ссылке с других проиндексированных веб-документов.

На данном блоге я столкнулась с такой ситуацией, что без проблем Яндекс проиндексировал только Главную страницу, а вот внутренние не участвовали в поиске. У Google похожего невнимания не наблюдалось. Там практически молниеносно можно было заметить свою статью в выдаче.

Почему не индексируется сайт в Яндексе

  1. Google заносит в свою базу данных все страницы сайта: качественные и некачественные без разбора. Но участвуют в ранжировании только полезные веб-документы [не путать ]. Яндекс же сразу не включает веб-хлам. Можно заставить его проиндексировать любую страницу, но со временем поисковик удалит мусор. У обоих систем есть дополнительный индекс. У обоих систем низкокачественные страницы влияют на рейтинг сайта в целом. По последнему пункту есть как официальное заявление [см. блог Google ], так и простая логика. Любимые сайты конкретного человека будут на более высоких позициях в его выдаче. Зато этот же человек с трудом найдёт сайт, который не смог его заинтересовать в прошлый раз. Поэтому вначале нужно закрыть от индексации дубликаты веб-документов , проверить есть ли страницы с отсутствующем содержанием и не пускать в выдачу никудышный контент.
  2. «Проверить URL» в Вебмастере.Яндекса напомнит, что или что сервер выдаёт .
  3. Если был приобретён поддержанный домен, на который наложены санкции, то нужно написать в службу поддержки что-то типа Здравствуйте. 01.01.2000 года был приобретён домен сайт.ru. 20.01.2000 года сайт был добавлен в Вебмастер и аддурилку. По прошествии трёх недель он не был проиндексирован. Подскажите, пожалуйста, может ли домен быть причиной плохой индексации?

Как ускорить индексацию в Яндексе

  1. Подтвердить права на управление сайтом в Яндекс.Вебмастере .
  2. Опубликовать ссылку на статью в . С 2012 года у Яндекса с ним подписан договор .
  3. Установить на компьютер Яндекс.Браузер и «походить» по страницам сайта с его помощью.
  4. Добавить . Там в графе «Индексирование» можно указать свои URL-адреса вручную точно также как в аддурилке. [не актуально ]
  5. Установить код Яндекс.Метрики без указания галочки «Запрет отправки страниц на индексацию» .
  6. Создать файл Sitemap. Тогда по приходу на сайт робот в первую очередь будет проверять его. Этот файл существует только для него и не виден аудитории. Состоит он из списка URL-адресов страниц. Только что созданные или с обновлённым содержимым находятся сверху. Адрес Sitemap прописывается в robots.txt или в соответствующую форму в Вебмастере-«Настройка индексирования»-«Файлы Sitemap».

Дополнительные действия, когда Яндекс проиндексировал только 1 страницу

  1. Насколько часто обновляется страница, настолько часто поисковый робот будет её переиндексировать. В основном содержание периодически меняется на странице «карта сайта» и Главная. Чем чаще публиковать новые статьи, тем чаще будут обновляться вышеназванные страницы и по ссылкам внутри них индексироваться новый материал.
  2. Если на всех страницах сделать сквозной блок с последними написанными публикациями, то поисковый робот может перейти на новую запись с любой посещённой им страницы сайта. А это будет быстрее. Ссылки в сквозном блоке не должны быть реализованы скриптом, по ним не нужно .
  3. Сайты, имеющие , могут зарегистрироваться в каталоге Яндекс.блоги , а уже оттуда данные будут переданы основному роботу.
  4. Оставить ссылки на свои статьи на часто обновляемых ресурсах: «Живой Журнал» , «, » » и др.

Обновление базы данных — апдейт (ап) выдачи — происходит в среднем раз в неделю. Если все вышеуказанные действия не помогли, чего у меня ни разу не было, то следует написать в службу поддержки письмо , где рассказать что было сделано, немного о сайте, о том, что он регулярно наполняется, что людям он интересен, дать пару ссылок на самые лучшие статьи в качестве примера. Если ресурс имеет низкую посещаемость по причине узкотематичности, нужно проговорить это. Например, сказать, что проект не планирует большую посещаемость, так как создан для общества лепидоптерологов, которые изучают бабочек семейства чешуекрылых. Если сайт коммерческий, то сообщите, что за ним стоит реальная организация.

Как проверить индексацию страницы в Яндексе, Google, Bing, Mail.ru?

  Проверка индексации страницы в Яндексе, Google, Bing и Mail.ru

В SEO-оптимизации очень важно, чтобы страницы сайта быстро и легко попадали в индекс поисковой системы. Если страница долго не может проиндексироваться, то вполне возможно, что-то не то с сайтом — или чисто технически, или же поисковикам он «не нравится». Проверить, есть или нет документ в индексе, можно несколькими способами.

Как проверять индексацию страницы?

Самый быстрый способ сделать это — прибегнуть к помощи специального софта, например, к разным SEO-плагинам для браузеров. Если вы ещё ничего подобного не используете, то самое время установить RDS Bar для Chrome и Page Promoter Bar для Firefox. С их помощью проверить индексацию очень просто:

  • для Rds Bar’а в колонке «Проиндексировано» выбираем «Индекс G стр» и «Индекс Я»
  • в Page Promoter Bar для Firefox щёлкаем «Кеш страницы в Яндекс/Google». Если документ не в индексе — об этом выскочит уведомление в формате JavaScript Alert

Недостаток таких методов (да и вообще, любых автоматизированных способов обращения к поисковым системам) — частая необходимость вводить капчу (особенно у Яндекса). К тому же, порой Page Promoter Bar даёт неверные сведения относительно кеша Яндекса.

Проверяем индексацию страницы в Яндексе и Google через поиск по сайту

Это самый медленный и сам верный способ проверки. Он предполагает использование встроенного поиска по сайту от этих двух поисковых систем или же использование т.н. расширенного поиска.

  • Встроенный поиск по сайту. В этом случае у вас на сайте должна быть установлена форма поиска от Гугла или Яндекса. Достаточно ввести в неё ключевой запрос для нужной страницы. Если в результатах поиска проверяемый документ будет — значит он в индексе, иначе — нет.
  • Расширенный поиск. Для Yandex: заходим по такому адресу http://yandex.ru/search/advanced и вводим свой запрос (ключевой для проверяемой страницы, например, её заголовок) и сайт, на котором ищем:

      Проверяем индексацию страницы в Яндексе через расширенный поиск

    В результатах поиска будут отображены релевантные данному запросу страницы конкретного сайта (или не будут, если их нет). Где-то вверху выдачи должна быть проверяемая страница (опять же, если она есть в индексе). Также в расширенном поиске Яндекса можно произвести много дополнительных настроек (см. картинку выше).

    Для Google: заходим по такому адресу http://www.google.ru/advanced_search и делаем примерно то же, что и в Яндексе:

      Проверка индексации страницы в Google через расширенный поиск

    Жмём «Найти» и смотрим.

Данный процесс можно немного сократить. Для этого в обычном поиске Яндекса пишем «host:домен Запрос», соответственно меняя домен на свой домен и Запрос — на свой запрос:

  Поиск по сайту в Yandex

А в поиске Гугла пишем так: «Запрос site:домен»:

  Поиск по сайту в Google

Быстрый способ проверить индексацию страницы в Яндексе, Google, Bing,Mail.ru

Для этого просто нужно знать специальные поисковые команды.

  • В Яндексе в окно поиска вводим такой запрос: url:url проверяемой страницы. Например, «url:http://web-ru.net/contacts/». Если она  в индексе — будет отображена в результате поиска.
  • В Google в окно поиска вводим site:url. Например, «site:http://web-ru.net/contacts/».
  • В Bing.com в окно поиска вводим такой запрос: url:url проверяемой страницы (как для Яндекса).
  • Ну и в Mail.ru такой: site:url (как для Гугла).

Up на 25-е июня 2012 — пришло видео от Гугла по данной теме:

Пожалуй, это основные методы для проверки индексации страницы сайта в популярных поисковиках. Я обычно использую поиск по сайту. Это хоть и не самый быстрый способ, зато всегда точный и не требует запоминания разных команд. Какой метод используете вы? поделитесь в комментариях!

P.S. Кажется, у поисковых систем есть чувство юмора.

Все мои новые посты на данном сайте попадают в индекс Яндекса в течение 10-30 минут. А этот — только через 10 часов.

Loading…

Почему страницы сайта выпадают из индекса

Автор: Павел Шевченко, специалист seo-отдела в Mello

В этой статье мы затронем следующие вопросы:

  • Как проверить индексацию страницы сайта в Яндексе и в Google
  • С помощью каких сервисов можно проверить информацию об исключенных URL
  • Причины выпадения страниц из индекса и что делать в такой ситуации

Одиночное выпадение страниц из индекса поисковых систем

Вебмастер может заметить, что трафик, присутствовавший на некогда популярной странице услуги, исчез, звонки прекратились, а продажи упали до нуля. В этом случае следует проверить – не выпала ли данная страница из индекса поисковых систем, особенно если единственным каналом продвижения этой услуги в интернете был органический поиск.

Как проверить не выпала ли страница из индекса Яндекса:

В Яндекс Вебмастере. Вкладка «Индексирование — Проверить статус URL». Вводим URL нужной страницы, нажимаем кнопку “Проверить” и ждём. Если в результате написано, что страница обходится роботом и находится в поиске, значит все хорошо:


Через оператор url. В поисковой строке Яндекса вводим запрос по формуле [url:URL_документа]. Пример: 


Если страница присутствует в индексе, Яндекс ее выведет. 

Пример с отсутствующим в поиске URL:


Как проверить не выпала ли страница из индекса Google:

Проверить индексацию страницы в Гугле можно через сервис Google Search Console. Вставляем URL в строку проверки, нажимаем Enter:


Выводится информация о странице. В данном случае нас интересует информация о том, что URL присутствует в индексе Google.


Массовое выпадение страниц из индекса поисковых систем

Необходимо регулярно проверять свой сайт на количество исключенных из поиска страниц, так как целевые страницы могут выпасть из индекса в любой момент.

Как проверить информацию об исключенных страниц в Яндексе:

С помощью Вебмастера Яндекса можно узнать всю необходимую информацию об индексации страниц. Вкладка «Индексирование -> Страницы в поиске».


Всегда проверяйте исключенные URL, особенно если видите, что раньше страниц в поиске было заметно больше. Здесь вы можете увидеть информацию о дате и причине исключения URL из индекса.


Как проверить информацию об исключенных страницах в Google:

В Google Search Console также можно посмотреть информацию об исключенных URL. Для этого перейдем во вкладку «Покрытие»:


Здесь нам показывают:

  • Страницы с ошибками – Google не смог их проиндексировать 


  • Без ошибок, есть проблемы — проиндексированные страницы, но, возможно, имеющие ошибку с нашей стороны (например запрещены нужные нам URL в файле robots.txt)


  • Без ошибок
  • Исключенные


По каким причинам страницы выпадают из индекса

Причин, по которым страницы могут исключить из индекса, целое множество. Мы разделим их на две группы: технические причины и причины, зависящие от контента.

Технические причины

Редиректы

Поисковые системы исключают из индекса страницы, которые перенаправляют пользователя на другие страницы. При этом сама конечная страница (на которую идет перенаправление) зачастую не исключается (если нет другой причины).

Типичный пример исключения страницы, перенаправляющей пользователя на другую страницу (301 редирект):


Конечная страница осталась в поиске:


Так как конечная страница остается в поиске, то ничего страшного в данной ситуации нет, но желательно минимизировать кол-во ненужных 301 редиректов на сайте, если есть такая возможность.

404

Страницы с 404 ошибками также выпадают из индекса: 


Если страница удалена по ошибке, то конечно необходимо ее восстановить. Если страница больше не нужна, то нужно удалить все ссылки на сайте, ведущие на нее.

Файл Robots.txt и мета-тег Robots

Вебмастер может рекомендовать поисковым системам не включать в индекс нужные ему URL с помощью файла robots.txt или с помощью мета-тега Robots:


Проверьте файл robots.txt, нет ли там нужных вам страниц. Также проверьте мета-тег Robots. Если вы видите, что у атрибута “name” задано значение “robots”, а у атрибута “content” присутствует значение “noindex”, это означает, что сканирование страницы запрещено для всех поисковых роботов:


Более подробно про данный мета-тег можете почитать в справке Google.

Страница обнаружена, но не проиндексирована

В Google Search Console есть исключенные из индекса URL со статусом «Страница просканирована, но пока не проиндексирована»:


Это означает, что поисковый робот нашел вашу страницу, но не добавил ее в индекс. В данном случае нужно просто подождать и страница будет добавлена в поиск.

Причины, зависящие от контента

Дубли

Страницы полностью или частично дублирующие другие могут быть исключены из поиска.

Если страницы-дубли не нужны, то лучшим решением будет их удалить. Если нужны, то можно установить тег “rel=canonical” в <head> этих страниц. 

Например:


Также можно настроить 301 редирект со страницы-дубля на каноническую страницу.

Если обе похожие друг на друга страницы должны присутствовать не только на сайте, но и в поиске (например, две страницы карточек товара), то их нужно сделать уникальными (изменить мета-теги, текст на странице, фото и т.д.).

Недостаточно качественные страницы

Сюда относятся страницы, несоответствующие запросу и неcпособные удовлетворить потребности пользователя.

Необходимо сделать страницу более качественной. Если это страница блога, то сделать уникальный и полезный читателю контент. Если это страница карточки товара в интернет-магазине, то товар должен быть в наличии (или должна присутствовать возможность заказать со склада), содержать описание, краткие характеристики товара и т.д.

Переоптимизированный контент

Тексты, сделанные для поисковиков, а не для людей. Их отличает большое количество вхождений ключевых слов. В случае, если у вас на сайте много переоптимизированного контента, поисковики могут наложить фильтр на сайт и целое множество страниц выпадет из индекса.

Как написано выше — делайте контент в первую очередь для пользователей. И не забывайте про фактор переоптимизации.

Накрутка поведенческих факторов

Поисковые системы накладывают санкции за использование различных методов так называемого «черного» SEO. Одним из таких методов и является попытка накрутить поведенческие факторы искусственным путем. 

Не стоит использовать в своей работе сомнительные сервисы и программы по накрутке поведенческих факторов.

Неестественный ссылочный профиль

Если на сайте расположено множество покупных ссылок, а естественных ссылок очень мало, на него может наложиться фильтр поисковых систем (Минусинск у Яндекса и Пингвин у Гугла).

Аффилированность 

Если два сайта одной компании борются за место в выдаче, то поисковые системы показывают страницу только одного сайта (как правило показывается наиболее подходящий запросу).

Как проверить находится ли сайт под фильтром

В Яндексе

Зайдите в раздел «Диагностика -> Безопасность и нарушения» в Яндекс Вебмастере:


Если ваш сайт получил фильтр, то информация об этом отобразится в данном разделе.

В Google

В Google Search Console это можно проверить в разделах «Меры принятые вручную» и «Проблемы безопасности»:


Вывод

Если вы попали ситуацию с кучей выпавших из индекса URL, проанализируйте:

  • Заказывали ли вы ссылки, какие и сколько
  • Все ли тексты на вашем сайте качественные и уникальные
  • Удобен ли ваш сайт для пользователя, нет ли там излишней рекламы
  • Какие страницы запрещены с помощью файла Robots.txt и мета-тега robots
  • Присутствуют ли на сайте страницы-дубли

и исходя из итогов анализа устраните причину. 

Если же вам не удалось установить причину исключения URL из индекса, или вы устранили все возможные ошибки, а страницы так и не попали в поиск, попробуйте обратиться в техподдержку поисковой системы.

Индексация в поисковых системах Яндекс. Быстрый способ проверить индексацию страницы в Яндексе и Гугле. Иностранные поисковые системы

Индексация сайта – самая важная, необходимая и первостепенная деталь в осуществлении его оптимизации. Ведь именно благодаря наличию индекса поисковые системы могут предельно быстро и точно реагировать на все запросы пользователей.

Что такое индексация сайта?

Индексация сайта — это процесс добавления информации о содержании (контенте) сайта в базу данных поисковых систем.Именно индекс является базой данных поисковых систем. Чтобы сайт проиндексировался и появился в результатах поиска, на него должен зайти специальный поисковый бот. Весь ресурс, страница за страницей, просматривается ботом по определенному алгоритму. В результате нахождение и индексация ссылок, изображений, статей и т. д. При этом в результатах поиска выше в списке будут те сайты, авторитет которых выше по сравнению с остальными.

Есть 2 варианта индексации сайта ПС:

  • Самоопределение поисковым роботом свежих страниц или созданного ресурса — этот способ хорош, если есть активные ссылки с других уже проиндексированных сайтов на ваш.В противном случае можно бесконечно ждать поискового робота;
  • Ввод URL сайта в предназначенную для этого поисковую форму вручную — этот вариант позволяет новому сайту «встать в очередь» на индексацию, что займет довольно продолжительное время. Способ простой, бесплатный и требует ввода адреса только главной страницы ресурса. Эту процедуру можно выполнить через панель вебмастера Яндекс и Google.

Как подготовить сайт к индексации?

Сразу стоит отметить, что крайне нежелательно выкладывать сайт на стадии разработки.Поисковые системы могут индексировать неполные страницы с некорректной информацией, орфографическими ошибками и т.д. В итоге это негативно скажется на ранжировании сайта и выдаче информации с этого ресурса в поиске.

Теперь перечислим пункты, о которых нельзя забывать на этапе подготовки ресурса к индексации:

  • ограничения индексации распространяются на flash-файлы, поэтому сайт лучше создавать с использованием HTML;
  • такой тип данных как Java Script также не индексируется поисковыми роботами, в связи с этим навигация по сайту должна дублироваться текстовыми ссылками, а вся важная информация, которая должна быть проиндексирована, написана не на Java Script;
  • нужно удалить все битые внутренние ссылки, чтобы каждая ссылка вела на реальную страницу вашего ресурса;
  • структура сайта должна позволять легко переходить с нижних страниц на главную и обратно;
  • ненужную и второстепенную информацию и блоки лучше переместить в низ страницы, а также скрыть их от ботов специальными тегами.

Как часто происходит индексация?

Индексация сайта в зависимости от ряда причин может занять от нескольких часов до нескольких недель, вплоть до целого месяца. Обновление индексации или обновления поисковой системы происходят с разной периодичностью. По статистике, в среднем Яндекс индексирует новые страницы и сайты на срок от 1 до 4 недель, а Google — на срок до 7 дней.

Но при правильной предварительной подготовке создаваемого ресурса эти сроки можно сократить до минимума.Ведь по сути все алгоритмы индексации ПС и логика их работы сводятся к тому, чтобы дать максимально точный и актуальный ответ на запрос пользователя. Соответственно, чем чаще на вашем ресурсе появляется качественный контент, тем быстрее он будет проиндексирован.

Способы ускорения индексации

Для начала нужно «оповестить» поисковые системы о том, что вы создали новый ресурс, как было сказано в абзаце выше. Также многие рекомендуют добавить новый сайт в системы социальных закладок, но я этого не делаю.Это действительно позволяло несколько лет назад ускорить индексацию, так как поисковые роботы часто «заходят» на такие ресурсы, но, на мой взгляд, сейчас лучше ставить ссылку из популярной социальной сети. Вскоре они заметят ссылку на ваш ресурс и проиндексируют ее. Аналогичного эффекта можно добиться прямыми ссылками на новый сайт с уже проиндексированных ресурсов.

После того, как несколько страниц уже проиндексированы и сайт начал развиваться, можно попробовать «подкормить» поискового бота для ускорения индексации.Для этого нужно периодически публиковать новый контент примерно через равные промежутки времени (например, каждый день по 1-2 статьи). Разумеется, контент должен быть уникальным, качественным, грамотным и не перенасыщенным ключевыми фразами. Я также рекомендую создать XML-карту сайта, о которой речь пойдет ниже, и добавить ее в панель веб-мастеров обеих поисковых систем.

файлы robots.txt и карта сайта

Текстовый файл robots.txt содержит инструкции для ботов поисковых систем.При этом дает возможность запретить индексацию выбранных страниц сайта для данной поисковой системы. Если вы делаете это вручную, то важно, чтобы имя этого файла было написано только заглавными буквами и находилось в корневой директории сайта, большинство CMS генерируют его самостоятельно или с помощью плагинов.

Карта сайта или карта сайта — это страница, содержащая полную модель структуры сайта для помощи «потерянным пользователям». В этом случае вы можете переходить со страницы на страницу, не используя навигацию по сайту.Такую карту желательно создать в формате XML для поисковых систем и включить в файл robots.txt для улучшения индексации.

Более подробную информацию об этих файлах вы можете получить в соответствующих разделах, перейдя по ссылкам.

Как запретить индексацию сайта?

Управлять, в том числе запретить индексацию сайта или отдельной страницы, можно с помощью уже упомянутого выше файла robots.txt. Для этого создайте на ПК текстовый документ с таким же названием, поместите его в корневую папку сайта и напишите в файле, от какой поисковой системы вы хотите скрыть сайт.Кроме того, вы можете скрыть содержимое сайта от ботов Google или Яндекса с помощью знака *. Эта инструкция в robots.txt запретит индексацию всеми поисковыми системами.

User-agent: * Disallow: /

Для сайтов WordPress можно отключить индексацию сайта через панель управления. Для этого в настройках видимости сайта установите флажок «Рекомендовать поисковым системам не индексировать сайт». При этом Яндекс, скорее всего, прислушается к вашим пожеланиям, а вот с Гуглом не обязательно, но могут возникнуть некоторые проблемы.

Здравствуйте, уважаемые читатели сайта сайт. Сегодня я расскажу вам, как найти и исправить возможные проблемы с индексацией вашего сайта. Давайте рассмотрим три основных момента.

  1. Робот должен проиндексировать нужные страницы сайта с ;
  2. Эти страницы должны быть быстро проиндексированы;
  3. Робот не должен посещать лишние страницы сайта;

Все вроде бы просто. Но на самом деле большинство веб-мастеров сталкиваются с одними и теми же проблемами при настройке индексации.Давайте посмотрим на них внимательно.

На данный момент в большинстве случаев, если речь идет о новой странице сайта в результатах поиска, она появится в течение нескольких десятков минут. Если речь идет об уже проиндексированных страницах, то это 3-5 дней .

В итоге, чтобы ваш сайт быстро посещали, нужно помнить три правила:

  1. Во-первых, у вас должен быть действующий и регулярно обновляемый файл карты сайта;
  2. Во-вторых, не используйте директиву Crawl-delay только в том случае, если вам так хочется.Прямо сейчас обязательно зайдите в свой robots.txt и проверьте, есть ли такая директива. Если он установлен, подумайте, действительно ли он вам нужен.
  3. В-третьих, используйте «сканирование страницы», чтобы посетить самые важные страницы вашего сайта с новой важной страницей.

Избавляем робота от ненужных страниц сайта

Когда на ваш ресурс начинает заходить робот, зачастую это не всегда положительно сказывается на индексации хороших страниц сайта. Представьте ситуацию, допустим, робот делает 5 запросов в секунду к вашему ресурсу.Вроде бы отличный результат, но какой смысл в этих пяти посещениях в секунду, если все они относятся к служебным страницам вашего сайта или дубликаты, а на действительно важные страницы робот вообще не обращает внимания. Это наш следующий раздел о том, как не индексировать ненужные страницы.

  1. Используем раздел Яндекс Вебмастер и обходим статистику
  2. Получаем адреса страниц, которые робот не должен индексировать
  3. Составляем правильный файл robots.txt

Давайте посмотрим на инструмент «Статистика сканирования», он выглядит так.Здесь также есть графики. Нас интересует небольшая прокрутка страницы вниз кнопкой «все страницы». Вы увидите все, что робот посетил за последние дни.

Среди этих страниц, если есть служебные страницы, то они должны быть запрещены в файле robots.txt. Что именно нужно запретить, давайте по пунктам.

  1. Во-первых, как я уже говорил, фильтр страниц , отбор товаров, сортировка должны быть запрещены в robots.текстовый файл.
  2. Во-вторых, надо запретить различные страницы действий . Например, добавить в сравнение, добавить в избранное, добавить в корзину. Сама страница корзины также запрещена.
  3. В-третьих, мы запрещаем обходить все сервисные разделы такие как поиск по сайту, админ панель вашего ресурса, разделы с пользовательскими данными. Например, информация о доставке, номера телефонов и т. д. также запрещены в файле robots.txt.
  4. И страниц с ID , например с utm тегами, также стоит запретить обход в robots.txt с помощью директивы Clean-param.

Если вы столкнулись с вопросом, нужно ли запрещать или открывать эту страницу для обхода, ответьте себе на простой вопрос: нужна ли пользователям эта страница поисковика? Если эта страница не должна быть в поиске по запросам, то ее можно запретить.

И небольшой практический кейс, надеюсь мотивирует. Посмотрите, на одном из ресурсов робот делает почти тысячи переходов в день на страницы с редиректом.На самом деле страницы перенаправления были страницами добавления в корзину.

Вносим изменения в файл robots.txt и на графике видно, что доступ к таким страницам практически пропал. При этом сразу положительная динамика — обход нужных страниц на этой странице степи с кодом 200 резко увеличился.

— Дубли страниц на сайте, как их найти и что с ними делать

И тут вас поджидает другая опасность — это дубликатов страниц .Под дубликатами мы понимаем несколько страниц одного и того же сайта, которые доступны по разным адресам, но при этом содержат абсолютно идентичный контент. Основная опасность дубликатов в том, что если они есть, то могут измениться в результатах поиска. Страница может попасть на ненужный вам адрес, конкурировать с главной страницей, которую вы продвигаете, по любым запросам. Кроме того, большое количество дубликатов страниц затрудняет обход сайта роботом-индексатором. В общем, они приносят много проблем.

Думаю, что практически все вебмастера уверены, что на их ресурсе нет дубликатов страниц. Я хочу тебя немного расстроить. На самом деле дубликаты есть практически на всех сайтах рунета. ? У меня есть об этом подробная статья, прочитав которую, у вас не останется ни одного вопроса.

— Проверка кода ответа сервера

В дополнение к файлу robots.txt хотелось бы рассказать о правильных кодах ответов http. Это также, кажется, вещи, которые уже были сказаны не раз.Сам код ответа http — это определенный статус страницы для робота-индексатора.

  1. http-200 — страница может быть проиндексирована и включен поиск.
  2. http-404 означает, что страница была удалена.
  3. http-301 — страница перенаправлена.
  4. http-503 — временно недоступен.

В чем преимущество использования правильного инструмента http-кодов:

  1. Во-первых, у вас никогда не будет различных битых ссылок на ваш ресурс, то есть тех ссылок, которые ведут на страницы, которые не отвечают кодом ответа 200.Если страницы не существует, то робот поймет код ответа 404.
  2. Во-вторых, это поможет роботу при планировании обходить действительно нужные страницы, которые отвечают кодом ответа 200.
  3. И в-третьих, это позволит вам избежать попадания в результаты поиска различного мусора.

Об этом как раз следующий скрин тоже из практики. Во время недоступности ресурса и технических работ робот получает заглушку с кодом ответа http 200.Именно такое описание этой заглушки вы видите в результатах поиска.

Поскольку страница отвечает кодом ответа 200, они возвращаются. Естественно, страницы с таким содержанием не могут быть найдены и отображены ни по каким запросам. В этом случае правильной настройкой будет ответ 503 http. Если страница или ресурс временно недоступны, этот код ответа предотвратит исключение страниц из результатов поиска.

Здесь бывают ситуации, когда важные и нужные страницы вашего ресурса становятся недоступными для нашего робота, например, отвечают кодом 503 или 404, либо вместо этого возвращаются на эту заглушку.

Такие ситуации можно отследить с помощью инструмента «важные страницы» . Добавьте в него те страницы, которые приносят больше всего трафика на ваш ресурс. Настройки уведомлений на почту и либо на сервис и вы будете получать информацию о том что происходит с этой страницей. Какой у нее код ответа, какое у нее название, когда ее посещали и какой у нее статус в результатах поиска.

Проверить правильность возврата того или иного кода ответа можно с помощью соответствующего инструмента в Яндекс Вебмастере (здесь).В этом случае мы проверяем код ответа несуществующих страниц. Я придумал страницу и вбил ее в инструмент, нажал кнопку проверки и получил ответ 404.

Здесь все в порядке, так как страница была недоступна, она правильно ответила кодом 404 и больше не будет включена в поиск. В результате, чтобы ограничить посещение роботами ненужных страниц сайта, активно используйте инструмент обхода статистики, внесите изменения в файл robots.txt и убедитесь, что страницы возвращают правильный код ответа http.

— Подведение итогов

Мы дали роботу правильную страницу сайта с контентом. Мы добились того, что он индексируется быстро. Мы запретили роботу индексировать ненужные страницы. Все три из этих больших групп задач взаимосвязаны. . То есть, если робот не ограничивается индексацией служебных страниц, то, скорее всего, у него будет меньше времени на индексацию нужных страниц сайта.

Если робот не получит содержимое необходимых страниц в полном объеме, он не будет быстро включать эти страницы в результаты поиска.То есть работать над индексацией своего ресурса нужно комплексно, над всеми этими тремя задачами. И в этом случае вы добьетесь определенных успехов, чтобы нужные страницы быстро попали в результаты поиска.

Официальные ответы Яндекса

Страницы в верхнем регистре были включены в индекс, несмотря на то, что на сайте таких страниц нет. Если страницы указаны в верхнем регистре, скорее всего, робот нашел ссылки на них где-то в Интернете. Сначала проверьте свой сайт, скорее всего где-то в интернете установлена ​​неверная ссылка.Робот пришел, увидел и начал загружать страницу в верхнем регистре. Для них, для таких страниц лучше использовать 301 редиректы.

Карта сайта содержит несколько страниц — это нормально? Если речь идет о карте сайта, то есть особом формате карты сайта, в котором можно указывать ссылки на другие файлы карты сайта, то это конечно нормально.

Если разместить ссылки на все разделы каталога внизу сайта, который отображается на всех страницах, поможет ли это индексации или помешает? По сути, вам вообще не нужно этого делать, то есть если посетителям вашего сайта это не нужно, то и делать это специально не нужно.Достаточно простого файла карты сайта. Робот узнает о наличии всех этих страниц, добавит их в свою базу.

Нужно ли указывать частоту обновления в карте сайта? Файл карты сайта можно использовать для передачи дополнительной информации индексирующему роботу. Помимо самих адресов, наш робот понимает еще несколько тегов. Во-первых, это частота обновления, то есть периодичность обновления. Это приоритет сканирования и дата последнего изменения.Он берет всю эту информацию из файла карты сайта при обработке файла и добавляет ее в свою базу данных, а затем использует ее для настройки политик обхода.

Можно ли обойтись без карты сайта? Да, убедитесь, что на вашем сайте есть прозрачная навигация, чтобы на любой внутренней странице были доступные ссылки. Но учтите, что если это новый ресурс (от автора: читайте как запустить новый сайт) и, например, какая-то страница находится глубоко на вашем сайте, например, в 5-10 кликах, то робот потребуется много времени, чтобы узнать о его наличии.Сначала скачать главную страницу сайта, получить ссылки, потом снова скачать те страницы, о которых узнал, и так далее. Файл карты сайта позволяет передать роботу информацию обо всех страницах сразу.

Робот делает 700 тысяч запросов в день на несуществующие страницы. В первую очередь нужно понять, откуда взялись такие несуществующие страницы. Возможно, на вашем сайте некорректно используются относительные ссылки, или какой-то раздел был навсегда удален с сайта, и робот все равно продолжает проверять такие страницы.В этом случае их следует просто отключить в файле robots.txt. В течение 12 часов робот перестанет заходить на такие страницы.

Если служебные страницы проиндексированы, как убрать их из поиска. Также используйте robots.txt для удаления страниц из результатов поиска. То есть не имеет значения, ставили ли вы запрет при создании своего сайта, или при запуске ресурса. Страница исчезнет из результатов поиска в течение недели.

Автоматически сгенерированная карта сайта хороша или нет? В большинстве случаев все карты сайта генерируются автоматически, поэтому можно сказать, что это, наверное, хорошо.Вам не нужно что-то делать руками и можно уделить внимание чему-то другому.

Как будет проиндексирована страница, если сделать ее канонической самой себе. Если канонический атрибут ведет на саму страницу? Эта страница считается канонической? Он будет нормально проиндексирован и включен в результаты поиска, то есть использовать этот прием вполне корректно.

Что означает статус «неканонический»? W Страница начинается с установленного канонического атрибута, который ведет на другую страницу вашего сайта.Поэтому эта страница не сможет попасть в поиск. Откройте исходный код страницы, выполните поиск, посмотрите, куда ведет каноническая страница, и проверьте каноническую страницу в поиске.

Что правильнее забанить страницу корзины в robots.txt или noindex? Если страница отключена методом noindex, робот будет периодически заходить на нее и проверять наличие этого бана. Чтобы робот этого не делал, лучше использовать запрет в файле robots.txt.

До встречи! Делай все и всегда на страницах блога сайта

Помоги проекту — подпишись на наш Яндекс.Дзен канал!

С гуглом все очень просто. Вам необходимо добавить свой сайт в инструменты для веб-мастеров по адресу https://www.google.com/webmasters/tools/, затем выбрать добавленный сайт, таким образом, попадая в Search Console вашего сайта. Далее в левом меню выбираем раздел «Сканирование», а в нем пункт «Просмотреть как Googlebot».

На открывшейся странице в пустое поле вводим адрес новой страницы, которую хотим быстро проиндексировать (с учетом уже введенного доменного имени сайта) и нажимаем справа кнопку «Сканировать».Ждем, пока страница будет просканирована и появится вверху таблицы ранее просканированных таким образом адресов. Далее нажмите на кнопку «Добавить в индекс».

Ура, ваша новая страница мгновенно проиндексирована Google! Через пару минут вы сможете найти его в результатах поиска Google.

Быстрая индексация страниц в Яндексе

В новой версии инструментов для веб-мастеров стал доступен аналогичный инструмент для добавления новых страниц в индекс. Соответственно, ваш сайт также должен быть предварительно добавлен в Яндекс Вебмастер.Туда же можно попасть, выбрав нужный сайт в вебмастере, затем перейти в раздел «Индексирование», выбрать пункт «Повторное сканирование страницы». В открывшемся окне вводим адреса новых страниц, которые хотим быстро проиндексировать (с помощью ссылки в одну строку).

В отличие от гугла индексация в яндексе пока не происходит моментально, но он к этому стремится. Вышеуказанными действиями вы сообщите роботу Яндекса о новой странице. И проиндексируется в течении получаса-часа — это лично моя практика показывает.Возможно, скорость индексации страниц в Яндексе зависит от ряда параметров (от репутации вашего домена, аккаунта и/или других). В большинстве случаев это можно остановить.

Если вы видите, что страницы вашего сайта плохо индексируются Яндексом , то есть несколько общих рекомендаций как с этим бороться:

  • Самая лучшая, но и самая сложная рекомендация — установить на свой сайт спидбота Яндекса. Для этого желательно каждый день добавлять на сайт свежие материалы.Желательно 2-3 и более материала. И добавлять их не все сразу, а через некоторое время, например, утром, днем ​​и вечером. Еще лучше придерживаться примерно такого же графика публикаций (примерно выдерживать одинаковые сроки добавления новых материалов). Также многие рекомендуют создать RSS-ленту сайта, чтобы поисковые роботы могли читать обновления прямо с нее.
  • Естественно, не каждый сможет добавлять новые материалы на сайт в таких объемах — хорошо, если вы сможете добавлять 2-3 материала в неделю.В этом случае можно особо не мечтать о скорости Яндекса, а попробовать забить новые страницы в индекс другими способами. Самым эффективным из них считается размещение ссылок на новые страницы в обновленных аккаунтах Твиттера. С помощью специальных программ вроде Twidium Accounter можно «прокачать» нужное вам количество твиттер-аккаунтов и с их помощью быстро загонять новые страницы сайта в индекс поисковых систем. Если у вас нет возможности размещать ссылки на обновленные аккаунты Твиттера самостоятельно, вы можете купить такие посты через специальные биржи.Один пост с вашей ссылкой в ​​среднем будет стоить от 3-4 рублей и выше (в зависимости от крутости выбранного аккаунта). Но этот вариант будет довольно дорогим.
  • Третий вариант быстрой индексации — воспользоваться сервисом http://getbot.guru/, который всего за 3 рубля поможет добиться нужного эффекта с гарантированным результатом. Хорошо подходит для сайтов с редким графиком добавления новых публикаций. Есть и более дешевые тарифы. Подробности и отличия между ними лучше всего посмотреть на сайте самого сервиса.Лично я очень доволен услугами этого сервиса как ускорителя индексации.

Конечно, вы также можете добавлять новые публикации в социальные закладки, что теоретически тоже должно способствовать быстрой индексации сайта. Но эффективность такого дополнения будет зависеть еще и от уровня ваших аккаунтов. Если у вас мало активности на них и вы используете свои аккаунты только для такого спама, то полезного выхода практически не будет.

стр.С. с большим опытом всегда актуален — обращайтесь к нам!

(13 )

Если вы хотите знать, индексируется ли определенная страница поисковой системой и сколько всего страниц вашего сайта просматривается, вам следует узнать о четырех самых простых способах проверки индексации сайта, которые используются всеми SEO-специалисты.

В процессе индексации портала поисковый бот сначала сканирует его, то есть обходит для изучения контента, а затем добавляет информацию о веб-ресурсе в базу данных.Затем поисковая система формирует поиск по этим базам данных. Не путайте сканирование с индексацией — это разные вещи.

Чтобы понять, сколько еще страниц вашего проекта не проиндексировано, нужно знать их общее количество. Это позволит вам понять, насколько быстро индексируется ваш сайт. Сделать это можно несколькими способами:

  1. Посмотреть карту сайта. Вы найдете его по адресу: ваше_имя_сайта.ru/sitemap.xml . Здесь показаны, в основном, все страницы, размещенные на ресурсе.Но иногда карта сайта может быть сгенерирована некорректно, и некоторых страниц в ней может не быть.
  2. Используйте специальную программу. Эти программы сканируют весь ваш сайт и выдают все страницы вашего сайта, пример таких программ Screaming Frog Seo (платно) или Xenus Links Sleuth (бесплатно).

Способы проверки индексации сайта

Предлагаем вашему вниманию 4 самых распространенных и простых способа проверить, какие страницы есть в индексе, а какие нет.

1.Через панель вебмастера

Таким способом владельцы веб-ресурсов чаще всего проверяют свое присутствие в поиске.

Яндекс

  1. Войдите в Яндекс.Вебмастер.
  2. Перейти в меню «Индексация сайта» .
  3. Под ним найдите строку «Страницы в поиске» .

Можно и в другую сторону:

  1. Выберите «Индексирование сайта» .
  2. Далее перейти к «История» .
  3. Затем перейдите на вкладку «Страницы в поиске» .

И первым, и вторым способом можно изучить динамику роста или снижения количества страниц в поисковике.

Гугл
  1. Зайдите в панель управления сервисом Google Webmaster Tools.
  2. Перейдите на вкладку Search Console.
  3. Перейти к «Индекс Google» .
  4. Нажмите на опцию «Статус индексирования» .

2. Через операторов поисковых систем

Они помогают уточнить результаты поиска.Например, использование оператора «сайт» позволяет увидеть примерное количество страниц, которые уже находятся в индексе. Чтобы проверить этот параметр, в строке поиска Яндекса или Google введите: «site:url_of_your_site» .


Важно! Если результаты в Google и Яндексе сильно различаются, то у вашего сайта какие-то проблемы со структурой сайта, мусорные страницы, индексация или на него наложены санкции.

Для поиска также можно использовать дополнительные инструменты, например, чтобы узнать, как менялась индексация страниц за определенный период времени.Для этого под строкой поиска нажмите на вкладку «Инструменты поиска» и выберите период, например, «На 24 часа» .

3. Через плагины и расширения

При использовании специальных программ проверка индексации веб-ресурса будет происходить автоматически. Это можно сделать с помощью плагинов и расширений, также известных как букмарклеты. Это javascript-программы, которые хранятся в браузере в виде стандартных закладок.

Преимущество плагинов и расширений в том, что вебмастеру не нужно каждый раз заново заходить в поисковик и вводить адреса сайтов, операторов и так далее.Скрипты все сделают автоматически.

Наиболее популярным плагином, используемым для этой цели, является панель RDS, которую можно загрузить из магазина приложений любого браузера.

Стоит отметить, что плагин имеет гораздо больше возможностей в Mozilla Firefox, чем в других браузерах. Панель RDS предоставляет информацию как обо всем веб-сайте, так и об отдельных его страницах

На заметку. Есть платные и бесплатные плагины. И самый большой минус бесплатных плагинов в том, что в них нужно регулярно вводить капчу.

Нельзя игнорировать букмарклет «Проверка индексации». Чтобы включить программу, просто перетащите ссылку на панель браузера, затем запустите портал и щелкните вкладку расширения. Так вы откроете новую вкладку с Яндексом или Гуглом, где изучите необходимую информацию, касающуюся индексации тех или иных страниц.

4. Со спецслужбами

Я в основном пользуюсь сторонними сервисами, т.к. они наглядно показывают, какие страницы есть в индексе, а какие нет.

Бесплатная услуга

https://serphunt.ru/indexing/ — есть проверка, как для яндекса, так и для гугла. Вы можете проверять до 50 страниц в день бесплатно.

Платная услуга

Из платных больше всего нравится Топвизор — стоимость 0,024 руб. для проверки одной страницы.

Вы загружаете все страницы своего сайта в сервис и он вам покажет какие есть в индексе поисковика, а какие нет.

Заключение

Основная цель владельца любого веб-ресурса — добиться индексации всех страниц, которые будут доступны поисковым роботам для сканирования и копирования информации в базу.Реализация этой задачи на большом сайте может быть очень сложной.

Но при правильном комплексном подходе, то есть грамотной SEO-оптимизации, регулярном наполнении сайта качественным контентом и постоянном контроле процесса включения страниц в индекс поисковых систем, можно добиться положительных результатов. Для этого в этой статье мы рассказали о четырех методах проверки индексации сайта.

Знайте, если страницы начинают слишком резко вылетать из поиска, значит, что-то не так с вашим ресурсом.Но часто проблема кроется не в процессе индексации, а в самой оптимизации. Хотите быстро проиндексироваться и попасть в ТОП поисковой выдачи? Предложите вашей целевой аудитории контент, который превосходит ваших конкурентов.

Для молодого сайта особенно важна быстрая индексация в поисковых системах. Потому что она еще не имеет определенного веса (или «доверия»). Особенно важно в первые месяцы жизни сайта регулярно обновлять его. Контент также должен быть качественным.

Быстрая индексация нового сайта в Яндексе

Для того, чтобы ваш новый сайт быстро проиндексировался в Яндексе, вам необходимо добавить его в Яндекс Вебмастер. Далее выбираем блок «Индексация» -> «Повторное сканирование страницы» (см. рисунок).

Сканирование страниц в Яндекс Вебмастер

Для молодого сайта обязательно включите в этот список главную страницу. Нередки случаи, когда робот заходит на главную страницу и индексирует с нее все внутренние ссылки. Таким образом можно проиндексировать гораздо более 20 страниц.

Быстрое индексирование сайта в Google

Аналогично с Яндексом, для ускорения индексации нового сайта в Google его необходимо добавить в Google Webmaster (Google Search Console). Вам нужно выбрать вкладку «Skinning» -> «View as GoogleBot».

Просмотр функций как GoogleBot

И в открывшейся форме вставляем адрес нужной страницы, нажимаем «Сканировать». После этого у вас будет результат обхода страницы и появится волшебная кнопка «Запросить индексацию».

Индексация запроса функциональности

Нажмите на кнопку и вы увидите примерно такое окно:

Как проиндексировать сайт в Google

Здесь обязательно выберите «сканировать этот URL и прямые ссылки». В этом случае робот попытается просканировать все внутренние ссылки на указанной вами странице. С большой долей вероятности все они максимально быстро войдут в индекс Google!

Индексирование нового сайта на старом домене

В данном случае задача не так тривиальна, как кажется.На доменах с историей часто сложно проиндексировать новый сайт. Этот процесс может занять недели или месяцы. Это зависит от истории домена: применялись ли к нему ранее санкции и какие именно.

Схема действий в этом случае проста:

  • Добавить сайт в яндекс и гугл вебмастер
  • Запросить переиндексацию через соответствующий функционал
  • Подождите 2-3 обновления.
  • Если ничего не изменилось, напишите в поддержку и решите этот вопрос в индивидуальном порядке.

Способы ускорения индексации молодого сайта

Кроме способов, которые я указал выше, есть еще несколько, которые работают:

  1. Обмен материалами в социальных сетях . Рекомендую использовать следующие: Вконтакте, Facebook, Twitter, Google+ (несмотря на то, что социальная сеть Google фактически мертва, она помогает ускорить индексацию новых страниц)
  2. Регулярные обновления сайта . Со временем сайт собирает статистику публикации новых материалов, это помогает индексировать новые страницы.Обновляйтесь регулярно и, возможно, вы сможете «кормить фастбота» (в этом случае индексация новых страниц займет 1-10 минут).
  3. Для новостных сайтов: авторизуйтесь в Яндекс Новостях . Это не так сложно, как может показаться, но эффект будет потрясающим. На всех сайтах от Яндекс Новостей есть быстрый бот.
  4. Грамотная внутренняя структура сайта . Обязательно используйте перелинковку, ТОП-материалы и т.д. Увеличение количества внутренних ссылок на странице (в разумных пределах) также ускорит индексацию

Быстрая индексация новых страниц старого сайта

Q&A по индексации молодых сайтов

Есть вопросы по индексации молодых сайтов? Задайте их в комментариях!

В: Нужно ли закрывать новый сайт от индексации?
A: Я рекомендую вам не открывать свой сайт поисковым роботам, пока он не будет заполнен начальным содержанием.Как показывает моя практика, на переиндексацию существующих страниц уходит гораздо больше времени, чем на индексацию новых.

В: Сколько времени Яндекс индексирует новый сайт?
О: В среднем это 1-2 обновления (от 1 до 3 недель). Но ситуации могут быть разные.

В: Какие могут быть проблемы с индексацией молодого сайта?
О: Наверное, главная проблема — плохой контент. По этой причине сайт может не индексироваться. Были и случаи, когда раскатывался молодой, но большой сайт с тысячами страниц.Поиск до сих пор хранит воспоминания о дорвеях, поэтому у молодых сайтов с тысячами страниц «особое отношение».

В: Сколько страниц нового сайта открывать для индексации и как часто его обновлять?
О: Открыть сайт для индексации можно с 1 страницы. Важно соблюдать простое правило: не размещайте на сайте сразу тысячи страниц, т.к. это можно расценивать как спам в поисковых системах, и на сайт регулярно добавляются новые материалы. Пусть 1 материал в 3 дня, но регулярно! Это очень важно!

В: Как часто Яндекс индексирует сайты?
О: По официальной информации Яндекса периодичность индексации может быть от 2-х дней до нескольких недель.А про методы разгона написано выше.

Яндекс | Справочный центр | Лендинги

Яндекс — самая популярная поисковая система в России и вторая по популярности после Google во многих странах. Именно поэтому стоит отправить свой лендинг в Яндекс, чтобы знать, как Яндекс видит ваш лендинг, и иметь возможность оптимизировать его работу в поисковой системе. Для этого вам необходимо подтвердить свои права на управление сайтом.

Добавьте свой лендинг в Яндекс

1. Перейдите в инструмент Яндекс.Вебмастер и нажмите Перейти или войдите в свою учетную запись (или зарегистрируйтесь, если у вас ее еще нет).

2. Нажмите Добавить сайт .

3. Вставьте URL целевой страницы и нажмите Добавить .

4. В панели слева найдите Настройки и выберите Права доступа (1) . Нажмите на вкладку Метатег (2) и скопируйте весь метатег.

5. Не закрывать страницу Яндекс.Вебмастер.

Добавьте метатег на целевую страницу

1. В новой вкладке браузера откройте редактор вашей целевой страницы и перейдите к Настройки страницы .

При редактировании можно вернуться в Настройки страницы, нажав на стрелку:

2.  Найдите вкладку Метатеги  и разверните ее.

3.  Вставьте метатег. Нажмите значок плюса (+) для подтверждения.

При необходимости вы можете удалить (1) метатег или отредактировать (2)  метатег.

4. Опубликуйте свою целевую страницу.

5. Вернитесь в Яндекс.Вебмастер и нажмите Проверить для подтверждения доступа.

Теперь ваша целевая страница подтверждена.

На заполнение данными дашборда и отчетов Яндекса может уйти несколько дней.А пока проверьте инструменты оптимизации Яндекса, такие как карта сайта или геотаргетинг.

Как использовать IndexNow с Rank Math? » Ранг Математика

Вам необходимо проиндексировать свой веб-сайт и весь ваш веб-контент, чтобы привлечь трафик из органического поиска, своевременная индексация контента является важной частью SEO-оптимизации WordPress. Без индексации поисковые системы не смогут найти ваш сайт, а значит, ваш сайт не будет ранжироваться, и никто не найдет его в результатах поиска.И, если это произойдет, вы потеряете потенциальный трафик, который можно было бы конвертировать в потенциальных клиентов и клиентов.

Rank Math Мгновенное индексирование позволяет вам отправлять свои URL-адреса в поисковые системы с поддержкой IndexNow и помогает вам индексировать ваш веб-сайт и его содержимое, даже без настройки вашего сайта с помощью какого-либо из этих инструментов для веб-мастеров. Давайте посмотрим, как функция IndexNow помогает мгновенно отправлять URL-адреса в Bing и Яндекс.

1 Что такое IndexNow?

IndexNow — это гордая инициатива Microsoft и Яндекса по эффективному сканированию сайтов, чтобы они могли сократить объем сканирования.Различные механизмы уже приняли протокол IndexNow.

Протокол работает, позволяя веб-сайтам отправлять URL-адреса в API IndexNow один раз, и они будут переданы всем участвующим поисковым системам. Таким образом, вам нужно только отправить изменения вашего сайта и URL-адреса один раз , и все участвующие поисковые системы будут знать о последних изменениях на вашем сайте, просканировать, проиндексировать и отразить эти изменения раньше в результатах поиска.

Когда вы начинаете отправлять свои URL-адреса, поисковые системы хотят проверить, являются ли эти отправки законными и поступают ли они с самого веб-сайта, а не от каких-либо вредоносных элементов.Следовательно, поисковые системы хотят, чтобы веб-сайты генерировали уникальный ключ API и проверяли его.

К счастью, Rank Math автоматически генерирует ключ API для вашего веб-сайта, динамически размещает его на вашем веб-сайте и предоставляет его поисковым системам , поэтому вам не нужно проходить через все хлопоты, а вместо этого больше сосредоточиться на создании и управление контентом на вашем сайте.

2 Как настроить автоматическую отправку URL?

Чтобы включить IndexNow, перейдите на панель инструментов WordPress > Rank Math > Dashboard > Modules и включите модуль Instant Indexing , как показано ниже:

Остальное можно настроить в Rank Math > Instant Indexing > Settings .Вы можете выбрать/отменить выбор любого контента, который хотите отправить автоматически. Выбрав типы сообщений, убедитесь, что Rank Math сгенерировал ключ API. Наконец, нажмите «Сохранить изменения», чтобы сохранить настройки.

Rank Math теперь будет автоматически отправлять URL-адреса в IndexNow API всякий раз, когда на вашем веб-сайте публикуется или изменяется новое сообщение. Однако обратите внимание, что Rank Math не будет автоматически отправлять URL-адреса, для которых установлено значение NoIndex .

3 Отправить URL-адреса вручную

Rank Math предлагает несколько различных вариантов отправки ваших URL-адресов вручную.Вот они:

3.1 Пакетная отправка URL-адресов

Чтобы отправить URL-адреса вручную, просто перейдите к Rank Math > Мгновенное индексирование > Отправить URL-адреса . Здесь вы можете добавить несколько URL-адресов (по одному на строку) ваших сообщений в блоге, домашней страницы или любого другого веб-контента.

Затем нажмите кнопку Отправить URL-адреса , и все добавленные URL-адреса будут отправлены на индексацию без фактического посещения инструментов для веб-мастеров или настройки с помощью ключа API.

3.2 Отправить отдельный пост/страницу

В дополнение к функции «Отправить URL-адреса» в настройках мгновенного индексирования вы всегда можете отправить свое сообщение (или страницу) со страницы «Сообщения» в редакторе WordPress.

На странице сообщений при наведении курсора на сообщение вы увидите ряд параметров. Выберите параметр Instant Indexing: Submit Page , как показано ниже.

После того, как сообщение будет успешно отправлено, вы увидите уведомление в верхней части страницы, подобное приведенному ниже.

3.3 Массовое действие мгновенного индексирования

В некоторых сценариях вам может потребоваться отправить несколько URL-адресов со страницы сообщений. Отправка URL-адресов по одному в этом случае была бы утомительной, а Rank Math предлагает массовое действие, так что вы можете сэкономить свое время.

Чтобы использовать массовое действие, выберите сообщения, которые вы хотите отправить в IndexNow. Затем выберите параметр Instant Indexing: Submit Pages из списка Bulk Actions и нажмите кнопку Apply .

4 Управление ключом API

Вы можете управлять ключом API, сгенерированным Rank Math для протокола IndexNow, в настройках Instant Indexing в разделе Rank Math > Instant Indexing > Settings .

4.1 Изменить ключ API

В поле ключа API отображается ключ API, автоматически сгенерированный Rank Math для вашего веб-сайта.Этот ключ API поможет вам подтвердить право собственности на ваш сайт.

В маловероятном случае, если ключ API станет известен третьим лицам, вы всегда можете повторно сгенерировать новый, щелкнув параметр Изменить ключ . Затем Rank Math через несколько минут сгенерирует новый ключ API для вашего сайта.

4.2 Проверка местоположения ключа API

Как мы упоминали ранее, Rank Math динамически размещает ключ API и предоставляет его поисковым системам. В случае, если вы предпочитаете проверить, доступен ли ключ API для поисковых систем, вы можете нажать кнопку Check Key , доступную в расположении ключа API.Откроется новая вкладка, которая приведет к месту, где Rank Math содержит ключ API.

Если на новой вкладке отображается ваш ключ API, вы можете быть уверены, что ключ API будет передан поисковым системам для проверки вашего сайта (при условии, что эта страница не заблокирована через robots.txt).

5 Проверка истории

Чтобы проверить отправленные вами URL-адреса, вы всегда можете посетить раздел «История» в IndexNow Rank Math. Вы также можете проверить код ответа, связанный с вашей отправкой.В идеале он должен отображать «200 — OK» всякий раз, когда вы отправляете любые действительные и релевантные URL-адреса. Это означает, что отправленный вами URL-адрес был успешно отправлен без каких-либо проблем.

Примечание. Сначала пользователи увидят статус «202 — Принято». Это означает, что API IndexNow принял запрос, но сайт еще не проверен с помощью ключа API.

6 Каковы преимущества IndexNow для издателей?

  • Одиночная отправка: С помощью одной отправки IndexNow API позволяет веб-мастерам информировать все участвующие поисковые системы об изменениях на сайте.
  • Помогает публиковать веб-контент быстрее: IndexNow снижает нагрузку на сервер при сканировании. То есть всем участвующим поисковым системам не нужно тратить больше времени на поисковые обходы, чтобы убедиться, что все веб-страницы обновлены или нет. Это еще больше поможет сократить время индексации контента и его обнаружения пользователями.
  • Сокращение времени загрузки сервера: Повышает производительность сервера без дополнительного бремени избыточного обслуживания веб-страниц, которое уже есть у поисковых систем.
  • Снижение давления глобального потепления: Помогает уменьшить давление глобального потепления за счет снижения энергопотребления при сканировании и индексировании.

7 часто задаваемых вопросов по IndexNow: все, что вам нужно знать

Что означает IndexNow?

IndexNow — это инициатива с открытым исходным кодом, доступная для всех участвующих поисковых систем, цель которой — изменить способ обнаружения контента на метод push. Это простой протокол проверки связи, который позволяет поисковым системам узнать, что URL-адрес и его содержимое были добавлены, обновлены или удалены, что позволяет поисковым системам быстро отражать это изменение в результатах поиска за счет более быстрого сканирования и индексирования.


Какие поисковые системы используют IndexNow?

Эта технология, разработанная Microsoft Bing и Yandex, позволяет веб-сайтам легко уведомлять поисковые системы о создании, обновлении или удалении содержимого их веб-сайта. В настоящее время Bing и Яндекс являются единственными поисковыми системами, использующими функцию IndexNow, но ожидается, что другие поисковые системы будут использовать IndexNow.

Как работает модуль IndexNow в Rank Math?

Когда модуль IndexNow включен, Rank Math автоматически сгенерирует ключ API для вашего веб-сайта и динамически разместит его.Для сконфигурированных типов сообщений, когда новое сообщение создается, обновляется или удаляется, Rank Math автоматически пингует IndexNow, и все поисковые системы с поддержкой IndexNow будут знать о последних изменениях на сайте.

Сколько URL-адресов я могу отправлять в день?

В настоящее время функция IndexNow не имеет каких-либо известных ограничений на URL-адреса, которые можно отправлять в день. Но всегда рекомендуется не использовать это преимущество.

D

Несмотря на отправку URL, почему мой URL еще не проиндексирован?

IndexNow — это способ информировать поисковые системы о последних изменениях на сайте.Однако сканирование и индексирование этих страниц полностью остается на усмотрение участвующей поисковой системы.

8 Заключение

Вот оно! Мы надеемся, что это руководство помогло без проблем настроить модуль IndexNow от Rank Math. Если у вас все еще есть какие-либо сомнения относительно использования функции IndexNow на вашем веб-сайте, свяжитесь с нашей службой поддержки, и мы будем рады помочь вам в любое время.

Инициатива Bing и Яндекс IndexNow подчеркивает ценность рассмотрения «времени до индексации» как KPI

Поиск способов индексации контента самым быстрым и эффективным способом уже давно является одним из столпов органического поиска и технического SEO.

Однако это сложный ландшафт, в котором легко заблудиться. Давайте возьмем пример крупномасштабного бизнеса электронной коммерции. Ежедневно добавляются и удаляются тысячи новых страниц продуктов, медленная или неточная индексация может напрямую привести к потере трафика и, возможно, продаж.

Проблемным может быть не только индексирование новых страниц. Подумайте о последствиях медленного индексирования для компании, которую попросили удалить страницу по юридическим причинам.Конечно, это более редкая проблема, но она может иметь серьезные последствия, не в последнюю очередь связанные с репутационным ущербом.

Это хорошая новость для многих, что Microsoft Bing и Яндекс представили дополнение к текущему инструментарию индексирования. Инициатива под названием IndexNow означает, что любая поисковая система, которая захочет, может позволить владельцам сайтов легко уведомлять поисковые системы о новом, обновленном или удаленном контенте.

«Как только поисковые системы уведомляются об обновлениях, они быстро сканируют и отражают изменения веб-сайта в своем индексе и результатах поиска», — пишет Microsoft в своем блоге.

веб-сайтам будет разрешено отправлять до 10 000 URL-адресов в день. Конечно, это означает, что те, у кого больше , чем это число, должны будут расставить приоритеты, какие URL-адреса они хотят пометить, и, в свою очередь, понять, какие страницы наиболее важны для них в разные периоды года. (Это особенно актуально для сезонных отраслей, таких как мода и спорт.)

Также стоит отметить, что разработка идет как раз к Черной пятнице и Киберпонедельнику. Не следует упускать из виду, что IndexNow предоставляет еще один ценный инструмент индексации для предприятий электронной коммерции, которым, естественно, не хватает работы в этот крупный годовой период распродаж.

Мы движемся к более эффективному Интернету

Одной из самых мощных функций IndexNow является то, что URL-адреса, отправленные в поисковую систему с поддержкой IndexNow, автоматически отправляются во все других поисковых систем с поддержкой IndexNow. Это первая инициатива индексации, предлагающая что-то подобное. Подобные протоколы до сих пор применялись только к имеющейся поисковой системе:

.
  • Bing уже имеет подключаемый модуль API, который позволяет пользователям помечать обновленное содержимое, но отправленные URL-адреса только помечены для Bing.
  • В настоящее время API индексации Google применяется только к объявлениям о вакансиях и контенту прямых трансляций.

Все это способствует более широкому видению, которое в ближайшие месяцы и годы будет становиться все более распространенным. Microsoft высказывает это видение в своей прессе по поводу IndexNow, заявляя, что цель инициативы — «сделать Интернет более эффективным». IndexNow помогает предприятиям получать наиболее своевременную и актуальную информацию для своих клиентов, одновременно улучшая общий опыт для всех», — говорит Бинг.

Более эффективный Интернет, безусловно, является хорошей новостью не только для предприятий и потребителей, но и для окружающей среды. Любые инновации, связанные со скоростью индексации, положительно сказываются на углеродном следе Интернета. Другими словами, чем меньше вычислительной энергии требуется для индексации страниц, тем меньше влияние Интернета на окружающую среду.

Очки действия

Использование IndexNow, наряду с другими методами ускорения индексации, может помочь компаниям сократить свой углеродный след.

На данный момент Bing и Яндекс являются двумя поисковыми системами, которые приняли протокол, но любой может принять участие. Итак, кто будет следовать?

Мы думаем, что более мелкие местные поисковые системы могут принять IndexNow, как, например, граждане Чешской Республики, которые часто используют местные поисковые системы. Google еще не обнародовал никаких планов последовать этому примеру, но мы не думаем, что это слишком надуманно, чтобы ожидать этого в ближайшем будущем. Точно так же мы думаем, что Naver также может принять протокол.

Что, возможно, наиболее показательно для потенциальной скорости внедрения IndexNow, так это тот факт, что Akamai и Cloudflare — два крупнейших поставщика сетевых услуг доставки контента — уже интегрировали его.

Системы управления контентом, которые планируют поддерживать его в ближайшие недели (согласно этому блогу Bing), включают:

Однако некоторые участники индустрии поиска более осторожны. Джуст де Валк, основатель SEO-плагина Yoast SEO для WordPress, недавно написал в Твиттере: «Мы не добавили для этого поддержку @yoast SEO по простой причине: мы еще не оценили его ценность.»

IndexNow следует использовать в соответствии с полным спектром методов индексирования

IndexNow, безусловно, является интересным дополнением к инструментам индексации, имеющимся в распоряжении предприятий. Но важно помнить, что процесс ускорения индексации многогранен. Существует множество методов, которые компания может использовать для сокращения показателя времени индексации, и они должны использовать все возможные методы.

Например, такие методы, как использование XML-карт сайта, по-прежнему очень ценны.(Это традиционный способ перечисления всех URL-адресов в XML для поисковых систем, чтобы они могли прийти и проверить.) Аналогичным образом, демонстрация ваших наиболее важных ссылок, ближайших к вашей домашней странице или другим ключевым страницам, является важной частью помощи поисковым системам в поиске вашего нового или обновленного веб-сайта. содержание быстрее. RSS-каналы и протокол WebSub также являются полезными инструментами индексации, которые нельзя упускать из виду (подробнее об этих методах ниже).

Имея все это в виду, нельзя недооценивать ценность работы с партнером, помогающим решить техническую проблему индексации.

Все предприятия должны рассматривать время до индексации как KPI

Конечно, IndexNow разработан не Google. Но тот факт, что две основные поисковые системы мира довели его от концепции до исполнения, кажется кое-чем символичным — главным образом, темой более быстрого индексирования следует постоянно уделять должное внимание. На самом деле компании должны рассматривать время до индексации как KPI. И они должны обращаться с этим показателем с таким же усердием и осторожностью, как и с любым другим маркетинговым или операционным показателем.Здесь уместно воспользоваться моментом, чтобы отдать должное Bing и Яндексу за продвижение этой инициативы. Всегда приятно видеть позитивный и активный шаг за пределами арены Google.

В Merj мы помогаем нашим клиентам улучшить показатель времени до индексации, применяя полностью целостный и детальный подход к индексации. Как упоминалось выше, это действительно не ситуация выбора и выбора. Компании должны использовать все доступные им тактики индексации , хотя мы понимаем, что это может быть легче сказать, чем сделать из-за ограничений технической платформы и ограниченности данных, доступных компаниям.Мы помогаем нашим клиентам преодолевать эти барьеры, исследуя, создавая прототипы и интегрируя решения, обеспечивающие максимальный охват.

Вот краткий обзор некоторых методов, которые мы используем:

Динамические XML-карты сайта

Одним из разработанных нами решений является использование временных динамических карт сайта в формате XML. Это включает в себя создание динамических XML-карт сайта с новыми веб-страницами, которые затем контролируются мониторингом журнала сервера. Это позволяет нам отслеживать, когда поисковые системы посещают эти новые веб-страницы.Как только посещение было инициировано, мы можем удалить его из соответствующей динамической XML-карты сайта, чтобы поисковые системы могли легко получить доступ к другим URL-адресам без какого-либо шума.

RSS и ATOM-каналы

Эти фиды в первую очередь позволяют сторонним агрегаторам, таким как Feedly и Slack, показывать новый контент подписавшимся пользователям. Однако Google позволяет отправлять URL-адреса через RSS-каналы, чтобы также находить новый контент.

Websub

Websub (ранее PubSubHubbub) — это расширение RSS-канала, с помощью которого включается поток производителя и потребителя.Как и IndexNow, Websub позволяет поисковым системам прослушивать обновления. Хотя — это , поддерживаемый Google, в прошлом этот метод применялся реже, возможно, из-за отсутствия примеров и документации.

Отметка времени

Мы создаем аудит уведомлений о событиях временных рядов, который ставит временные метки для любых новых веб-страниц, добавляемых на веб-сайт. Веб-страницы классифицируются по типам страниц, что позволяет нам просматривать изменения отдельных страниц или в агрегированном виде.Новые веб-страницы отправляются в различные службы индексирования с записью времени их отправки.

Внутренняя связь

Ссылки на наиболее важные новые веб-страницы из существующих важных веб-страниц могут помочь поисковым системам быстрее обнаруживать эти новые веб-страницы. Это связано с тем, что существующие веб-страницы будут иметь более высокую частоту сканирования. Важные веб-страницы могут включать в себя домашнюю страницу, веб-страницы со списком продуктов первого уровня или бизнес-веб-страницы верхнего уровня.

В конечном счете, IndexNow возвращает наше внимание к теме, которая будет становиться все более распространенной по мере расширения Интернета. Это означает необходимость постоянно думать о том, как нам справиться с таким гигантским, сложным ландшафтом — и мы, например, здесь для этого.

Быстрый способ проверить индексацию страниц в Яндексе и Гугле. Поисковый индекс Какие страницы проиндексировал яндекс

Плавно возвращаемся к марафону… В ходе него мы сделали небольшой сайт на определенную тематику, оптимизированный для поисковых систем и готовый к дальнейшему продвижению.Сегодня нам нужно написать о начальной индексации сайта и обо всем, что с этим связано.

В статье про я писал про наполнение сайта статьями и совсем забыл написать про периодичность наполнения … Всем понятно, что чем чаще мы обновляем (наполняем сайт контентом), тем лучше. Делать это желательно каждый день. День по статье. Если нельзя обновлять каждый день, то хотя бы через день-два. Так мы показываем поисковым системам, что сайт жив и постоянно развивается (так оно и есть).

Допустим, вы пишете статьи, но почему-то сайт долго не индексируется в ПС. Обычно Google быстро индексирует новые сайты, но Яндекс иногда бывает упрям, и для быстрой индексации приходится выполнять какие-то действия.

Как быстро проиндексировать сайт?

В первую очередь нужно сделать.

1. Добавление сайта в сервисы для вебмастеров
Чтобы быстро проиндексировать сайт в Яндексе, выполните следующие действия:

Добавьте сайт в Яндекс.Вебмастер: http://webmaster.yandex.ru/
Подтверждаем права на сайт, выполнив необходимые действия.

Добавьте файл Sitemap.xml для вашего сайта: http://webmaster.yandex.ru/site/map.xml.

Так же можно добавить сайт в адурилку. Но в принципе это и не нужно, потому что когда вы добавляете его в Яндекс.Вебмастер, вы уже сообщаете Яндексу о новом сайте.

Для быстрого индексирования Google также имеет панель для веб-мастеров:

Добавьте файл Sitemap.xml.Смотрим настройки и меняем их, если нужно.

Если вы не можете добавить в инструменты для веб-мастеров, вы можете просто использовать надстройку Google.

2. Используем службы пинга (ping — services)
Службы пинга помогают быстро проиндексировать вновь опубликованный пост, а точнее они созданы для оповещения поисковых систем и других служб о появлении новых постов на вашем сайте.

В WordPress есть инструмент для автоматического уведомления служб обновлений о появлении новой публикации.Список служб пинга настраивается в Панели администратора WP — «Настройки» — «Запись», Службы обновления .

В сети есть огромные списки сервисов обновлений. Не вижу смысла в большом списке сервисов пинга и пользуюсь только этими сервисами:

http://rpc.pingomatic.com/
http://ping.blogs.yandex.ru/RPC2
http ://blogsearch.google.com/ping/RPC2
http://ping.feedburner.com

В качестве инструмента для быстрой индексации сайта.
Сейчас много соц.закладки и множество сервисов и программ для постинга в соц. Закладки. Мне нравится программа Beetle Loader. В общем, работа с соц. закладки это просто. Зарегистрировать аккаунты в сервисах закладок, разместить url главной или любой внутренней страницы, написать описание, ключевые слова и т.д.

Покупка ссылок. Для ускорения индексации можно купить ссылки. Покупаю либо в сапе, либо в GGL (все зависит от сайта, который нужно проиндексировать). Я покупаю на доверии ресурсы для людей, где контент обновляется несколько раз в день и очень часто ходят поисковые роботы.

Ваши сайты, форумы, сайты друзей и т.д. Главное не спамить. Вам нужно небольшое количество ссылок для индексации. Можно также, но вряд ли кто-то захочет поменяться с неиндексированного ресурса

Несколько советов:
— Без спама.
— Не использовать запуск каталога для новых сайтов. Сотни (а то и тысячи) дерьмовых ссылок из каталогов и досок объявлений могут помочь быстро проиндексировать новый сайт, но толку от такого сайта не будет. Логика поисковиков понятна, если на сайт ссылается куча говносайтов, то скорее всего этот сайт тоже говносайт.Не говоря уже о паршивых донорах, Яндекс вообще не любит быстрый рост ссылок. Поэтому добавляйте ссылки выборочно, делайте все своими руками и с любовью.

Что такое индексирование? Это процесс, когда робот получает содержимое страниц вашего сайта и включает его в результаты поиска. Если смотреть на цифры, то в базе робота-индексатора содержатся триллионы адресов страниц сайтов. Каждый день робот запрашивает миллиарды таких адресов.

Но весь этот большой процесс индексации в Интернете можно разбить на маленькие шаги:


Во-первых, поисковый робот должен знать, как выглядит страница на вашем сайте.Например, проиндексировав другие страницы в Интернете, найдя ссылки или скачав набор nemp. Мы узнали о странице, после чего планируем просканировать эту страницу, отправить данные на ваш сервер для запроса этой страницы сайта, получить контент и включить его в результаты поиска.

Весь этот процесс представляет собой процесс обмена индексирующим роботом с вашим сайтом. Если запросы, отправляемые роботом-индексатором, практически не меняются, а меняется только адрес страницы, то ответ вашего сервера на запрос страницы роботом зависит от многих факторов:

  • из настроек вашей CMS;
  • в настройках хостинг-провайдера;
  • от работы промежуточного провайдера.

Этот ответ просто меняется. В первую очередь при запросе страницы робот с вашего сайта получает такой служебный ответ:


Это заголовки HTTP. В них содержится различная служебная информация, которая позволяет роботу понять, передача какого контента сейчас будет происходить.

Хотелось бы остановиться на первом заголовке — это код ответа HTTP, который указывает индексирующему роботу статус страницы, которую запросил робот.

Существует несколько десятков таких кодов состояния HTTP:


Расскажу о самых популярных. Наиболее распространенным кодом ответа является HTTP-200. Страница доступна, ее можно проиндексировать, включить в результаты поиска, все нормально.

Противоположный этому статусу HTTP-404. Страница отсутствует на сайте, индексировать нечего, в поиск включать тоже нечего. При изменении структуры сайтов и смене адресов внутренних страниц рекомендуем настроить 301 сервер для редиректа.Именно он укажет роботу, что старая страница переехала на новый адрес и необходимо включить новый адрес в результаты поиска.

Если содержимое страницы не изменилось с момента последнего посещения роботом, лучше вернуть код HTTP-304. Робот поймет, что нет необходимости обновлять страницы в результатах поиска и переноса контента тоже не произойдет.

Если ваш сайт доступен кратковременно, например, при выполнении каких-либо работ на сервере, лучше настроить HTTP-503.Он укажет роботу, что сайт и сервер в данный момент недоступны, нужно зайти чуть позже. В случае кратковременной недоступности это предотвратит исключение страниц из результатов поиска.

Помимо этих HTTP-кодов, статусов страниц, вам также необходимо получить непосредственно содержимое самой страницы. Если для обычного посетителя страница выглядит так:


это картинки, текст, навигация, все очень красиво, то для индексирующего робота любая страница просто набор исходников, HTML код:


Различные метатеги, текстовый контент, ссылки, скрипты, много информации.Робот собирает его и включает в результаты поиска. Вроде бы все просто, запросили страницу — получили статус, получили контент, включили в поиск.

Но ведь не зря поисковая служба в Яндексе получает более 500 писем от вебмастеров и владельцев сайтов о том, что с ответом сервера возникли те или иные проблемы.

Все эти проблемы можно разделить на две части:

Это проблемы с кодом ответа HTTP и проблемы с кодом HTML, с непосредственным содержимым страниц.Причин этих проблем может быть много. Чаще всего это блокировка робота-индексатора хостинг-провайдером.


Например, вы запустили сайт, добавили новый раздел. Робот начинает чаще посещать ваш сайт и увеличивает нагрузку на сервер. Хостинг-провайдер видит это на своих мониторах, блокирует робота-индексатора, в связи с чем робот не может получить доступ к вашему сайту. Заходишь на свой ресурс — все нормально, все работает, страницы красивые, все открывается, все супер, при этом робот не может проиндексировать сайт.Если сайт временно недоступен, например, если вы забыли оплатить доменное имя, сайт отключается на несколько дней. Робот заходит на сайт, он недоступен, при таких условиях он может исчезнуть из результатов поиска буквально через некоторое время.

Неверные настройки CMS, например, при обновлении или переходе на другую CMS, при обновлении дизайна, также могут стать причиной исчезновения страниц вашего сайта из результатов поиска, если настройки неверны. Например, наличие запрещающего метатега в исходном коде страниц сайта, некорректная установка атрибута canonical.Убедитесь, что после всех изменений, которые вы вносите на сайт, страницы доступны для робота.

В этом вам поможет инструмент в Яндексе. Вебмастеру проверить ответ сервера:


Вы можете посмотреть какие HTTP заголовки ваш сервер возвращает роботу, непосредственно содержимое страниц.


Раздел «индексация» содержит статистику, где можно посмотреть, какие страницы исключены, динамику изменения этих показателей, произвести различные сортировки и фильтры.


Также сегодня я уже говорил об этом разделе, разделе «диагностика сайта». Если ваш сайт стал недоступен для робота, вы получите соответствующее уведомление и рекомендации. Как это можно исправить? Если таких проблем нет, сайт доступен, отвечает на 200 кодов, содержит правильный контент, то робот автоматически начинает посещать все страницы, которые распознает. Это не всегда приводит к желаемым последствиям, поэтому активность робота можно определенным образом ограничить.Для этого есть файл robots.txt. Мы поговорим об этом в следующем разделе.

Роботы.txt

Сам файл robots.txt представляет собой небольшой текстовый документ, расположенный в корневой папке сайта и содержащий строгие правила для робота-индексатора, которые необходимо соблюдать при обходе сайта. Преимущество файла robots.txt в том, что для его использования вам не нужны никакие специальные или специальные знания.

Достаточно открыть Блокнот, ввести определенные правила формата, а затем просто сохранить файл на сервере.В течение суток робот начинает использовать эти правила.

Если взять пример простого файла robots.txt, то вот он, только на следующем слайде:


Директива User-Agent: ”показывает, для каких роботов предназначено правило, разрешающие/запрещающие директивы и вспомогательные директивы Sitemap и Host. Немного теории, хочу перейти к практике.

Несколько месяцев назад хотел купить шагомер, поэтому обратился в Яндекс. Маркет в помощь с выбором. Переехал с главной страницы Яндекса на Яндекс.Market и попали на главную страницу сервиса.


Ниже вы можете увидеть адрес страницы, на которую я зашел. Идентификатор меня, как пользователя на сайте, так же добавлен в адрес самого сервиса.

Потом зашел в раздел «каталог»


Выбрал нужный подраздел и настроил параметры сортировки, цену, фильтр, как сортировать, производитель.

Я получил список товаров, и адрес страницы уже вырос.

Перешел к нужному товару, нажал на кнопку «в корзину» и продолжил оформление.

Во время моей короткой поездки адреса страниц изменились определенным образом.


В них были добавлены служебные параметры, которые идентифицировали меня как пользователя, настроили сортировку, указали владельцу сайта, откуда я перешел на ту или иную страницу сайта.

Такие страницы, служебные страницы, я думаю, будут не очень интересны пользователям поисковика. Но если они доступны индексирующему роботу, они могут попасть в поиск, так как робот ведет себя, по сути, как пользователь.

Заходит на одну страницу, видит ссылку, по которой можно перейти, переходит по ней, загружает данные в базу робота и продолжает такой обход всего сайта. В эту же категорию таких адресов могут входить персональные данные пользователей, например, такие как информация о доставке или контактная информация пользователей.

Естественно их лучше запретить. В этом вам поможет файл robots.txt. Вы можете прийти на свой сайт сегодня вечером в конце веб-мастера, нажмите, чтобы увидеть, какие страницы действительно доступны.

Для проверки robots.txt в Вебмастере есть специальный инструмент:


Можно скачать, ввести адреса страниц, посмотреть доступны они для робота или нет.


Внесите некоторые изменения, посмотрите, как робот отреагирует на эти изменения.

Ошибки при работе с robots.txt

Помимо такого положительного влияния — закрытия сервисных страниц, robots.txt при неправильном обращении может сыграть злую шутку.

Во-первых, самая распространенная проблема при использовании роботов.txt — это закрытие тех страниц сайта, которые действительно нужны, те, которые следует искать и показывать по запросам. Прежде чем вносить изменения в robots.txt, обязательно проверьте, не участвует ли страница, которую вы хотите закрыть, в поисковых запросах. Возможно, страница с какими-то параметрами находится в результатах поиска и на нее приходят посетители из поиска. Поэтому обязательно проверьте перед использованием и изменением файла robots.txt.

Во-вторых, если на вашем сайте используются кириллические URL-адреса, вы не сможете указать их напрямую в файле robots.txt, они должны быть закодированы. Так как robots.txt является международным стандартом, все роботы-индексаторы следуют им, и их обязательно нужно будет кодировать. Кириллицу нельзя указать явно.

Третья по популярности проблема — разные правила для разных роботов разных поисковых систем. У одного индексирующего робота были закрыты все страницы индексации, у второго вообще ничего не было закрыто. В итоге в одном поисковике у вас все хорошо, в поиске есть нужная страница, а в другом поисковике может быть мусор, разные мусорные страницы и еще что-то.Обязательно следите, если вы поставили бан, то это нужно сделать для всех индексирующих роботов.

Четвертая наиболее распространенная проблема — использование директивы Crawl-delay, когда она не нужна. Эта директива позволяет влиять на чистоту запросов от индексирующего робота. Это практический пример, небольшой сайт, поставил на небольшой хостинг, все нормально. Добавили большой каталог, пришел робот, увидел кучу новых страниц, начинает чаще заходить на сайт, увеличивает нагрузку, скачивает его и сайт становится недоступным.Ставим директиву Crawl-delay, робот это видит, снижает нагрузку, все нормально, сайт работает, все отлично индексируется, есть в результатах поиска. Через какое-то время сайт разрастается еще больше, переносится на новый хостинг, готовый справиться с этими запросами, с большим количеством запросов, и забывают убрать директиву Crawl-delay. В результате робот понимает, что на вашем сайте появилось много страниц, но не может их проиндексировать просто из-за директивы.Если вы когда-либо использовали директиву Crawl-delay, убедитесь, что сейчас ее нет и что ваш сервис готов справиться с нагрузкой от робота-индексатора.


Помимо описанного функционала, файл robots.txt также позволяет решить две очень важные задачи — избавиться от дубликатов на сайте и указать адрес основного зеркала. Именно об этом мы поговорим в следующем разделе.

Дабы


Под дубликатами мы понимаем несколько страниц одного сайта, которые содержат абсолютно идентичный контент.Самый распространенный пример — страницы с косой чертой в конце адреса и без нее. Также под дубликатом может пониматься один и тот же товар в разных категориях.

Например, роликовые коньки могут быть для девочек, для мальчиков, одна и та же модель может быть в двух секциях одновременно. И в-третьих, это страницы с несущественным параметром. Как в примере с Яндекс. По маркету эта страница является «идентификатором сессии», такой параметр принципиально не меняет содержания страницы.

Чтобы найти дубликаты, посмотреть, на какие страницы заходит робот, можно использовать Яндекс. Веб-мастер.


Помимо статистики, здесь также есть адреса страниц, которые скачал робот. Вы видите код и последний хит.

Проблемы, которые удваиваются, приводят к

Чем плохи дубликаты?

Сначала робот начинает обращаться к абсолютно идентичным страницам сайта, что создает дополнительную нагрузку не только на ваш сервер, но и влияет на обход сайта в целом.Робот начинает обращать внимание на страницы-дубликаты, а не на те страницы, которые нужно проиндексировать и включить в результаты поиска.


Вторая проблема заключается в том, что страницы-дубликаты, если они доступны для робота, могут попасть в результаты поиска и конкурировать с основными страницами по запросам, что, естественно, может негативно сказаться на нахождении сайта по определенным запросам.

Как бороться с дубликатами?

В первую очередь рекомендую использовать тег «канонический», чтобы указать роботу на главную, каноническую страницу, которую следует индексировать и искать.

Во втором случае можно использовать 301 серверную переадресацию, например, для ситуаций со слэшем в конце адреса и без слэша. Настройте редирект — без дубликатов.


И в-третьих, как я уже сказал, это файл robots.txt. Вы можете использовать как запрещающие директивы, так и директиву Clean-param, чтобы избавиться от несущественных параметров.

Зеркала сайта

Вторая задача, которую может решить robots.txt — указать роботу адрес главного зеркала.


Зеркала — это группа сайтов, абсолютно идентичных, как дубликаты, только два разных сайта. Веб-мастера обычно сталкиваются с зеркалами в двух случаях — когда хотят переехать на новый домен или когда пользователю нужно сделать доступными несколько адресов сайтов.

Например, вы знаете, что когда пользователи набирают ваш адрес, адрес вашего сайта в адресной строке, они часто делают одну и ту же ошибку — ошибаются, набирают не тот символ или что-то еще. Вы можете приобрести дополнительный домен, чтобы показывать пользователям не заглушку от хостинг-провайдера, а показывать сайт, на который они действительно хотели перейти.

Остановимся на первом пункте, ведь именно с ним чаще всего возникают проблемы при работе с зеркалами.

Советую выполнять весь процесс перемещения согласно следующей инструкции. Небольшая инструкция, которая позволит вам избежать различных проблем при переходе на новое доменное имя:

Во-первых, нужно сделать сайты доступными для робота-индексатора и разместить на них абсолютно идентичный контент. Также убедитесь, что робот знает о существовании сайтов.Самый простой способ — добавить их в Яндекс. Вебмастер и проверьте свои права.

Во-вторых, с помощью директивы Host указать роботу адрес главного зеркала — того, который должен быть проиндексирован и найден в результатах поиска.

Ждём склейки и переноса всех индикаторов со старого сайта на новый.


После этого уже можно настроить переадресацию со старого адреса на новый. Простые инструкции, если будете переезжать, обязательно ими пользуйтесь.Надеюсь проблем с переездом
не будет.

Но, естественно, при работе с зеркалами возникают ошибки.

В первую очередь основная проблема — это отсутствие явных указаний для индексации роботом адреса главного зеркала, адреса, который должен быть в поиске. Проверьте на своих сайтах, что у них в robots.txt есть директива host, и она ведет именно на тот адрес, который вы хотите видеть в поиске.

Второй по распространенности проблемой является использование перенаправления для смены главного зеркала в существующей группе зеркал.Что творится? Старый адрес, так как он перенаправляет, не индексируется роботом, исключается из результатов поиска. При этом новый сайт не попадает в поиск, так как является не основным зеркалом. Вы теряете трафик, теряете посетителей, я думаю, это никому не нужно.


И третья проблема — недоступность одного из зеркал при движении. Самый частый пример в такой ситуации, когда содержимое сайта было скопировано на новый адрес, а старый адрес просто отключен, доменное имя не оплачено и оно стало недоступным.Естественно, такие сайты не будут склеены, они должны быть доступны для индексирующего робота.

Полезных ссылок в работе:

  • Больше полезной информации вы можете найти в сервисе Яндекс.Помощь.
  • Все инструменты, о которых я говорил, и даже больше — есть бета-версия Яндекс.Вебмастера.

Ответы на вопросы

«Спасибо за отчет. Нужно ли robots.txt закрывать индексацию css для робота или нет? »

На данный момент мы не рекомендуем их закрывать.Да, CSS, JavaScript лучше оставить, потому что сейчас мы работаем над тем, чтобы робот-краулер начал распознавать как скрипты на вашем сайте, так и стили, и мог видеть, как посетитель из обычного браузера.

«Скажите, если адреса сайтов совпадают, старый и новый — это нормально?»

Все в порядке. По сути, у вас просто обновление дизайна, добавление некоторого контента.

«На сайте есть категория и она состоит из нескольких страниц: слеш, страница1, страница2, до 10, например.На всех страницах один текст категории, и он получается дублирующимся. Будет ли этот текст дублироваться или его надо будет как-то закрывать, новый индекс на второй и последующих страницах? »

Во-первых, поскольку нумерация страниц на первой странице и содержание на второй странице, как правило, различаются, они не будут дублироваться. Но нужно рассчитывать, что вторая, третья и последующие страницы пагинации могут попасть в поиск и показать по любому релевантному запросу. Лучше на страницах пагинации я бы рекомендовал использовать атрибут канонический, в лучшем случае — на странице, на которой собраны все товары, чтобы робот не включал страницы пагинации в поиск.Люди очень часто используют канонический на первой странице пагинации. Робот заходит на вторую страницу, видит товар, видит текст, не включает страницы в поиск и понимает благодаря атрибуту, что необходимо включить первую страницу пагинации в результаты поиска. Использовать каноническую, а сам текст закрывать, думаю, что не надо.

Источник (видео): Как настроить индексацию сайта — Александр Смирнов

Магомед Чербижев

Поисковый трафик самый желанный для любого ресурса.Но чтобы люди смогли найти сайт в результатах поиска, он должен сначала попасть в индекс. Некоторые веб-мастера не уделяют этому должного внимания, надеясь, что поисковые системы сами найдут их сайт или его новые страницы. Увы, ждать можно очень долго.

Здесь особенно отличается индексация сайта в Яндексе. Если Google выхватывает страницу буквально за считанные дни, то главная поисковая система Рунета без посторонней помощи может месяцами не обращать на сайт внимания.

Но все поправимо. Если знать, как действовать, индексация страниц Яндексом может происходить через несколько минут после их появления. И чем раньше ваши записи появятся в базе данных этой поисковой системы, тем быстрее начнется их раскрутка – тем проще будет получить посетителей и завоевать популярность в Интернете.

Как быстро Яндекс индексирует сайт?

Все ресурсы можно разделить на несколько групп по скорости индексации их новых страниц:

  • 1.Быстрая индексация сайтов. К ним относятся в первую очередь новостные порталы и известные форумы. Буквально за несколько минут в индекс включаются новые записи, что вполне логично – новость остается новостью очень короткое время. Также быстрое попадание в базу Яндекса обеспечивают постоянно обновляемые трастовые ресурсы. Они уже завоевали его доверие качеством контента и возрастом.
  • 2. Хорошо индексируемые сайты. Это те ресурсы, которые научили поисковик регулярно обновляться. Они не обязательно заслуживают доверия или старые, они просто постоянно радуют и пользователей, и поисковые системы новым контентом.Яндекс хорошо относится к таким сайтам и страницы находятся вне индекса не более нескольких дней.
  • 3. Трудно индексируемые сайты. Это касается новых ресурсов, особенно если веб-мастера не предпринимают никаких действий по их популяризации. Кроме того, сайты, которые долго не обновляются, плохо индексируются. Если не добавлять новые записи в течение нескольких месяцев, Яндекс перестает заходить на сайт — вернется когда вздумается, ждать можно очень долго.

Такова классификация.Понятно, что условно, исходя из наблюдений веб-мастеров и оптимизаторов. Яндекс никогда никому не расскажет, по какому принципу он индексирует сайты и как определяет, кого стоит посетить, а кто недостоин его внимания. Но из этого деления можно сделать несколько очень полезных выводов.

Какие сайты быстро индексируются Яндексом:

  • часто обновляется: чем чаще появляются записи, тем быстрее они попадают в индекс;
  • доверие: возраст, ТИЦ, посещаемость, количество страниц — чем больше, чем выше доверие Яндекса к сайту, тем чаще на него заходит робот поисковой системы.

Конечно, на индексацию могут влиять и другие факторы, такие как тематика сайта, внешние ссылки и поведенческие факторы. Поэтому никто не возьмется гарантировать быстрое появление страниц в поисковой выдаче даже для трастовых сайтов. Также не обязательно, что новоиспеченный сайт месяцами будет ждать индексации в Яндексе. Более того, мы сами можем иметь некоторое влияние на этот процесс.

Как быстрее проиндексировать сайт в Яндексе?

Для ускорения индексации в Яндексе рекомендуем покупать твиты на бирже twitterstock, можно купить твиты с трастовых аккаунтов за 3 рубля.Быстрый робот прибывает очень быстро

В первую очередь необходимо добавить сайт в панель для вебмастеров Яндекса (Яндекс.Вебмастер). Так вы уведомляете поисковик о появлении нового ресурса. Процесс простой, но очень полезный, тем более что он даст вам возможность отслеживать, как ваш сайт воспринимается Яндексом.

Кроме того, каждую новую страницу можно добавлять в надстройку (в том же Яндекс.Вебмастере пункт «Сообщить о новом сайте»). Хоть это и не гарантия индексации, но лишним не будет.

  • создайте карту сайта: лучше всего два типа: HTML для пользователей и XML для поисковых роботов. Благодаря этой странице Яндекс сможет сразу увидеть структуру сайта и все его записи, что позволит быстро все проиндексировать;
  • делать внутреннюю перелинковку: ссылки с одной страницы на другую ведут поисковую систему по всему ресурсу, и в нее включаются записи, найденные в индексе;
  • регулярно обновляйте сайт: научите Яндекс, что у вас постоянно появляются новые записи — и он будет чаще заходить на ресурс.

Для ускорения индексации в Яндексе необходимо привлечь на свой сайт поискового робота с других ресурсов по внешним ссылкам:

  • 1. Объявление в социальных сетях и блог-платформах. Это, пожалуй, на сегодняшний день самый эффективный способ ускорить индексацию в Яндексе. Так, например, ссылки из Твиттера могут привести поисковый робот на ваш сайт за несколько минут. Любит Яндекс и свое детище — блоги Я.ру. ВКонтакте, LiveInternet, LiveJournal также являются популярными инструментами для быстрой индексации.Понятно, что от раскрутки аккаунта или блога зависит очень многое — если он вне индекса Яндекса, то не стоит ожидать, что ссылка с него поможет.
  • 2. Комментарии в блогах и сообщения на форумах. Особенно эффективно, если эти ресурсы хорошо индексируются — робот сразу перейдет по ссылке на ваш сайт. Этот способ лучше всего подходит, когда нужно добавить новый сайт в индекс Яндекса, потому что этот процесс довольно трудоемкий и использовать его для ускорения индексации каждой новой записи нерационально.
  • 3. RSS-трансляции в специализированных каталогах. Некоторые RSS-каталоги Яндекс посещает достаточно часто, поэтому, если вы добавите туда свой сайт, и они будут транслировать новые записи, это поможет ускорить индексацию.
  • 4. Добавление в социальные закладки. MyMesto, Beaver Dobr, Delicious, Toodoo — самые известные из них. Поисковые системы следят за обновлениями в этих сервисах, поэтому у ваших страниц есть все шансы быстро попасть в индекс.
  • 5. Добавление в белые каталоги сайтов. Особенно хорошо, если вашему ресурсу удается попасть в Яндекс.Каталог. Это уже будет говорить о доверии поисковой системы к нему, а значит, о хорошей индексации.
  • 6. Покупка ссылок. Наиболее эффективными будут ссылки с трастовых ресурсов, а также с новостных порталов — они сами быстро индексируются, и обеспечат это вашему сайту. Можно заказать ссылки с блогов, например, того же Я.ру или ЖЖ — они недорогие, но прекрасно работают.

Конечно, этот список можно продолжать, дополнять и обновлять. Особенно, если учесть, что поисковые системы постоянно меняют и совершенствуют свои алгоритмы, а значит, любой из способов может стать неактуальным, или наоборот — в большей степени способствовать быстрой индексации сайта в Яндексе.А ведь это неплохой старт для продвижения сайта — с помощью перечисленных способов можно показать свой ресурс поисковым системам, а заодно улучшить его и нарастить ссылочную массу.

В последнее время, в августе-сентябре 2015 года, многие заметили, что Яндекс стал очень плохо индексировать страницы. Причиной этого стал сбой большого объема серверов и соответственно снижение мощности краулеров Яндекса. Проще говоря, робот Яндекса теперь дольше ходит к вам и данные, полученные с ваших страниц, дольше обрабатываются.Как быстро переиндексировать свой сайт после переноса в текущих реалиях? Многие люди задают себе этот вопрос. Но конкретного руководства как это сделать все равно нет.

К сожалению, ситуация со столь длительной индексацией страниц вашего сайта связана с ранее возникшими техническими проблемами с нашей стороны. В настоящее время мы занимаемся их устранением, но, увы, на это потребуется время. (пример стандартного ответа)

  • Уже 2 месяца ремонтируют техническую часть.

И так что нам нужно для быстрой переиндексации сайта:

  • Сайт;
  • Яндекс вебмастер
  • С прямыми руками!

Что нужно сделать для переиндексации:

Шаг 1. Добавление страницы в кассу

Если страниц не много, то добавить их все через сервис Проверить URL в Яндексе. Веб-мастер.

Если страниц слишком много, то добавляем основные разделы и пока что все.Вы можете использовать как функционал вебмастера Яндекса, так и: http://webmaster.yandex.ru/addurl.xml

Шаг 2. Пишем в поддержку Яндекс. (Мне, честно говоря, не нравится их поддержка, пока добираешься до него, можно разозлиться!)

https://webmaster.yandex.ru/site/feedback.xml — задать вопрос по сайту.

Клик: Мой сайт плохо индексируется => Сайт полностью пропал из поиска => Рекомендации не помогли

Пишем правильное письмо в Яндекс.

Добрый день, большинство моих страниц, которые ранее успешно искались и занимали позиции в топе, вылетели из поискового индекса. Пожалуйста, переиндексируйте мой сайт. И подскажите в чем причина вылета моего сайта из индекса.

Прикрепите загрузку CSV-страниц из раздела. «Индексация сайта» => «Исключенные страницы»
Эту интерпретацию придется повторить 2-4 раза, пока весь сайт не будет переиндексирован. Это единственный способ ускорить индексацию страниц сайта в Яндексе после переноса сайта на новый хостинг или домен.

Дополнительная информация. Яндекс стал чаще обновлять результаты поиска, в среднем это 3 дня против последних 10 дней. Следует ожидать, что к концу 2017 года скорость индексации сайтов в рунете сильно возрастет.

Как часто нужно отправлять страницы сайта на переиндексацию?

Исходя из своей практики, рекомендую делать это после каждого даже незначительного изменения страницы. Отправка на переиндексацию ускоряет обход искомых страниц роботом и, как следствие, быстрее учитываются вносимые в них изменения.Если вы не меняли страницу по большей части, то можно раз в 2 недели делать принудительный обход по основным разделам.

Довольно часто новый сайт не может быть найден в Яндексе. Даже если вы наберете его название в поле поиска. Причины этого могут быть разными. Иногда поисковики просто еще не знают, что появился новый ресурс. Чтобы разобраться, в чем дело и решить проблему, нужно зарегистрировать сайт в Яндекс.Вебмастере.

Что такое индексация сайта в Яндексе

Для начала разберемся, как поисковые системы вообще узнают о новых сайтах или изменениях на них. В Яндексе есть специальная программа, которая называется поисковый робот. Этот робот просматривает Интернет и ищет новые страницы. Иногда заходит на старые — проверяет, не появилось ли на них что-то новое.

Когда робот находит полезную страницу, он добавляет ее в свою базу данных. Эта база называется поисковым индексом. Когда мы что-то ищем в поиске, мы видим сайты из этой базы. Индексация — это когда робот добавляет в него новые документы.

Робот не может каждый день обходить весь Интернет.У него недостаточно сил, чтобы это сделать. Поэтому ему нужна помощь — сообщить о новых страницах или изменениях на старых.

Что такое Яндекс.Вебмастер и зачем он нужен

Яндекс.Вебмастер — официальный сервис от Яндекс. В него нужно добавить сайт, чтобы робот знал о его существовании. С его помощью владельцы ресурсов (веб-мастера) могут доказать, что это их сайт.

Вы также можете увидеть в Вебмастере:

  • когда и куда вошел робот;
  • какие страницы он проиндексировал, а какие нет;
  • по каким ключевым словам приходят люди;
  • есть ли технические ошибки.

Через этот сервис можно настроить сайт: установить регион, цены на товары, защитить свои тексты от кражи. Вы можете попросить робота повторно зайти на страницы, на которых вы вносили изменения. Яндекс.Вебмастер упрощает переход на https или другой домен.

Как добавить новый сайт в Яндекс.Вебмастер

Перейти в панель веб-мастера. Нажмите Войти. Вы можете ввести логин и пароль, которые используете для входа в почту Яндекс. Если у вас еще нет учетной записи, вам необходимо зарегистрироваться.

После авторизации вы попадете на страницу со списком добавленных ресурсов. Если вы ранее не пользовались услугой, список будет пуст. Чтобы добавить новый ресурс, нажмите кнопку «+».

На следующей странице введите адрес своего веб-сайта и подтвердите его добавление.

На последнем этапе нужно подтвердить права — доказать Яндексу, что вы являетесь владельцем. Есть несколько способов сделать это.

Как проверить права сайта в Яндекс.Веб-мастер

Самый простой способ проверить права в Яндекс.Вебмастере это добавить файл на сайт . Для этого нажмите на вкладку «HTML файл».

Загружен небольшой файл. Этот файл понадобится вам сейчас, поэтому сохраните его где-нибудь на видном месте. Например, на рабочем столе. Не переименовывайте файл! Ничего в нем менять не нужно.

Теперь загрузите этот файл на свой сайт. Обычно для этого используются файловые менеджеры, но для пользователей этого делать не нужно… Просто зайдите в бэк-офис, нажмите «Файлы». Затем вверху страницы — «Добавить файл». Выберите файл, который вы скачали ранее.

Затем вернитесь в панель Яндекс.Вебмастера и нажмите кнопку «Проверить». После успешного подтверждения прав доступа ваш сайт появится в списке добавленных. Таким образом, вы сообщили Яндекс.Вебмастеру о новом сайте.

Метатег Яндекс.Вебмастера

Иногда описанный выше способ не работает, и владельцы не могут проверить права на сайт в Вебмастере.В этом случае можно попробовать другой способ: добавить строку кода в шаблон .

В Вебмастере перейдите на вкладку «Метатег» … Вы увидите строчку, которую нужно добавить в HTML-код.

Пользователи могут обратиться в службу технической поддержки и попросить ввести этот код. Это будет сделано в рамках бесплатной ревизии.

Когда они это сделают, в Вебмастере нажмите кнопку «Проверить» … Поздравляем, вы зарегистрировали свой сайт в поисковой системе!

Предварительная настройка Яндекс.Вебмастер

Сайт добавлен в поиск, теперь робот обязательно зайдет к вам и проиндексирует. Обычно это занимает до 7 дней.

Добавить ссылку на карту сайта

Для того, чтобы робот быстрее индексировал ресурс, добавьте файл sitemap.xml в Вебмастер … В этом файле находятся адреса всех страниц ресурса.

Интернет-магазины уже настроили этот файл и должны быть автоматически добавлены в веб-мастер. Если нет, добавьте ссылку на карту сайта.xml в разделе «Индексирование — файлы Sitemap».

Проверить robots.txt

В файле robots.txt указывают страницы, которые роботу не нужно посещать … Это корзина, касса, бэк-офис и другие технические документы.

По умолчанию создается файл robots.txt, который не нужно изменять. На всякий случай рекомендуем проверить наличие ошибок в файле robots. Для этого перейдите в «Инструменты» — «Анализ Robots.txt».

Установить регион сайта

На странице «Информация о сайте» — «Региональность» можно задать регион сайта.Для интернет-магазинов это города, регионы и страны, куда доставляются купленные товары. Если у вас не магазин, а каталог или блог, то регионом будет весь мир.

Укажите регион продаж, как показано на скриншоте:

Чем еще полезен Webmaster?

На странице «Поисковые запросы» вы можете увидеть фразы, которые приходят к вам из поиска.

В разделе «Индексирование» отображается информация о том, когда робот был на сайте и сколько страниц он нашел.Подраздел «Переезд сайта» поможет вам, если вы решите установить и перейти на https. Подраздел «Перелистывание страниц» тоже крайне полезен. В нем вы можете указать роботу страницы, на которых изменилась информация. Тогда при следующем посещении робот проиндексирует их первыми.

На странице «Товары и цены» раздела «Информация о сайте» вы можете предоставить информацию о своем интернет-магазине. Для этого ресурс должен быть настроен на выгрузку данных о товарах и ценах в формате YML.При правильной настройке на страницах товаров в результатах поиска будут отображаться цены и информация о доставке.

Если вы хотите улучшить видимость вашей компании в сервисах Яндекса, вам следует воспользоваться разделом «Полезные сервисы». В Яндекс.Справочнике вы можете указать телефон и адрес вашего магазина, время работы. Эта информация будет отображаться непосредственно в результатах поиска Яндекса. Он также добавит вас на Яндекс.Карты.

Яндекс.Метрика Еще один важный инструмент для владельца интернет-ресурса, показывающий данные о посещаемости. Статистика и динамика посещаемости сайта отображаются в удобных для анализа таблицах, диаграммах и графиках.

После подключения к сервисам Яндекс.Вебмастер и Яндекс.Метрика вы будете получать достаточное количество информации для управления позициями и посещаемостью сайта. Это незаменимые инструменты для владельцев сайтов, которые хотят продвигать свои ресурсы в самой популярной поисковой системе России.

Следующий шаг в продвижении сайта через аналогичный сервис Search Console. На этом все, удачи в продвижении!

[PDF] Яндекс: Обзор инструментов для веб-мастеров и рекомендации

Скачать Яндекс: Обзор Инструментов для веб-мастеров и рекомендации…

Яндекс: Обзор инструментов для веб-мастеров и рекомендации

Программа • Введение • Регистрация • Возможности и инструменты

© COPYRIGHT 2015, ICROSSING, INC.• Она занимает почти 60% рынка в России с опорными пунктами в Польше, Украине, Казахстане, Белоруссии и Турции. • Яндекс лучше для русскоязычного поиска. Яндекс был создан специально для российского рынка и лучше анализирует намерения пользователя, чем орфографию на русском языке. • Яндекс также предлагает поиск на английском языке, что означает, что у вас есть потенциал для извлечения трафика из России.

© COPYRIGHT 2015, ICROSSING, INC.

4

Алгоритм Яндекса • MatrixNet — российский алгоритм приоритета страниц (аналог PageRank).• Он измеряет популярность сайта, а также сумму и релевантность обратных ссылок для определения оценки тематического индекса цитирования (TIC), которая играет роль в MatrixNet. • TIC оценивается по шкале от 0 до 10 000 и одинаков для каждой страницы веб-сайта, поэтому он не зависит от страницы за страницей, как PageRank. • Плагин под названием Yandex Elements позволит вам увидеть этот счет: — https://elements.yandex.com.tr/

© COPYRIGHT 2015, ICROSSING, INC.

5

Регистрация

Возможности Яндекса без регистрации • Вы можете отправить свой сайт на Яндекс, не имея аккаунта в Инструментах для веб-мастеров.• Функции, к которым вы можете получить доступ без регистрации, включают: — Отправка сайта — Проверка того, индексируется ли ваш сайт Яндексом — Анализ файла robots.txt вашего сайта — Сообщайте о результатах поиска спама и удаляйте ваш URL из поиска — Проверяйте карту сайта, фид XML и микроформаты

© COPYRIGHT 2015, ICROSSING, INC.

7

• Тем не менее, регистрация вашего сайта и использование Инструментов для веб-мастеров могут помочь получить более глубокое понимание.

Регистрация учетной записи Yandex Webmaster Tools • Получите ваш Яндекс.Паспортный счет. Зарегистрируйтесь со следующей информацией: — Имя и фамилия (фамилия) — Имя пользователя — Пароль учетной записи — Мобильный телефон (сброс паролей) — Дополнительный адрес электронной почты (сброс паролей) — Контрольный вопрос (сброс паролей)

• Если вы зарегистрировались с номер мобильного телефона, Яндекс отправит вам SMS с кодом подтверждения, который необходим для завершения процесса регистрации. © COPYRIGHT 2015, ICROSSING, INC.

Добавьте свой веб-сайт • После входа в систему нажмите ссылку «Добавить сайт».• Введите URL вашего сайта в поле и нажмите «Добавить сайт».

© COPYRIGHT 2015, ICROSSING, INC.

Регистрация учетной записи Yandex Webmaster Tools • У вас есть 4 варианта проверки сайта: — Загрузка HTML-файла — загрузка HTML-файла, а затем загрузка в корневой каталог вашего сайта — Метатег — это простой и рекомендуемый метод. Скопируйте HTML-код и вставьте его в шапку вашего сайта. Обратите внимание, это должно быть на всех страницах вашего сайта — Файл Txt — Создайте пустой текстовый файл с указанным именем, предоставленным Яндексом, и загрузите его в корневой каталог вашего сайта — По DNS — Создайте запись CNAME, предоставленную Яндексом, в вашем настройка DNS сайта

• После проверки одним из этих способов опубликуйте и нажмите «Проверить», чтобы узнать, может ли Яндекс получить доступ к вашему сайту.© COPYRIGHT 2015, ICROSSING, INC.

Функции и инструменты

Отправка карты сайта • Добавление карты сайта: — — —

— —

© COPYRIGHT2 2015, ICROSSING, INC. в разделе «Параметры индексирования» на вкладку «Файлы Sitemap» в разделе «Параметры индексирования» и нажмите «Добавить». (Только для форматов XML и Text) Статус будет отображаться OK. Вы можете проверить свой файл Sitemap перед отправкой на наличие ошибок, используя их Sitemap Validator • https://webmaster.yandex.com/sitemaptest.xml В разделе «Подробнее» будут показаны сведения о текущей версии, доступной в поиске, и последней обновленной версии Sitemap. Обработка новой версии роботом Яндекса может занять две недели Яндекс не предоставляет возможность повторной отправки ваш файл Sitemap. Единственный способ — сначала удалить существующий, а затем отправить новый.

Инструмент проверки ответа сервера • Это похоже на «выбрать как Google», чтобы помочь веб-мастерам устранять неполадки со страницами с ошибками, которые не индексируются при поиске ЯндексБотом • Вы можете получить доступ к этому инструменту в нескольких местах: —

После входа в свою учетную запись вы увидите ссылку справа в разделе «Мои сайты» — Опция «HTTP-коды» доступна в разделе «Индексирование» — «Исключенная страница» опция доступна в разделе «Индексирование»

• Как использовать этот инструмент: —

© COPYRIGHT 2015, ICROSSING, INC.

Введите правильный формат URL-адреса, выберите тип робота Яндекса и нажмите «Проверить» — Код ответа поможет вам проанализировать ошибки — Контент страницы позволяет увидеть контент, который видит ЯндексБот

Вариант «Исключенные страницы» • Перейти в «Исключенные страницы» опция доступна в разделе «Индексирование». Яндекс покажет страницы вашего сайта, не проиндексированные ЯндексБотом, по разным категориям: — — —

Страницы ошибок HTTP (404) URL-адреса, заблокированные Robots.txt Неподдерживаемые форматы страниц, например, Sitemap

• Вы можете установить уровень важности для этих кодов ошибок, щелкнув «Настройки».• Нажмите «Ссылки на страницы» в отчете о состоянии в формате HTML, чтобы просмотреть внешние и внутренние страницы, ссылающиеся на страницу с ошибкой. © COPYRIGHT 2015, ICROSSING, INC.

Сообщить о спаме • Алгоритм Яндекса учитывает исключительно взаимодействие с пользователем и показатели ранжирования ключевых слов, а не ссылки, поэтому он может отфильтровывать спам-ссылки. • Вы также можете сообщить о внешних ссылках на ваш сайт, если они содержат вирус, фишинг или спам в поисковых системах. —

© АВТОРСКОЕ ПРАВО 2015, ICROSSING, INC.

https://webmaster.yandex.com/delspam.xml

Удалить URL • Вы можете запросить удаление URL, когда страница больше не существует на вашем сайте. Это ускорит процесс удаления из индекса Яндекса. • Крайне важно, чтобы страница возвращала ошибку 404, чтобы Яндекс мог обработать ваш запрос. —

© COPYRIGHT 2015, ICROSSING, INC.

https://webmaster.yandex.com/delurl.xml

Robots.txt • Вы можете загрузить файл robots.txt со своего сайта в этот инструмент и проверить, чтобы посмотреть, соблюдает ли робот Яндекса правила файла.• Вы также можете создать файл Robots.txt, который вам нужно будет вручную загрузить на свой веб-сайт, чтобы изменения вступили в силу. —

© COPYRIGHT 2015, ICROSSING, INC.

https://webmaster.yandex.com/robots.xml

Структурированные данные • Яндекс имеет Валидатор микроформата для проверки семантической разметки вашего сайта: —

Микроданные

Schema.org

Microformats

RDF

• Вы можете получить доступ здесь: —

© Copyright 2015, ICRossing, Inc.

https://webmaster.yandex.com/microtest.xml

Регион сайта • Яндекс хочет, чтобы вы указали регион для своего сайта. Это связано с тем, что в разных регионах Яндекс использует разные алгоритмы ранжирования, а региональная принадлежность сайта является одним из факторов, учитываемых при ранжировании. • Если у вас нет четкой региональной принадлежности, это может снизить ранжирование сайта в определенных областях.

© АВТОРСКОЕ ПРАВО, 2015, ICROSSING, INC.

Поисковые запросы • Яндекс предоставляет данные «Популярных запросов»: — Показы — Клики • Отчетный период — неделя, и вы можете отчитаться за любую неделю за последние 7 недель.

© COPYRIGHT 2015, ICROSSING, INC.

Обнаружение вредоносных программ • Яндекс автоматически уведомляет каждый раз, когда обнаруживает вирус на вашем сайте. Каждое сообщение содержит ссылку для получения более подробной информации: — Примеры затронутых страниц — Дата их проверки и результаты антивируса — Цепочка заражения и последовательность хостов

• Существует кнопка «Перепроверить», чтобы сообщить Яндексу, как только ваш сайт будет очищен.

© АВТОРСКОЕ ПРАВО, 2015, ICROSSING, INC.

Спасибо

Проверка поисковых систем с URL-адресами для мгновенного индексирования

Microsoft Bing и Яндекс объявили о новой инициативе под названием IndexNow, которая позволяет владельцам сайтов пинговать протокол IndexNow для мгновенного индексирования участвующими поисковыми системами. В настоящее время участвующими поисковыми системами являются только Bing и Яндекс; Google не является его частью, равно как и другие поисковые системы.

Существует веб-сайт IndexNow.org, который резюмирует, о чем идет речь: «IndexNow — это простой способ для владельцев веб-сайтов мгновенно информировать поисковые системы о последних изменениях контента на их веб-сайте. содержание было добавлено, обновлено или удалено, что позволяет поисковым системам быстро отражать это изменение в результатах поиска».

Теперь метод проверки связи и отправки URL-адресов довольно прост и задокументирован здесь.

Чтобы отправить URL-адрес с помощью HTTP-запроса (замените URL-адресом, предоставленным поисковой системой), отправьте запрос на следующий URL-адрес: https:///indexnow?url=url-changed&key=your-key

Итак, правильно теперь это будет либо https://www.bing.com/IndexNow?url=url-changed&key=your-key, либо https://yandex.com/indexnow?url=url-changed&key=your-key

Отправить набор URL-адресов с использованием HTTP-запроса отправляет ваш запрос POST JSON на URL-адрес, предоставленный поисковыми системами. Просто замените на имя хоста поисковой системы.Вы можете отправлять до 10 000 URL-адресов на одно сообщение, при необходимости смешивая URL-адреса http и https.

Как сделать ключ для подтверждения права собственности на сайт? Два метода:

(1) Размещение файла текстового ключа в корневом каталоге вашего хоста.

(2) Размещение файла текстового ключа на вашем хосте.

Как я уже сказал, в него входят только Bing и Yandex. Гугл просили, но они не входят в его состав. Baidu, я думаю, нет. Возможно, спрашивали и других. Чтобы поисковые системы могли принять протокол IndexNow, они должны согласиться с тем, что представленные URL-адреса будут автоматически переданы всем другим участвующим поисковым системам.Для участия поисковые системы должны иметь заметное присутствие хотя бы на одном рынке.

Вы можете ознакомиться с часто задаваемыми вопросами здесь.

Платформы CMS, CDN и инструменты SEO заинтересованы в работе с этим протоколом IndexNow, как мне сказали.

Это не заменяет API отправки URL-адресов Bing, который будет несколько дублировать эту работу, но API отправки URL-адресов Bing работает только с индексом Bing. Кроме того, это не влияет на API отправки контента Bing. Просто кажется, что Bing удваивает метод проталкивания, а не вытягивания для индексации и пытается заставить другие поисковые системы принять его.

Leave a Reply