Индексация яндексом сайта проверить онлайн: Как проверить индексацию всего сайта и конкретной страницы в Яндексе и Google: инструкция по сервисам и рекомендации

Как проверить индексацию всего сайта и конкретной страницы в Яндексе и Google: инструкция по сервисам и рекомендации

Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.

 

Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.

Рассмотрим каждый вариант подробнее.

 

Оглавление:

1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console

2. Проверка количества проиндексированных страниц в ПС при помощи операторов

3. Анализ индексации сайта при помощи плагинов и расширений

4. Отслеживание проиндексированных страниц с помощью online сервисов

5. Программы для контроля индексации сайта

6. Проверка индексации страницы

7. Почему сайт может не индексироваться

8. Выводы SEO-специалиста Веб-центра

1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console

Бесплатный и достоверный способ с использованием сервисов для вебмастеров.

Яндекс.Вебмастер

В первую очередь выполняем авторизацию в аккаунте Яндекса и входим в сервис Вебмастер. Далее вводим url ресурса и нажимаем кнопку «Добавить».

Добавление сайта в вебмастер Яндекса

 

После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.

Просмотр страниц в поиске Яндекса через панель для вебмастеров

 

Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».

Просмотр количества страниц в поиске на вкладке «Мои сайты»

 

Для анализа список страниц можно скачать из сервиса файлом в форматах .xls и .csv.

Google Search Console

Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис search.google, вводим url сайта и нажимаем кнопку «Добавить ресурс».

Пример верификации в панели вебмастеров в Гугл

 

После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».

Просмотр страниц в ПС Гугл через панель для вебмастеров

 

Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.

Примеры проверки индексации сайта

На скриншоте – сайт, у которого нет проблем с индексацией в Яндексе

 

На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Яндекса

 

На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Гугл

2. Проверка количества проиндексированных страниц в ПС при помощи операторов

Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru».

Пример использования оператора «site» в Яндексе

 

Пример использования команды «site» в Гугле

 

3. Анализ индексации сайта при помощи плагинов и расширений

Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.

Пример использования плагина SEO-tools

 

Установить расширение вы можете по ссылке

 

Пример использования расширения RDS bar

 

Установить расширение вы можете по ссылке

 

4. Отслеживание проиндексированных страниц с помощью online сервисов

Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru вводим url и нажимаем «Анализировать».

Скриншот проверки индексации сайта в a.pr-cy.ru

 

Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.

 

5. Программы для контроля индексации сайта

Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.

Скриншот фрагмента анализа сайта в программе Site-Auditor

 

Проверка индексации страницы

Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:

1. В панели для вебмастеров:

• Яндекс – следовать по пути «Индексирование» – «Проверить статус URL». В поле для ввода данных ввести либо полный урл интересующей страницы, либо путь от корня сайта начинающийся с «/». Далее нажать кнопку «Проверить».

  Проверяемая страница в поиске Яндекса

  
  

• Google – перейти во вкладку «Проверка URL» и ввести урл интересующей страницы.

  Проверяемая страница проиндексирована в Google

2. Оператор «url»

В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».

Пример использования оператора «url» в ПС Яндекс

 

3. Оператор «info»

В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»

Пример использования оператора «info» в ПС Гугл

 

Почему сайт может не индексироваться

В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.

Ошибки в файле robots.txt

Файл robots.txt – это текстовый документ в формате .txt лежащий в корневом каталоге веб-сайта, запрещающий или разрешающий индексирование страниц роботам ПС. Поэтому неправильное использование директив может закрыть от индексации весь сайт или отдельные страницы ресурса.

Отсутствие файла sitemap.xml

Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.

Новый сайт

Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.

Приватные настройки

В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.

Тег «noindex»

Страницы могут быть закрыты от индекса в коде с помощью мета тега name=»robots» content=»noindex, nofollow» />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».

Мусорные страницы

Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.

 

Также причиной не индексации страниц ресурса могут быть ошибки сканирования, блокировка сайта в файле .htaccess, дубли страниц, не уникальный контент, низкий uptime хостинга, медленная скорость загрузки сайта, баны и фильтры ПС.

Выводы SEO-специалиста Веб-центра

Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.

 

Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.

Подробно эту тему мы разобрали в видео на нашем Ютуб-канале

Индексация страниц и сайта в Яндексе и Google

Индекс поисковой системы — база данных, которая хранит информацию о веб-документах. Назначение этого «хранилища» очевидно — используя базу данных, поисковик может быстро и точно вычислять значения факторов ранжирования, численное значение релевантности URL по запросу пользователя и формировать результаты выдачи.

Для SEO-специалистов и владельцев сайтов это означает одно — какое количество страниц проиндексировано, такое количество документов и может быть найдено в результатах выдачи по целевым запросам и столько же URL может привлекать трафик.

Как быстро проверить индексацию в Яндексе и Google?

Способов и сервисов массовой проверки индексации страниц достаточно много и у нас есть три инструмента, которые определяют количество документов в индексе по домену:

Просто укажите домен в любом из них. Инструмент поможет проверить сайт и обозначит количество проиндексированных страниц в базе данных Google и Яндекс, с учётом поддоменов или без них:

Поисковые операторы для проверки индексации

Узнать индексацию сайта можно, используя операторы поиска. Для Яндекса это операторы «site:», «host:» и «url:».

Для Google — «site:», «inurl:» и «info:».

В обеих поисковых системах указываются приблизительные результаты, но можно использовать дополнительные параметры, чтобы узнать, сколько страниц было проиндексировано, например, за неделю:

Для того, чтобы проверить индексацию определённой страницы сайта используйте оператор «url:» для Яндекса и «info:» для Google.

Вебмастер и Search Console

Если вы уже добавили свой сайт в панель Яндекс.Вебмастер и/или Google Search Console, то можете детально отслеживать статус сканирования и индексирования документов.

В Вебмастере переходим на вкладку «индексирование» — «страницы в поиске». Здесь расположилась статистика по добавленным и удалённым из поиска документам. Также можно посмотреть историю изменений для всего сайта за определённый интервал дат:

Проверить индексацию сайта в Google можно с помощью Search Console. В новой версии консоли переходим на вкладку «статус» — «индексирование отправленных URL» и получаем картину изменений, ошибок, исключенных страниц и график показов:

Возможный контроль индексации

Важно понимать, что сканирование или обход страницы сайта не означает её попадание в индекс. Иногда необходимо запретить индексирование страниц, которые не нужны в поиске, например: URL с техническими GET-параметрами, служебные или пользовательские документы (корзина, личный кабинет и прочие), документы с UTM-метками. Поэтому каждому сайту желательно иметь:

1. Sitemap.xml — файл, который помогает поисковым роботам сканировать сайт, с учётом заданных приоритетов.

2. Robots.txt — файл, задающий правила и параметры обхода для всех роботов поисковых систем или индивидуально для каждой:

   • С помощью команды Disallow можно запрещать индексирование отдельных URL или разделов сайта.

   • Crawl delay — задаёт минимальное время обращения робота к серверу для избегания нагрузок на сайт.

   • Clean param — позволяет указать неважные для индексации CGI-параметры в URL-адресах, то есть различные идентификаторы пользователей, сессий и так далее. Используется только в Яндексе.

Открытые страницы должны быть в поиске, только тогда можно думать о ранжировании. Не забывайте проверять сайт на индексацию, отслеживайте изменения и удачных позиций в выдаче!

---

Задайте вопрос или оставьте комментарий

Другие вопросы нашего FAQ

Как проверить индексацию страниц сайта в Google и Яндекс

Главная • Блог • Как проверить, ускорить и закрыть индексацию страниц сайта в Google и Яндекс

Термин «индексация сайта» сегодня знаком каждому веб мастеру и практически каждому владельцу онлайн-бизнеса. Она влияет на позицию, занимаемую вашим ресурсом в поисковых системах, и, разумеется, когда она выше, пользователи, пребывающие в поисках нужной информации, товаров, услуг, окажутся в числе ваших клиентов с большей вероятностью, ведь увидят вас в числе первых.

Соответственно, неточности индексирования скажутся негативно на рейтинг в ТОП выдачи, или вовсе приведут к тому, что предложение компании окажется за пределами пользовательских запросов. Компания Idea Digital Agency составила краткий гайд для владельцев онлайн-бизнеса. Мы расскажем, как проверить индексацию сайта, и что делать, если он оказался вне поля зрения ботов.

Что такое индексация сайта?

Это процедура, проводящаяся алгоритмами с использованием принципов искусственного интеллекта, с целью определить релевантность данных, их важность для пользователей и актуальность. Проводится она автоматически, а робот в ходе проведения производит определенный порядок действий:

• Находит вас благодаря СЕО-продвижению или при помощи внешних ссылок;
• Переходит по линку и отправляет запрос на получение контента серверу;
• Изучает и оценивает важность содержимого, затем принимает решение об индексировании;
• Отправляет отчет.

В случае положительного решения рейтинг повышается. Если данные признаны неважными, повторной процедуры ждать не придётся до момента исправления недостатков, помешавших роботу выполнить работу.

Зачем нужна индексация сайтов в Google, спросите вы. Ответ прост: только отсканированное и получившее индекс от бота содержимое отображается в пользовательской выдаче на нужных вам позициях. Если по каким-либо причинам аналитика ботов прошла мимо или же URL попали под анализ частично, каким бы замечательным ни был контент, или насколько полезными не оказались товары, клиенты останутся в неведении и получат в выдаче своих запросов ссылки на магазины конкурентов.

Путать понятия сканирование и индекс неправильно. Бот проводит обе процедуры. Сканировать робот может достаточно быстро, а индексирование – более длительный процесс.

Как ускорить индексацию сайта, рассмотрим подробно далее, но главное в принципе работы ботов-пауков – сканирование HTML-кода. Поэтому важно не только подготовить релевантный контент для страницы, но и правильно прописать основные теги, включая заголовки разных уровней, метатеги Title и Description. Эту задачу лучше доверить профессиональным оптимизаторам, если важен 100% результат.

Как проверить индексацию сайта

Если вы не уверены, прошел ли URL сканирование, отмечаете низкую посещаемость, ищете причины невысокой конверсии, стоит запустить проверку URL в Гугл и Яндексе на правильность обработки и ее наличие. Доступны несколько способов, как это сделать, и любой способ имеет свои преимущества. Рассмотрим каждый подробнее.

Проверка в панели вебмастеров

Индексация сайта в Гугле и Яндексе возможна стандартным инструментом – Панелью Вебмастера. Для каждой популярной системы существует прописанный алгоритм действий. Мы рассмотрим его для двух основных, используемых в нашей стране.

• Проверка в Google проводится через Search Console. Выберите раздел «Обзор» в консоли, откройте графический отчёт «Покрытие». На графике вы сможете увидеть количество проиндексированных безошибочно объектов (зеленый график) и те, с которыми возникла ошибка (красный график). Увидеть подробный отчёт об основных файлах можно переходом в соседнюю вкладку с отчетом.

• Как проиндексировать сайт в Яндекс? Понадобится авторизоваться в сервисе Яндекс.Паспорт. Заходите непосредственно в сервис вебмастеров «Яндекс. Вебмастер», выбирайте параметр «Индексирование», далее – два пути: либо выбрать параметр «Страницы в поиске», либо его же в истории вебмастера. На полученном графике вы сможете отследить историю. График идёт по экспоненте без резких колебаний – это хороший признак: SEO продвижение сайта идёт правильно. Если график неровный, напоминающий кардиограмму, это явный признак ошибок в анализе: их обязательно нужно исправить.

В случае, когда проверка сайта Гуглом или Яндексом показывает нелицеприятные результаты, стоит удостовериться, что он не закрыт для их внимания и устранены базовые проблемы.

Материал по теме: Google Search Console: как добавить сайт и лайфхаки для SEO

Проверка через операторы в поисковых запросах

Индексация сайтов в Google отображается и в самом поисковике. Для изучения количества проиндексированных данных в целом можно использовать оператор site:. Алгоритм в этом случае проще простого: нужно добавить точный линк или доменное имя в Гугл, проставив перед адресом site:. После него без пробелов скопируйте полный линк. Посмотрите на выдачу.

Кстати, нелишним будет выполнить сравнение: запустите поиск в Яндекс и Гугл одновременно, если количество результатов выдачи будет существенно различаться, это признак того, что есть не выявленные ошибки, требующие исправления.

Чтобы получить более детальный анализ в Google можно зайти в раздел «Инструменты поиска»: так вы сможете увидеть, какое число линков было обработано с присвоением индекса за определенный период времени.

Параллельно рассмотрим, как проверить индексацию сайта операторами по каждому разделу.

• Стандартная схема – всё тот же site:. Вставьте после него полную ссылку и просмотрите результат. Отсутствие результата – верный признак того, что страница не индексируется.

• В этом случае можно задействовать специальные операторы. Для Гугл это – inurl:. Для Яндекса – url:. При обработке запроса с этими операторами положительный результат означает, что раздел всё же проиндексирован, отрицательный – его отсутствие в аналитике ПС.

С этой же целью можно выполнить такое простое действие, как посмотреть кэш Гугла. Для этого достаточно находясь на выбранной странице в поисковой строке перед URL прописать оператор cache и нажать энтер.

Проверка через плагины и букмарклеты

Узнать информацию можно и без непосредственного взаимодействия с поисковыми системами и их Консолями. Достаточно задействовать плагины или букмарклеты – небольшие приложения, которые устанавливаются непосредственно в браузер. Можно использовать такие плагины, как RDS bar или SEO Magic. Кроме них, существуют и другие микро-программы, с которыми массовая проверка индексации страниц будет минутным делом.

Анализ через сервисы для проверки индексации

Некоторые разработчики софта предлагают готовые решения, как узнать статус в ПС. Часть из них предлагается на платной основе и позволяет вытянуть сразу множество данных для анализа. Есть и более простые, shareware сервисы. В них может присутствовать ограничение по количеству линков, либо они могут иметь ограниченный функционал, но базовые данные они вполне могут вам предоставить. К таким сервисам относятся serphunt.ru и raskruty.ru. Для их применения достаточно перейти по адресу и следовать простым инструкциям.

Платные версии сервисов предлагают такие компании, как serpstat, Netpeak, Se Ranking (у последних сервис условно бесплатный, но только при условии, что вы уже подписаны на один из платных тарифов).

Как проверить индексацию конкретной страницы

Как и в случае с аналитикой в целом, проанализировать каждую страницу по отдельности можно через Search Console Гугла. Сделать это очень просто: скопируйте линк и вставьте в строку поиска Консоли. При положительном ответе появится соответствующее информационное окно.

Если ответ отрицательный, вы можете отправить ее повторно при помощи кнопки «Запросить индексирование».

Также определенные URL можно протестировать через поисковик с оператором site:, url/inurl. И, конечно, такая опция присутствует в платных сервисах или плагинах для анализа.

Почему не индексируется сайт, основные ошибки

Предупреждён – значит, вооружён, считаем мы. Поэтому важно знать и о главных причинах, по которым поисковые боты игнорируют вас и не индексируют целиком или отдельные разделы.

• Часто проблема банальна: онлайн-проект только создан, и поисковые пауки ещё не добрались до него. При статистике создания новых объектов в интернете, такая ситуация не редкость. Поэтому иногда не стоит паниковать, достаточно проявить терпение и регулярно просматривать, не появились ли ваши страницы в индексе.
• Отсутствие sitemap – не критичный, но не лучший вариант. Если вы не предоставили роботам готовый гайдлайн, они могут выборочно проиндексировать несколько рандомных страниц, а остальные упустить из виду или проигнорировать.
• Ошибки в страницах: отчеты Google Search Console игнорировать не стоит. Они показывают текущие ошибки страниц, которые, в свою очередь, могут привести к сбоям обработки поисковыми роботами.
• Недостаток контента – повод для отклонения. Контент – это не только текстовое наполнение, но и всевозможные медиа-объекты, расположенные на странице.

• Проблемы с robots.txt. Если для мета-тега случайно был присвоен атрибут noindex, поисковые пауки его не смогут найти. Аналогично с тегом X-Robots, который мог быть проставлен, как Noindex при тестировании или выставлен случайно. В общем, файл «роботов» стоит тщательно изучить на наличие лишних символов или атрибутов.
• Низкая уникальность контента – тоже провоцирует на отказ. Если даже вы выступаете первоисточником контента, но при этом ваши конкуренты «слизали» его и ускоренно проиндексировали свой ресурс, приоритет получат они, а не вы.
• Наличие дублей страниц для Search robots – тоже тревожный сигнал.

Также для отслеживания причин игнорирования ботами можно посмотреть статистику: возможно, причина в низкой скорости загрузки.

Инструкция по ускорению индексации сайта

Индекс поисковиками – насущный вопрос. И ускорить его стоит всеми возможными способами. А их существует не так уж и мало. Перечислим наиболее эффективные:

• Обязательно создайте sitemap – это путеводитель для роботов-поисковиков.
• Если карта уже есть, не забывайте ее регулярно обновлять, чтобы новые страницы и обновленный контент тоже оказывался проиндексированным.
• Следите за уникальностью контента. Удаляйте тот, который показывает низкую уникальность.
• Следите, не осталось ли дублей страниц после разработки.
• Сбои при переходе по линкам и ошибочные редиректы только запутывают “пауков”.
• Постоянный контроль robots.txt – это практически профилактика здоровья вашего бизнеса онлайн.
• Отладка страниц на предмет скорости поможет ускорить процесс. Поэтому займитесь этим тоже.
• Разумное распределение ссылок на ресурсах-донорах и внутри самого ресурса позволит алгоритмам попасть к вам быстро и точно. Для этого обновлённые разделы анонсируйте в социальных сетях, выбирайте подходящих доноров и логичную перелинковку на ресурсе.
• Регулярные обновления – это сигнал роботам, что вы живёте и развиваетесь. Запомните это.

Материал по теме: Как проверить и увеличить скорость загрузки сайта?

Как закрыть сайт от индексации?

Есть ситуации, когда необходимо выполнить и обратное действие – не дать индексировать вас. Удалить страницу из поиска Гугл и закрыть ее от внимания ботов можно при помощи внесения соответствующих команд в robots.txt.

Для этого используется команда Disallow.

С её помощью можно закрыть как все целиком, так и отдельные директории, картинки или медиа-контент.

Аналогично можно установить запрет и через кабинет веб-мастера. В различных CMS это может быть реализовано в разных позициях меню, но в целом вполне реализуемо.

И, конечно, можно запросить доступ по паролю на уровне настроек сервера.

Заключение

Загадочная процедура, о которой мы рассказали, не так уж страшна, как кажется на первый взгляд. Она полезна для всех ресурсов, за исключением еще не запущенных в работу или уже устаревших. И поэтому отследить отсутствие файлов, очень важно. Мы надеемся, что наша статья окажется для вас полезной, и ваш онлайн-проект будет точно индексироваться и отображаться на самых верхних позициях выдачи в поисковиках.

Как проверить индексацию сайта в поисковых системах — Офтоп на vc.ru

Яндекс

{«id»:43370,»url»:»https:\/\/vc.ru\/flood\/43370-kak-proverit-indeksaciyu-sayta-v-poiskovyh-sistemah»,»title»:»\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u044e \u0441\u0430\u0439\u0442\u0430 \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445″,»services»:{«facebook»:{«url»:»https:\/\/www.facebook.com\/sharer\/sharer.php?u=https:\/\/vc.ru\/flood\/43370-kak-proverit-indeksaciyu-sayta-v-poiskovyh-sistemah»,»short_name»:»FB»,»title»:»Facebook»,»width»:600,»height»:450},»vkontakte»:{«url»:»https:\/\/vk.com\/share.php?url=https:\/\/vc.ru\/flood\/43370-kak-proverit-indeksaciyu-sayta-v-poiskovyh-sistemah&title=\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u044e \u0441\u0430\u0439\u0442\u0430 \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445″,»short_name»:»VK»,»title»:»\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435″,»width»:600,»height»:450},»twitter»:{«url»:»https:\/\/twitter.com\/intent\/tweet?url=https:\/\/vc.ru\/flood\/43370-kak-proverit-indeksaciyu-sayta-v-poiskovyh-sistemah&text=\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u044e \u0441\u0430\u0439\u0442\u0430 \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445″,»short_name»:»TW»,»title»:»Twitter»,»width»:600,»height»:450},»telegram»:{«url»:»tg:\/\/msg_url?url=https:\/\/vc.ru\/flood\/43370-kak-proverit-indeksaciyu-sayta-v-poiskovyh-sistemah&text=\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u044e \u0441\u0430\u0439\u0442\u0430 \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445″,»short_name»:»TG»,»title»:»Telegram»,»width»:600,»height»:450},»odnoklassniki»:{«url»:»http:\/\/connect.ok.ru\/dk?st.cmd=WidgetSharePreview&service=odnoklassniki&st.shareUrl=https:\/\/vc.ru\/flood\/43370-kak-proverit-indeksaciyu-sayta-v-poiskovyh-sistemah»,»short_name»:»OK»,»title»:»\u041e\u0434\u043d\u043e\u043a\u043b\u0430\u0441\u0441\u043d\u0438\u043a\u0438″,»width»:600,»height»:450},»email»:{«url»:»mailto:?subject=\u041a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u044e \u0441\u0430\u0439\u0442\u0430 \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445&body=https:\/\/vc.ru\/flood\/43370-kak-proverit-indeksaciyu-sayta-v-poiskovyh-sistemah»,»short_name»:»Email»,»title»:»\u041e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043f\u043e\u0447\u0442\u0443″,»width»:600,»height»:450}},»isFavorited»:false}

2359 просмотров

Проверка индексации страницы

Необходимо в строку поиска Яндекс написать следующий запрос:

Важно! Вводить необходимо адрес с www, если страницы на сайте открываются с www. И без www, если на сайте они без www. Если вы не уверены — проверьте оба варианта.

url: — оператор для проверки индексации страницы.

Если в результатах поиска страница найдена, значит она проиндексирована данной поисковой системой. Пример.

Если по запросу ничего не найдено, страница не проиндексирована

Проверка индексации всего сайта в Яндексе

Для проверки индексации всего сайта в Яндекс необходимо использовать следующий запрос:

domain.ru — доменное имя проверяемого сайта.

url: — оператор для проверки индексации страницы.

* — оператор «любой символ».

Важно! Вводить необходимо адрес с www, если страницы на сайте открываются с www. И без www, если на сайте они без www. Если вы не уверены — проверьте оба варианта.

В результате получаем список проиндексированных страниц, а справа от результатов выдачи написано, сколько всего страниц данного сайта находится в поиске.

Иногда данный запрос не работает и вместо него можно использовать оператор site:domain.ru

Google

Проверка индексации страницы

Необходимо ввести в строку поиска Google запрос:

domain.ru/page — адрес проверяемой страницы.

info: — оператор для проверки индексации страницы.

Если страница проиндексирована, значит в результатах поиска будет ссылка на проверяемую страницу. Пример.

Проверка индексации всех страниц сайта в Google

Для проверки индексации страницы в поисковой системе Google необходимо ввести в строку поиска запрос:

domain.ru — доменное имя сайта.

site: — оператор проверки индексации всех страниц сайта.

В результатах поиска появится список страниц в поиске, а под поисковой строкой общее количество проиндексированных страниц. Пример.

Ждите новые заметки в блоге или ищите на нашем сайте.

что это такое, как происходит, как ускорить и проверить индексацию

Нравится статья?

Понравится и работать с нами.

Начать

Индексация сайта в поисковых системах – это то, без чего SEO продвижение невозможно. Если страниц вашего сайта нет в индексе, они не выводятся в поисковой выдаче, а значит, в конкуренции за верхние позиции вы пока не участвуете, и пользователи из поиска не могут перейти к вам.

Разбираемся, как Яндекс и Google индексируют сайты, можно ли ускорить и проконтролировать процесс и каким страницам индексация не нужна.

Что такое индексация и как она происходит

Поисковые системы по запросу выдают пользователям подходящие страницы за пару секунд. Естественно, в это время роботы не перебирают реальные сайты – такой поиск тянулся бы часами. Для ускорения поисковики обращаются к собственной, заранее собранной базе данных. Эта база – и есть индекс.

Поисковики индексируют сайт автоматически, с помощью поисковых роботов – их называют пауками или краулерами. Упрощенно это выглядит так:

• Пауки постоянно отслеживают новые сайты и страницы в интернете.
• Попав на сайт, робот сканирует его. Если в корневой папке лежит правильно заполненный файл robots.txt (а мы настоятельно советуем его прописать и поместить туда), краулер быстрее поймет, какие страницы нужно индексировать, а какие – нет.
• На каждой странице робот в автоматическом режиме оценивает важнейшие элементы, от которых зависит позиция при ранжировании (ключевые запросы, текст, структуру, метатеги и пр.).

Что еще почитать: Как составить семантическое ядро сайта: пошаговое руководство

• Проиндексированные страницы передаются в базу данных. В каждый визит робот обрабатывает не так много страниц, до 30 штук, чтобы не перегружать ваш сервер.
• После индексации сайта страницы начинают отображаться в выдаче, ведь теперь поисковая система знает о них.
• В дальнейшем робот продолжает посещать ваш сайт, чтобы просканировать и добавить в базу новые страницы. Также поисковики могут удалять страницы из индекса, обнаружив на них технические ошибки. Если вы ежедневно публикуете контент, робот может заходить к вам несколько раз в день, а если сайт долго остается без изменений, то и поисковики будут реже обращать на него внимание (до 3 раз в месяц).

Индексация сайта в Яндексе сразу после запуска может занять до 1 месяца, а в Гугл – до 1 недели.

Как быстрее попасть в индекс

Для успешного продвижения в Яндексе и Google важно, чтобы новые страницы как можно скорее попадали в индекс и начинали ранжироваться. Поэтому советуем использовать возможности для ускоренной индексации сайта.

Как привлечь внимание поисковиков и быстрее занять место в выдаче:

1. Обязательно составить служебный файл robots.txt и карту сайта Sitemap в помощь поисковым ботам.
2. Войти в панели управления Google Search Console и «Яндекс.Вебмастер» и оставить заявку на индексацию конкретных страниц.
3. Обеспечить надежность и скорость работы сайта – робот при обнаружении проблем на сайте снижает частоту обхода.
4. Позаботиться о качественных внешних ссылках, которые добавят вам «веса» и повысят шансы на быструю индексацию сайта по ключевым словам.
5. Регулярно добавлять новые страницы и публиковать свежие материалы – тогда поисковики будут чаще обращать внимание на ваш ресурс. Обязательно добавлять новые материалы в «Оригинальные тексты» в Яндекс.Вебмастере.
6. Оптимизировать сайт в плане удобства для пользователей – юзабилити. В первую очередь, важны понятный каталог и система навигации, сеть перекрестных внутренних ссылок (перелинковка) – всё, что ускоряет перемещение бота по вашему сайту и помогает ему проиндексировать больше страниц за один раз.

Что еще почитать: Идеальный каталог для продвижения сайта

Кстати, быстро индексировать страницы нужно не только новым сайтам. Если вы обновили цены или описания в каталоге, прописали привлекательные метатеги Description или загрузили в блог горячую новость, вам тоже важно, чтобы индексацию не пришлось ждать месяцами.

Как проверить индексацию сайта

В первые недели после запуска нового сайта важно проверить, попали ли нужные страницы в индекс поисковых систем и сколько вообще страниц проиндексировано. Но и в дальнейшем советуем держать руку на пульсе.

Вот основные способы проверить индексацию сайта в поисковых системах:

1. Вручную через брендовые запросы

Вводим в строке поиска название компании и просматриваем первую пару страниц выдачи. Способ самый простой, без технических сложностей, но не быстрый и не очень удобный.

2. Через оператор site в поисковой строке

Чуть сложнее, но точнее: вбиваем в поиске Яндекса или Гугл оператор site, а после него – адрес сайта.

Например, наберем URL zamkitut.ru для проверки индексации сайта. В результатах поиска будут только проиндексированные страницы заданного сайта, и ничего не придется выбирать вручную.

3. В Яндекс.Вебмастере или Search Console в Гугл

Способ для тех, у кого есть доступ к панели вебмастера. В Гугл нужно открыть вкладку «Индекс Google» и выбрать «Статус индексирования», а в Яндекс.Вебмастере развернуть меню «Индексирование сайта», а затем «Страницы в поиске». Здесь можно посмотреть не только текущее количество страниц в индексе, но и динамику.

4. Автоматически с помощью плагинов, скриптов или специальных сервисов

Сервисы и программы – быстрый и надежный способ проверить индексацию сайта онлайн. Не вручную вбивать запросы: небольшие программы для проверки обычно можно сохранить в браузере, как закладки, и запускать при необходимости.

Советуем попробовать плагин RDS bar для разных браузеров, а также программы наподобие Netpeak Spider или Netpeak Checker.

Так выглядит рабочее окно Netpeak Spider: программа выдает много дополнительной информации, помимо количества страниц в индексе.

3 и 4 способ – самые информативные и удобные, мы советуем мониторить индексацию по ходу продвижения сайта именно так. В специальной программе или на панели вебмастера вы увидите, когда последний раз Яндекс индексировал сайт, какие именно страницы попали в индекс, какие проблемы выявили поисковики и т.д.

Почему сайт не индексируется и как это исправить

Иногда с индексацией возникают проблемы: сайт целиком или отдельные страницы перестают выводиться в поисковой выдаче. Почему Яндекс не индексирует сайт и как это исправить:

1. Прошло недостаточно времени. Если сайт или группа страниц появились недавно, поисковой робот мог просто не успеть их проиндексировать – используйте наши приемы ускорения из списка выше.
2. Неправильно заполнен файл robots.txt. Лучше доверить работу с этим служебным файлом программистам, потому что случайная ошибка в нем может запретить индексировать сайт без вашего ведома.
3. Критичные для поисковиков ошибки на сайте – их важно находить и вовремя исправлять.
4. Нет карты сайта (SiteMap). Обязательно пропишите ее и добавьте в корневую папку – карта поможет ускорить индексацию сайта.
5. На сайте есть дубли страниц или контент, полностью скопированный с других ресурсов – такие страницы принципиально не индексируются.
6. Сервер работает с перебоями. Если сайт периодически недоступен или загружается слишком медленно, могут быть проблемы с индексацией, так что есть смысл переехать на более надежный хостинг.

Что еще почитать: Выбор хостинга для SEO продвижения. Рейтинг 2019

Как закрыть сайт от индексации и когда это нужно

Иногда бывает нужно запретить индексацию сайта или отдельных страниц.

Зачем это делается:

1. Чтобы в выдачу не попадали служебные страницы сайта: личный кабинет пользователя, корзина, панель управления и прочее.
2. Чтобы поисковой робот быстрее добрался до целевых страниц и проиндексировал их, а не тратил время на малозначительный контент, который не нужно продвигать.
3. Чтобы в индекс не попали дубли страниц (поисковики это не любят).

Пример страницы, которую нужно закрыть от индексации – корзина в интернет-магазине дверной фурнитуры.

Основные способы «спрятать» ненужные страницы или разделы от поисковиков:

1. В файле robots.txt закрыть сайт от индексации позволяет директива Disallow – она прописывается рядом с адресами страниц, которые не должны попасть в выдачу.
2. В коде страницы можно использовать тег «noindex» – он закрывает от индексации не ссылки, а только часть текста, заключенную внутри тега.

Важно: «noindex» считывает и понимает только Яндекс. Для управления индексацией в Google применяйте другие способы из этого списка.

3. Атрибут rel=«nofollow» – применяется к конкретной ссылке и указывает поисковым роботам, что по ней не нужно переходить. Этот атрибут понимают все поисковики.
4. Мета-тег robots – он дает поисковым системам указания насчет индексации. Если в содержимом этого мета-тега прописать «noindex, nofollow», страница не будет индексироваться.

Мы в «Эврике» контролируем индексацию сайтов, которые разрабатываем, запускаем и продвигаем в поисковиках. Нашим клиентам не приходится вникать в технические детали, ведь для этого в команде проекта есть все необходимые специалисты.Обсудить проект

Как ускорить индексацию сайта в Яндексе и Google

Актуальные способы ускорить индексирование страниц в обоих поисковиках.

Быстрое индексирование страниц — это хорошо. Чем быстрее страница займет место в выдаче поисковой системы, тем быстрее ее смогут увидеть пользователи. А также эта страница с большей вероятностью будет считаться первоисточником контента, который на ней находится.

К сожалению, нельзя точно сказать, когда боты поисковых систем просканируют страницу и она появится в выдаче — это зависит от размера и оптимизации сайта.

Частые проблемы с индексацией сайта в ПС

Страницы вообще не индексируются

Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.

Страницы не индексируются одним из поисковиков

Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика. Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Помогут материалы о санкциях Яндекса и фильтрах Google.

Страницы индексируются, но долго

Если приходится долго ждать индексации новых страниц, вариантов может быть много: контент редко обновляется и поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке или что-то еще.

Посмотреть динамику индексации страниц и наличие фильтров можно в Анализе сайта:

Индексация и санкции ПС в Анализе сайта

Итак, если страницы не индексируются, то проверьте ограничения, если игнор от одного из ПС, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить. Посмотрим, что можно сделать.

Как ускорить индексацию страниц

Представитель Google Джон Мюллер на вопрос об индексировании ответил так:

«Лучший способ улучшить процесс индексирования – создавать превосходный, а значит уникальный и убедительный контент. Именно в нем должны нуждаться пользователи, именно его они затем будут рекомендовать другим. Нужно также понимать, что поисковые системы не индексируют абсолютно все, что выложено в сети».

Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный 🙂 Это все, конечно, хорошо, но давайте посмотрим, что конкретно можно сделать, чтобы ускорить процесс.

Отправить страницу на переобход

Можно дополнительно обратить внимание поисковиков на конкретные URL. В Google Search Console и Яндекс.Вебмастер найдите переобход страниц и отправьте нужные URL на индексацию.

В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.

Проверить разрешения в robots.txt

В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex» или «none». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и не прислушаться.

Как говорит Ксения Пескова, SEO-TeamLead в Siteclinic:

«Если вы закроете сканирование в файле robots.txt — это всё равно может не уберечь от индексации страницы, так как в файле мы запрещаем сканирование, и это всего лишь рекомендации, а не прямое указание».

В любом случае, лучше проверить файл robots, вдруг там стоят запреты, к которым прислушались боты поисковых систем.

Создать Sitemap — Карту сайта

Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента.

Почитать по теме:
Карта сайта (файл Sitemap) от А до Я

Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться. Для проектов на конструкторах сайтов, например, на WIX и Tilda, карта по умолчанию динамическая, для других CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.

Можно обновить файл Sitemap вручную. Обновленные страницы Google рекомендует отметить в Карте тегом . Обновленный файл отправьте с помощью специального отчета. Не стоит загружать один и тот же файл повторно: если вы ничего не поменяли в Карте сайта, никаких изменений не будет.

Но опять же, ссылки в Карте сайта — это рекомендации, важнее создать грамотную структуру сайта и организовать внутреннюю перелинковку.

Проверить структуру и перелинковку разделов

На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Такие страницы называют сиротами.

Страница-сирота в структуре сайта

Нужно встроить их в структуру сайта. К примеру, в этой схеме каждая страница имеет ссылку с родительской категории, но они вполне могут линковаться и между собой:

Упрощенный пример структуры сайта, подходит для меню

Еще один момент, который влияет на поведение бота — это Click Distance from Index (DFI), то есть количество кликов от главной до текущей страницы. Чем оно меньше, тем важнее считается страница, тем больший приоритет она получит с точки зрения бота. Приоритетные страницы он смотрит первее остальных.

DFI не определяется по числу директорий в URL, они могут не совпадать. Например, если на главной странице будет ссылка на хит продаж — конкретную модель холодильника Atlant, то DFI будет равен двум. Но при этом карточка модели может находиться в каталоге и подразделе каталога, тогда директорий будет больше — site.com/shop/refrigerator/one_chamber_refrigerators/atlant/h_1401_100.

Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.

Взять за правило обновлять контент

Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.

Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.

Публиковать ссылки в соцсетях и на других площадках

Если вы ведете страницы в социальных сетях, размещайте на них анонсы ваших новых материалов. С помощью разметки OpenGraph можно задать ссылке красивое превью с нужной картинкой и заголовком, и получить переходы пользователей на страницу.

Превью поста с сайта на Фейсбуке

Найдите сторонние площадки по вашей тематике, где можно оставлять ссылки или публиковать посты, и размещайте таким образом ссылки на новые материалы. Ссылки должны быть естественными и подходить по теме. Используйте пресс-релизы, форумы, другие соцсети, отзовики, сервисы вопросов и ответов и другие площадки.

Ускорить загрузку сайта

Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, сли в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.

Медленная загрузка страниц вредит им по всем параметрам: пользователи не ждут, ПС считают некачественными, могут даже понизить сайт в выдаче, если сайт в принципе медленный.

По ускорению у нас есть подробные материалы о том, как оптимизировать код верхней части страницы, использовать сжатие gzip, brotli и минификацию кода, оптимизировать изображения.

Многое из перечисленного можно проверить на сайте автоматически. Поможет сервис «Анализ сайта»: проверит сайт по 70+ тестам, оценит и главную, и внутренние страницы, найдет ошибки и даст советы по исправлению.

Фрагмент анализа сайта

Многие функции сервиса и графики доступны на платных тарифах Анализа, но вы можете попробовать неделю бесплатно и оценить все возможности.

До конца лета на любой тариф «Анализа сайта» действует скидка 30% по промокоду LAST_DAYS.
Промокод сработает сразу при переходе на страницу —> Купить со скидкой

FAQ: что еще влияет на скорость индексации сайта

Как страницы вне индекса могут повлиять на отношение поисковика к сайту?

Качество контента на сайте поисковики оценивают только по проиндексированным страницам.

Тег noindex может влиять на индексацию страницы после его снятия?

По словам Джона Мюллера из Google, у веб-мастера не будет проблем с реиндексацией URL, на которых когда-то был noindex.

Как редирект влияет на индексацию страниц?

Джон Мюллер утверждает, что поисковик скорее всего не проиндексирует конечный URL при использовании ссылок с 301 редиректом.

Как ускорить индексацию страниц, которые были 404?

Если адрес страницы отдавал 404 и не был индексирован, на индексирование может потребоваться некоторое время. Как советуют Seroundtable, можно создать новый URL для этого контента и настроить 301 редирект со старого адреса, либо запросить повторное сканирование URL.

Как поисковики относятся к URL c хэшами?

URL с хешами поисковик не проиндексирует. То есть ссылка https://site.ru/news/p/statya проиндексируется, а ссылка на конкретную часть статьи — https://site.ru/news/p/statya#step — нет.

Расскажите в комментариях, что мы упустили в материале, какие способы ускорить попадание в индекс используете вы.

Что такое индексация — самый полный гайд

Часто происходит путаница в терминологии: под индексацией иногда подразумевают сканирование сайта или совокупность и сканирования и индексации. В этом нет большой ошибки, часто путаницу вносят сами мануалы поисковых систем. Иногда  в текстах Яндекса и Гугла можно увидеть использование термина индексация в разных контекстах, например:

Индексация сайта простыми словами

Так что же такое индексация: если кратко, то индексация (или индексирование, indexing) – один из процессов работы поисковых систем по построению поисковой базы в результате которого содержимое страниц попадает в индекс поисковой системы.

Для большей ясности приведу терминологию, а потом опишу все процессы.

Терминология

Планировщик (Scheduler) – программа, которая выстраивает маршрут обхода интернета роботами исходя из характеристик страниц, таких как частота обновления документов, востребованность этих страниц, цитируемость.

Crawler, Spider (Паук) Googlebot, YandexBot. Робот, ответственный за обход и скачивание страниц из интернета в порядке очередности, который задается планировщиком. Подразделяются на:

1. Основной робот, обходящий контент в порядке общей очереди.
2. Быстрый робот (быстроробот или быстробот).  Робот, который использует свежий индекс, на основе группы заданных хабовых страниц с важной, часто обновляемой информацией, например, с новостями популярных СМИ.

Сканирование (Crawling) – процесс загрузки страниц краулером в результате чего они попадают в хранилище, в виде сохраненных копий.

Краулинговый спрос: это то, как часто и в каком объеме робот бы хотел сканировать конкретные страницы.

Краулинговый лимит: ограничения скорости сканирования на стороне сайта, связанные с производительностью сайта или заданным вручную ограничением.

Краулинговый бюджет – это совокупность краулингового спроса и доступной скорости сканирования сайта (краулингового лимита). Простыми словами – это то сколько робот хочет и может скачать страниц.

Сохраненная копия – необработанная копия документа на момент последнего сканирования.

Поисковый индекс – информация со страниц, приведенная в удобный для работы поисковых алгоритмов формат. Список всех терминов и словопозиций где и на каких страницах они упоминаются. Информация хранится в базе в виде инвертированного индекса. Схематический пример:

Индексация – процесс загрузки, анализа содержимого документа документа с последующим включением в поисковый индекс.

Поисковая база – это совокупность поискового индекса, сохраненных страниц и служебной информации о документах, таких как заголовки, типы и кодировка документов, коды ответов страниц, мета теги и др.

Как происходит сканирование сайта

Так как ресурсы поисковых систем не безграничны, планировщик составляет очередь обхода страниц, исходя критериев их полезности, востребованности, популярности и др. Каждый сайт получает свой краулинговый бюджет исходя из скоростных характеристик сайта и таких критериев как:

1. Доля полезных/мусорных страниц на сайте, дубликаты
2. Спамные и малополезные страницы
3. Наличие бесконечной генерации страниц, например, некорректной фасетной навигации
4. Популярность страниц
5. Насколько актуальные версии страниц сайта, содержащиеся в поисковой базе

Робот в постоянном режиме скачивает страницы и помещает их в хранилище, заменяя старые версии. Мы можем увидеть их в виде сохраненных копий. Далее уже происходит индексация страниц.

Как проходит индексация сайта

Индексацию можно условно разбить на следующие процессы:

1. Загрузка и разбор страницы по элементам: текст, мета-теги, микроразметка, изображения, видео и другой контент и служебные данные.
2. Анализ страницы по определенным параметрам, например: разрешена ли она к индексации, сканированию, является ли неглавной копией другой страницы, содержит ли страница малополезный, спамный контент и др.
3. Если страница успешно прошла все проверки, она добавляется в индекс.

Как проходит индексация сайта в Яндексе

Все описанное в предыдущем пункте справедливо и для Яндекса и для Google. Какие есть особенности индексации у Яндекса?

У Google обновление поисковой базы – непрерывный процесс. В Яндексе обновление происходит во время Апдейтов, примерно раз в три дня. О том что произошло обновление можно узнать по уведомлениям в Яндекс.Вебмастере

Как проверить индексацию

Есть разные способы для проверки статуса индексации сайтов и отдельных его страниц:

1. Вебмастер Яндекса
2. Панель Google Search Console
3. API панели для вебмастеров Yandex/Google 
4. SEO-сервисы, например Rush Analytics
5. Плагины и расширения для браузеров
6. Поисковые операторы ПС
7. GA/Метрика
8. Серверные логи

Выбор сервиса зависит от поисковой системы, а также задачи: узнать сколько страниц всего в индексе, получить список проиндексированных страниц или проверить статус индексации конкретной страницы или списка страниц. Подробнее расписано ниже.

Как узнать сколько страниц проиндексировано на сайте

Расширения для браузера

Быстрые способы проверить статус индексации сайта – расширения и букмарклеты для браузера, например RDS-бар

Сервисы для анализа сайтов

Так же можно проверить с помощью сервисов, таких как pr-cy.ru 

Яндекс.Вебмастер и Google Search Console

Если есть доступы к панелям вебмастеров, можно получить количество проиндексированных страниц в панелях вебмастеров:

Яндекс Вебмастер – http://webmaster.yandex.ru

Google Search Console – https://search.google.com/search-console/

С помощью специализированных программ для SEO, например Allsubmitter, Netpeak Checker. 

Это может понадобиться когда нужна пакетная проверка параметров чужих сайтов.

Пример проверки числа проиндексированных страниц в Netpeak Checker.
Проверка индексации сайтов в Яндекс:

Проверка индексации сайтов в Google:

Пример проверки индексации сайтов в Яндекс и Google в Allsubmitter.

Как выгрузить список проиндексированных страниц сайта в Яндексе и Google

Яндекс Вебмастер: Отчет индексирование -> Страницы в поиске -> Все страницы

Внизу страницы ссылки на скачивание файла – cуществует ограничение в 50 000 страниц.

Google Search Console: в отчете Покрытие – выбираем нужные типы страниц

Переходим в нужный отчет и скачиваем список страниц в удобном формате. Google отдает только 1 000 страниц.

Поисковые операторы Яндекса

Запрос для поиска страниц в пределах одного домена – url:www.site.ru/* | url:site.ru/* | url:site.ru | url:www.site.ru.

Запрос для поиска с учетом всех поддоменов – site:site.ru

Список операторов и инструкцию по работе с ними можно посмотреть в справке Яндекса.

Ограничение: можно получить только 1000 результатов. Нужны специальные инструменты чтобы скопировать список страниц SERP: расширения браузера, букмарклеты или программы для парсинга выдачи.

Поисковые операторы Google

Запрос для поиска страниц в пределах одного сайта – site:site.ru

Получение списка страниц входа из систем веб-аналитики

Списки страниц входа из органики Яндекса в системах аналитики Яндекс.Метрика и Google.Analytics. Страницы по которым идут переходы с органической выдачи с большой вероятностью индексируются, но для точности рекомендуется проверять индексацию собранных страниц – индекс не статичен и страницы могут выпадать из индекса.

Список страниц по которым сайт показывается в выдаче в Яндекс.Вебмастере

Для выгрузки большого списка страниц из Яндекс.Вебмастера потребуется специальный скрипт.

Плагин для API Google Webmasters: Google Search Analytics for Sheets
Отображает страницы по которым были показы сайта в выдаче.

Преимущества выгрузки списка страниц через API в том что можно получить десятки тысяч страниц, которые с большой вероятностью проиндексированы, в отличие от веб-интерфейса где установлено ограничение по выгрузкам в 1000 страниц.

Серверные логи сайта

Получить список страниц которые посещает робот можно из логов, например с помощью программы SEO Log File Analyser от создателей Screaming Frog.

Как проверить индексацию конкретной страницы в Яндексе и Google

Сервис Яндекс.Вебмастер: Индексирование -> Проверить статус URL 

Проверка с помощью оператора: пример запроса url:https://site.com/page/

Сервис Google Search Console: инструмент “Покрытие”

Нужно ввести в указанной на скрине строке поиска URL-адрес своего сайта и откроется отчет о статусе страницы.

Проверка с помощью оператора: пример запроса site:https://habr.com/ru/news/t/468361/

После отмены оператора info остался оператор site, но он выдает не всегда точные данные, можно сократить список результатов с помощью указания уникального текста проверяемой страницы.

Как массово проверить индексацию списка страниц

Для проверки можно использовать SEO-сервисы, например Rush Analytics.
Это позволяет массово проверить индексацию до десятков-сотен тысяч страниц

Как проверить разрешена индексация/сканирование страницы в Robots.txt

В Яндексе
Проверить доступна ли роботам страница или содержит запрет можно через. Инструменты -> Анализ robots.txt

В Google
Инструмент проверки файла robots.txt

Важно: если файл robots.txt отдает 404 ошибку, боты считают что разрешено сканирование всего сайта без ограничений. Если файл отдает ошибку 5хх, то Googlebot считает это полным запретом на сканирование сайта, но если ошибка отдается более 30 дней – считает что разрешено сканировать весь сайт без ограничений. Яндекс любые серверные ошибки считает отсутствием файла robots.txt и отсутствием ограничений на обход и индексацию сайта.

Как узнать динамику числа проиндексированных страниц

С помощью специализированных сервисов, например: https://be1.ru/

С помощью Яндекс Вебмастера: в разделе Индексирование -> Страницы в поиске.

С помощью Google Search Console: в отчете Покрытие.

Почему число проиндексированных страниц может отличаться в разных сервисах?

Нужно понимать что проиндексированные страницы и страницы в поиске это разные сущности. Не все проиндексированные страницы будут включены в поиск и не все страницы в поиске будут показываться через операторы поиска – операторы лишь выводят результаты пустого поиск по сайту а не список всех страниц. Но этого в большинстве случаев достаточно чтобы оценить порядок числа проиндексированных страниц сайта.

Запрет индексации страниц

Запрет индексации с помощью Meta Noindex/X-Robots-Tag

Для гарантированного исключения попадания страниц в индекс можно использовать атрибут Noindex Мета Тега Robots или HTTP-заголовка X-Robots-Tag. Подробнее про этот атрибут можно прочитать тут.

Важно: Использование запрета индексации в через Meta/X-Robots-Tag Noindex вместе с запретом в Robots.txt

При добавлении директивы Noindex в мета-тег Robots и http-заголовок X-Robots-Tag, чтобы ее прочитать, робот должен просканировать страницу, поэтому она должна быть разрешена в файле Robots.txt. Следовательно для точечного запрета индексации страниц иногда требуется снять запрет в robots.txt или добавить директиву Allow, чтобы робот смог переобойти эти страницы.

Несмотря на вышеописанное, запрет в robots.txt в большинстве случаев все таки приведет к тому, что страницы не будут индексироваться, но его нельзя использовать для закрытия персональных данных или страниц с конфиденциальной информацией.

Как запретить индексацию страницы в robots.txt

Стоит сразу упомянуть что запрет в robots.txt не является надежным методом закрытия страниц от индексации.

В файле robots.txt  указываются основные директивы для запрета или разрешения обхода/индексации отдельных страниц или разделов сайта.

Важно: Многие ошибочно считают что директива Disallow в Robots.txt служит для запрета индексации страниц, это не совсем так. Основная цель файла Robots.txt – управление трафиком поисковых роботов на сайте, а не индексацией / переиндексацией и разные поисковые системы по разному интерпретируют запрет.

Многие вебмастера не понимают почему после запрета страницы в robots.txt она продолжает находиться в индексе и приносить трафик. Запрет посещения и обновления страницы роботом не означает, что он обязан удалить уже присутствующую в индексе страницу. К тому же для индексации не всегда обязательно физически сканировать страницу, информацию о ней можно собирать из различных источников, например, из анкоров входящих ссылок.

Почему заблокированные в robots.txt страницы отображаются в выдаче?

В Яндексе и Google различается механизм обработки директив файла Robots.txt.  Для Google директива Disallow в robots.txt запрещает лишь обход страниц, но не их индексацию из-за чего часто появляются страницы со статусом:

Для запрета индексации в Google через файл Robots.txt ранее использовалась незадокументированная директива Noindex в Robots.txt, но с сентября 2019 года Google перестал поддерживать ее.

На данный момент для надежного запрета индексации страниц в Google рекомендуется использовать атрибут Noindex Мета Тега Robots и HTTP-заголовка X-Robots-Tag.

Яндекс же, наоборот, воспринимает запрет в Robots.txt Disallow: как сигнал к запрету и сканирования и индексирования сайта и после добавления директивы Disallow: страницы будут удалены из индекса.

Использование атрибута canonical для запрета индексации дубликатов

Для консолидации дубликатов или похожих страниц страниц используется атрибут canonical, который указывает поисковикам по какому адресу рекомендуется индексировать страницу.Yandex” search_bot

Запрет сканирования, индексации с помощью кодов ответа сервера 3хх/4хх

Чтобы гарантированно запретить роботам скачивать страницы, можно отдавать ботам при сканировании страниц коды:

1. 301 редирект: особенно подходит для запрета дубликатов и склейки их с основными страницами;
2. 403 Forbidden: доступ запрещен;
3. 404 Not Found: не найдено;
4. 410 Gone: удалено;

Удаление страниц из индекса

Удаление страниц или каталогов через Search Console

Инструмент не запрещает страницы к индексации или сканированию – он лишь временно скрывает страницы из поисковой выдачи. Рекомендуется использовать только для экстренного удаления страниц, случайно попавших в выдачу, после этого уже физически удалить их или запретить сканирование/индексацию.

Ускоренное удаление из индекса страниц в Яндексе

На сайт должны быть подтверждены права. Можно удалить только страницы, которые недоступны для робота: запрещенные в robots.txt или отдавать код 3хх, 4хх.

Для удаления из индекса Яндекса страниц чужого сайта можно воспользоваться формой – https://webmaster.yandex.ru/tools/del-url/.

Требования к URL-адресам такие же: запрет в robots.txt или коды ответа 301, 403, 404, 410 и т.п.

Как добавить страницы в индекс Яндекса или Google

Роботы постоянно ходят по ссылкам на сайтах. Для ускорения добавления существуют инструменты:

1. Sitemap.xml. Добавьте и регулярно обновляйте актуальный список страниц в сайтмапах сайта. 
2. В Яндексе: инструменты -> переобход страниц
3. В Google: Проверка URL -> Запросить индексирование

Как проверить обход / сканирование сайта поисковыми системами

Яндекс:

Общее количество загруженных (просканированных) Яндексом страниц можно увидеть на главной странице вебмастера.

Динамику обхода страниц можно увидеть на странице Индексирование -> Статистика обхода.

Google: отчет: статистика сканирования сайта.

Также можно проверить обход сайта всеми поисковыми роботами с помощью анализа серверных логов сайта (Access logs). Например, через программу SEO Log File Analyser.

Как часто происходит индексация сайта

Поисковые боты постоянно равномерно загружают страницы сайта, далее выкладывая их в обновленный индекс: Google обновляет индекс в постоянном режиме, Яндекс во время апдейтов поисковой базы, примерно раз в три дня.

Частота сканирования и переиндексации каждого отдельного сайта различается, и зависит от факторов:

1. объем контента/страниц сайта
2. краулинговый спрос поисковой системы для текущего сайта
3. настройки скорости сканирования в вебмастерах
4. скорость  работы сайта

Как улучшить и ускорить индексацию сайта

Рекомендации для увеличения охвата страниц индексом поисковых систем:

1. качественный уникальный контент, востребованный пользователями
2. все основные страницы должны быть в валидных сайтмапах sitemap.xml
3. оптимизация вложенности страниц 
4. оптимизация краулингового спроса/бюджета
5. хорошая скорость сайта
6. закрывать лишние страницы, чтобы не тратить на них ресурсы роботов
7. внутренняя перелинковка
8. создание ротарора на сайте (Ловец ботов)

Как ограничить скорость сканирования сайта

Обычно если требуется ограничить нагрузку, которую создают роботы, то у сайта большие проблемы и это негативно скажется на его индексации. Боты стараются быть “хорошими” юзерами и сканируют сайт равномерно, стараясь не перегружать сервера.

То что сайт от этого испытывает проблемы с нагрузкой, в 90% случаев может быть сигналом к смене хостинга/сервера или оптимизации производительности CMS. Но в случае крайней необходимости все таки можно задать рекомендуемую скорость сканирования сайта.

Для ограничения скорости обхода сайта можно воспользоваться инструментами Яндекс.Вебмастер и Google

Яндекс:

Google:
В старой версии консоли можно было временно ограничить максимальную скорость  сканирования сайта

В обновленной консоли такой возможности нет, но можно отправить сообщение о проблеме с активностью GoogleBot’а на сайте – https://www.google.com/webmasters/tools/googlebot-report

Проверить статус URL — Webmaster. Справка

Проверить статус URL — это инструмент для отслеживания индексации вашего сайта Яндексом. Он позволяет узнать статус страницы в результатах поиска: просканирована ли она, участвует ли она в поиске, а также почему она была исключена из результатов поиска.

1. Проверка страницы
2. Просмотр отчетов
3. Фильтрация данных

Чтобы получить информацию об индексировании страниц, выполните следующие действия в Яндекс.Вебмастере:

1. Выберите из списка сайт, страницу которого необходимо проверить.

2. Перейти в раздел.

3. Введите URL-адрес страницы и нажмите Проверить.

   Примечание. В поле вы можете ввести полный URL или относительный путь от корня сайта, начинающийся с «/». Например, если вы введете URL-адрес http://example.com , система обработает информацию о странице с URL-адресом http://example.com . Если ввести / новости , система обработает информацию о странице с URL http: // my-website.com / news .

Система собирает данные о странице и формирует отчет.

Во время сбора данных отчет имеет статус «Проверяется». Сбор и обработка информации занимает несколько минут. В некоторых случаях это может занять несколько часов. Как только система закончит обработку данных, статус отчета изменится на «Завершено». Статус «Не удалось создать отчет» указывает на то, что на стороне сервиса произошла ошибка. В этом случае попробуйте проверить страницу позже.

Чтобы просмотреть отчет, нажмите кнопку «Подробнее».

Отчет основан на текущем состоянии поисковой базы данных и последних данных, полученных от индексирующего робота:

• Статус страницы в поиске.

• Состояние страницы во время последнего сканирования.

• Дата и время последнего построения базы данных поиска и последнего сканирования.

• URL страницы.

• Заголовок страницы (содержимое элемента заголовка HTML).

Вы можете использовать фильтры для просмотра отчета, созданного для определенной страницы.

Чтобы удалить отчет, щелкните значок рядом с адресом страницы, затем щелкните «Удалить».

Примечание. Если содержимое страницы было изменено, робот автоматически отслеживает это. Данные результатов поиска будут обновлены при следующем создании базы поиска.

Вы можете быстро найти отчеты о проверках определенных страниц. Вы можете фильтровать данные по адресу страницы, щелкнув значок:

Введите часть URL-адреса.

Чтобы составить список страниц с определенным текстом в адресе, выберите URL-адрес, содержащий значение, из списка и введите фрагмент адреса.

Используйте специальные символы.

Вы можете использовать специальные символы, чтобы соответствовать началу строки или подстроки, и устанавливать более сложные условия с помощью регулярных выражений. Для этого выберите совпадения URL-адресов из списка и введите условие в поле. Вы можете добавить несколько условий, поместив каждое из них в новую строку.

Для условий доступны следующие правила:

Символы, используемые для фильтрации

Символ	Описание	Пример
*	Соответствует любому количеству любых символов	Показать данные для всех страниц, начинающихся с https: // example.com / тариф /, включая указанную страницу: / тариф / * Использование символа * Символ * может быть полезен при поиске URL-адресов, содержащих два или более определенных элемента. Например, вы можете найти новости или объявления за определенный год: / news / * / 2017/.
@	Отфильтрованные результаты содержат указанную строку (но не обязательно строго соответствуют ей)	Отображение информации для всех страниц с URL-адресами, содержащими указанную строку: @tariff
~	Условие — это регулярное выражение.	Отображение данных для страниц с URL-адресами, соответствующими регулярному выражению.Например, вы можете отфильтровать все страницы с адресом, содержащим один или несколько раз повторяющийся фрагмент ~ таблица | диван | кровать .
!	Отрицательное условие	Исключить страницы с URL-адресами, начинающимися с https://example.com/tariff/: ! / Тарифа / *

Использование символов не чувствительно к регистру.

Символы @,!, ~ Можно использовать только в начале строки. Доступны следующие комбинации:

Оператор	Пример
! @	Исключить страницы с URL-адресами, содержащими тариф: ! @Tariff
! ~	Исключить страницы с URL-адресами, соответствующими регулярному выражению

Индексирование сайта с помощью Яндекс.Метрика tag

Внимание. Этот метод не подходит для индексации:

Робот Яндекса узнает о страницах сайта из разных источников. Один из них — тег отслеживания Яндекс.Метрики. Вы можете указать Яндексу индексировать страницы с тегом.

Для ускорения сканирования свяжите тег Яндекс.Метрики с сайтом, который вы проверили в Яндекс.Вебмастере, и включите индексацию сайта с данными тегов.

Кто может запросить и подтвердить привязку

Откуда отправляется запрос	Кто отправляет запрос	Кто подтверждает запрос
Яндекс.Веб-мастер.	Пользователь с правами управления сайтом.	Пользователь Яндекс.Метрики с правами редактирования тегов или представительским доступом.
Яндекс.Метрика. Узнайте больше о том, как отправить запрос в Яндекс.Метрике.	Пользователь с правами редактирования тега или с репрезентативным доступом.	Пользователь Яндекс.Вебмастера с правами управления сайтом.

Когда робот завершает сканирование сайта, страницы могут быть включены в результаты поиска, если им не запрещено индексировать.Чтобы помочь роботу найти все страницы, также используйте файл Sitemap.

Вы можете связать несколько доменов с одним тегом или несколько тегов на сайте. Например, вы можете связать один и тот же тег с основным доменом и субдоменом. Для этого добавьте оба сайта в Яндекс.Вебмастер и подтвердите свои права на управление сайтом.

1. Выберите сайт для ссылки на тег.

2. Перейти в раздел.

3. Нажмите кнопку Добавить тег.

4. Укажите идентификатор тега для ссылки на сайт.Обратите внимание, что сайт должен быть указан в Яндекс.Метрике в настройках тега.

После того, как вы отправите запрос на подтверждение привязки, владелец тега Яндекс.Метрики получит уведомление по электронной почте.

1. Перейти к.

2. Рядом с тегом Яндекс.Метрики, который вы связали с сайтом, включите индексацию.

Робот сможет сканировать страницы, на которых установлен тег. Этот параметр применяется ко всем версиям сайта: по протоколу HTTP или HTTPS, с префиксом www или без него.

Во время индексации робот ищет на сайте страницы, которые могут быть включены в результаты поиска. В некоторых случаях индексация может остановиться, чтобы вы могли проверить страницы. Робот может найти много страниц, но Яндекс.Вебмастер показывает вам только примеры. Эти примеры помогут вам понять, какие группы страниц следует включать, а какие нет.

Вы получите уведомление о том, что список готов к проверке. В зависимости от ваших настроек, уведомление будет иметь следующий вид:

Чтобы проверить примеры, перейдите и щелкните Примеры страниц рядом с тегом, который вы связали с сайтом.

Если вы считаете, что список включает:

1. Внимательно посмотрите на список — он может включать следующие типы страниц:

   Тип страницы	Что мне делать?
   Страницы действий. Например, добавление товара в корзину или сравнение товаров.	Запретить индексацию страниц
   Корзина с товаром.
   Личная информация.Например, адрес доставки и номер телефона покупателя.	Ограничить доступ к данным путем аутентификации пользователей на сайте
   . Например, URL с дополнительными параметрами (https://example.com/page?id=1).	Укажите, какая страница предпочтительнее для включения в результаты поиска

2. Подождите, пока служба обновит список. Вы получите электронное письмо об этом на адрес, указанный в настройках уведомлений.

3. Еще раз проверьте образцы страниц.

4. Включить индексацию.

1. Проверьте, готовы ли ваши страницы к показу в результатах поиска. (Содержимое завершено? Правильно ли заданы титровальный элемент и метатег Описание?)

2. Включите индексирование.

Кроме того, мы рекомендуем добавлять страницы, которые могут участвовать в поиске, в файл Sitemap, чтобы ускорить их появление в результатах поиска.

Вы можете проверить, какие страницы появляются в результатах поиска, на страницах в разделе поиска.

Когда опция выключена, робот перестает получать информацию о новых страницах сайта от Яндекс.Метрики. Однако он может проиндексировать страницы, если узнает о них из других источников. Мы рекомендуем запретить индексирование непубличного содержания. Чтобы узнать, включены ли страницы, которые вы не хотите индексировать, в результаты поиска, перейдите в раздел «Страницы» в разделе поиска.

Также имейте в виду, что отключение индексации не удаляет страницы из результатов поиска.См. Как мне исключить страницы из поиска ?.

Как добавить сайт в поиск?

Страницы сайта появляются в результатах поиска после посещения сайта роботами Яндекса. Чтобы роботы сканировали и загружали страницы:

Шаг 1. Сделайте страницы сайта видимыми для робота

Совет. Поддерживайте качество сайта. Чем больше полезных страниц найдет и загрузит робот в базу данных, тем больше вероятность, что они будут отображаться в результатах поиска. Дополнительные сведения см. В разделе «Признаки некачественного сайта».

Шаг 2. Скрыть закрытый контент

Тип страницы	Что мне делать?
Страницы действий. Например, добавление товара в корзину или сравнение товаров.	Запретить индексацию страниц
Корзина с товаром.
Личная информация. Например, адрес доставки и номер телефона покупателя.	Ограничьте доступ к данным путем аутентификации пользователей на сайте
Дубликат страницы.Например, URL с дополнительными параметрами (https://example.com/page?id=1).	Укажите, какая страница предпочтительнее для включения в результаты поиска

Тип страницы	Что мне делать?
Страницы действий. Например, добавление товара в корзину или сравнение товаров.	Запретить индексацию страниц
Корзина с товаром.
Личная информация. Например, адрес доставки и номер телефона покупателя.	Ограничьте доступ к данным путем аутентификации пользователей на сайте
Дубликат страницы. Например, URL с дополнительными параметрами (https://example.com/page?id=1).	Укажите, какая страница предпочтительнее для включения в результаты поиска

После того, как робот просканирует сайт, страницы могут появиться в поиске в течение двух недель.

Кроме того, роботы могут узнавать о сайте, открывая ссылки с других ресурсов. Это может занять время и не гарантирует, что робот просканирует все страницы, которые вы хотели бы показывать в результатах поиска.

Подробнее о том, как работает поиск Яндекс.

Для отслеживания индексации и ранжирования сайта в результатах поиска добавьте сайт в Яндекс.Вебмастер. В Яндекс.Вебмастере вы также можете посмотреть, как сайт отображается в результатах поиска и какие улучшения вы можете внести — откройте страницу Просмотр в результатах поиска.

Статистика сканирования — Вебмастер. Справка

Робот-индексатор Яндекса регулярно сканирует страницы сайта и загружает их в поисковую базу. Робот может не загрузить страницу, если она недоступна.

Яндекс.Вебмастер позволяет узнать, какие страницы вашего сайта сканирует робот. Вы можете просмотреть URL-адреса страниц, которые робот не смог загрузить из-за недоступности сервера хостинга или из-за ошибок в содержании страницы.

Информация о страницах доступна в Яндекс.Вебмастер на странице. Информация обновляется ежедневно в течение шести часов после посещения страницы роботом.

По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию об определенном разделе, выберите его из списка в поле URL сайта. Доступные разделы отражают структуру сайта, известную Яндексу (кроме разделов, добавленных вручную).

Если в списке нет страниц, которые должны быть включены в результаты поиска, воспользуйтесь инструментом «Переиндексировать страницы», чтобы сообщить о них Яндексу.

Вы можете скачать информацию о страницах в формате XLS или CSV с помощью фильтров.

Примечание. Данные доступны с 20 февраля 2017 года.

1. Динамика состояния страниц
2. Изменения страниц в поисковой базе
3. Список страниц, просканированных роботом
4. Фильтрация данных

Информация о странице представлена ​​следующим образом:

• Новые и измененные — количество страниц, которые робот просканировал в первый раз, и страниц, которые изменили свой статус после того, как они были просканированы роботом.

• Статистика сканирования — количество страниц, просканированных роботом, с кодом ответа сервера.

Изменения отображаются, если код ответа HTTP изменился, когда робот снова обратился к странице. Например, 200 OK превращается в 404 Not Found. Если изменилось только содержание страницы, в Яндекс.Вебмастере это не отобразится.

Чтобы просмотреть изменения, установите параметр «Последние изменения». Может отображаться до 50 000 изменений.

Яндекс.Вебмастер показывает следующую информацию о страницах:

• Дата последнего посещения страницы роботом (дата сканирования).

• Путь к странице из корневого каталога сайта.

• Код ответа сервера, полученный при сканировании.

На основе этой информации вы можете узнать, как часто робот просматривает страницы сайта. Вы также можете увидеть, какие страницы были только что добавлены в базу данных, а какие были повторно просканированы.

Страницы, добавленные в базу поиска

Если страница сканируется впервые, в столбце «Была» отображается статус «Н / д», а в столбце «Текущий» отображается ответ сервера (например, 200 OK).

После успешной загрузки страницы в базу данных поиска ее можно будет отобразить в результатах поиска после обновления базы данных поиска. Информация о нем отображается в разделе «Страницы в поиске».

Страницы, переиндексированные роботом

Если робот просканировал страницу раньше, статус страницы может измениться при повторном сканировании: в столбце Was отображается ответ сервера, полученный во время предыдущего посещения, в столбце Current отображается ответ сервера получено во время последнего сканирования.

Предположим, что страница, включенная в поиск, стала недоступна для робота. В этом случае он исключается из поиска. Через некоторое время вы можете найти его в списке исключенных страниц в разделе «Страницы в поиске».

Страница, исключенная из поиска, может оставаться в базе данных поиска, чтобы робот мог проверить ее доступность. Обычно робот запрашивает страницу до тех пор, пока на нее есть ссылки, и это не запрещено в файле robots.txt.

Чтобы просмотреть список страниц, установите для параметра значение Все страницы.Список может содержать до 50 000 страниц.

Вы можете просмотреть список страниц сайта, просканированных роботом, и следующую информацию о них:

• Дата последнего посещения страницы роботом (дата сканирования).

• Путь к странице из корневого каталога сайта.

• Код ответа сервера, полученный при последней загрузке страницы роботом.

Наконечник. Если в списке показаны страницы, которые уже удалены с сайта или не существуют, вероятно, робот находит ссылки на них при посещении других ресурсов.Чтобы запретить роботу доступ к ненужным страницам, запретите индексацию с помощью директивы Disallow в файле robots.txt.

Вы можете фильтровать информацию о страницах и изменениях в поисковой базе по всем параметрам (дате сканирования, URL страницы, коду ответа сервера) с помощью значка. Вот несколько примеров:

По ответу сервера

Вы можете создать список страниц, которые робот просканировал, но не смог загрузить из-за ответа сервера 404 Not Found.

Вы можете фильтровать только новые страницы, которые были недоступны для робота.Для этого установите переключатель в положение «Последние изменения».

Также вы можете получить полный список страниц, которые были недоступны для робота. Для этого установите переключатель в положение Все страницы.

По фрагменту URL

Вы можете создать список страниц с URL, содержащим определенный фрагмент. Для этого выберите из списка Содержит и введите фрагмент в поле.

По URL-адресу с использованием специальных символов

Вы можете использовать специальные символы для сопоставления начала строки или подстроки и устанавливать более сложные условия с помощью регулярных выражений.Для этого выберите совпадения URL-адресов из списка и введите условие в поле. Вы можете добавить несколько условий, поместив каждое из них в новую строку.

Для условий доступны следующие правила:

Символы, используемые для фильтрации

Символ	Описание	Пример
*	Соответствует любому количеству любых символов	Показать данные для всех страниц, начинающихся с https: // example.com / тариф /, включая указанную страницу: / тариф / * Использование символа * Символ * может быть полезен при поиске URL-адресов, содержащих два или более определенных элемента. Например, вы можете найти новости или объявления за определенный год: / news / * / 2017/.
@	Отфильтрованные результаты содержат указанную строку (но не обязательно строго соответствуют ей)	Отображение информации для всех страниц с URL-адресами, содержащими указанную строку: @tariff
~	Условие — это регулярное выражение	Отображение данных для страниц с URL-адресами, соответствующими регулярному выражению.Например, вы можете отфильтровать все страницы с адресом, содержащим один или несколько раз повторяющийся фрагмент ~ таблица | диван | кровать .
!	Отрицательное условие	Исключить страницы с URL-адресами, начинающимися с https://example.com/tariff/: ! / Тариф / *

Использование символов не чувствительно к регистру.

Символы @,!, ~ Можно использовать только в начале строки. Доступны следующие комбинации:

Оператор	Пример
! @	Исключить страницы с URL-адресами, содержащими тариф: ! @Tariff
! ~	Исключить страницы с URL-адресами, соответствующими регулярному выражению

Яндекс — Технологии — Как работает поиск Яндекс

Поисковая система Яндекса отвечает на запросы пользователей соответствующими веб-документами, которые она находит в Интернете.Однако размер Интернета в настоящее время исчисляется в эксабайтах — квинтиллионах или миллиардах байтов информации. Излишне говорить, что поиск Яндекса не просматривает эту огромную кучу данных каждый раз, когда он отвечает на новый поисковый запрос. Система, так сказать, делает свое дело.

Для выполнения поиска Яндекс использует поисковый индекс, который по сути представляет собой базу данных всех слов и их местоположений, известных поисковой системе. Расположение слова — это комбинация его положения на веб-странице и адреса веб-страницы в Интернете.Индекс поиска похож на глоссарий или телефонный справочник. В отличие от глоссария, который содержит только избранные термины, поисковый индекс регистрирует каждое слово, которое когда-либо встречалось поисковой системе. И, в отличие от телефонной книги, в которой перечислены имена и адреса, поисковый индекс содержит более одного «зарегистрированного адреса» для каждого слова.

Поисковая машина в Интернете работает в два этапа. Во-первых, он сканирует Интернет, сохраняя свою «копию» на своих серверах. Во-вторых, он отвечает на поисковый запрос пользователя, получая ответ со своих серверов.

Прежде чем поисковая система сможет начать поиск, она должна подготовить информацию, которую она находит в Интернете, для поиска. Этот процесс называется индексацией. Специальная компьютерная система — поисковый робот — регулярно просматривает Интернет, загружает новые веб-страницы и обрабатывает их. Он создает своего рода «точную копию» Интернета, которая хранится на серверах поисковой системы и обновляется после каждого сканирования.

Яндекс имеет два сканера: один из них, основной, индексирует все попадаемые ему веб-страницы, а другой, известный как Orange, выполняет экспресс-индексирование, чтобы гарантировать, что самые свежие документы, в том числе те, которые появились на веб-страницы за минуты или даже секунды до сканирования доступны в индексе поисковой системы.У обоих поисковых роботов есть «списки ожидания» веб-страниц, которые необходимо проиндексировать. В списки постоянно добавляются новые ссылки, которые поисковые роботы находят на посещаемых ими страницах. Новые ссылки также могут появиться в листах ожидания после того, как владельцы сайтов добавят свои страницы в индекс с помощью сервиса Яндекс.Вебмастер. Администраторы веб-сайтов могут также предоставить дополнительную информацию, например, как часто обновляется их веб-сайт и т. Д.

Перед запуском процесса сканирования специальная программа — планировщик — создает расписание, в соответствии с которым будут отображаться веб-страницы. посетил.Планирование основано на ряде факторов, необходимых для поиска информации, таких как популярность ссылок или частота обновления страниц. После того, как расписание составлено, другой компонент поисковой системы — паук — вступает во владение. Паук регулярно посещает страницы по расписанию. Если веб-сайт доступен для паука и работает, программа загружает страницы веб-сайта по расписанию. Он определяет формат (html, pdf, swf и т. Д.), Код и язык загруженного документа, а затем отправляет эту информацию на серверы для хранения.

На сервере хранения другая программа очищает веб-документ от html-разметки, оставляя только текст. Затем он извлекает информацию о местонахождении каждого слова и добавляет все слова в этом веб-документе в индекс. Исходный документ также сохраняется на сервере до следующего сканирования. Это позволяет Яндексу предлагать своим пользователям возможность просматривать веб-документы, даже если веб-сайт временно недоступен. Если сайт закрывается или веб-документ удаляется или обновляется, Яндекс удаляет его со своих серверов или заменяет более новой версией.

Индекс поиска вместе с копиями всех проиндексированных документов, включая их тип, код и язык, формирует базу данных поиска. Чтобы не отставать от постоянно меняющегося характера интернет-контента и быть уверенным, что поисковая система может находить самую последнюю и наиболее актуальную информацию в ответ на поисковые запросы пользователей, базу данных поиска необходимо регулярно обновлять. Прежде чем поисковая система сможет найти и вернуть результаты конечным пользователям, каждое новое обновление базы данных сначала отправляется на серверы «основного поиска».Базовые поисковые серверы содержат только существенную часть поисковой базы данных — свободную от спама, зеркальных сайтов или других нерелевантных документов. Это часть поисковой базы данных, которая напрямую отвечает на запросы пользователей.

Обновления базы данных поиска отправляются с серверов хранения основного сканера на базовые серверы поиска в «пакетах» один раз в несколько дней. Это очень ресурсоемкий процесс. Чтобы снизить нагрузку на серверы, данные передаются в ночное время — когда поисковый трафик на Яндексе минимален.Новые части базы данных сравниваются с использованием ряда параметров с последней версией, доступной при предыдущем сканировании, чтобы гарантировать, что обновление не ухудшит качество результатов поиска. После успешной проверки качества старая версия заменяется последним обновлением.

Сканер Orange разработан для поиска в реальном времени. И его планировщик, и паук настроены на поиск последних веб-документов и выбор из огромного количества страниц тех, которые могут представлять интерес.Эти документы обрабатываются мгновенно и отправляются прямо на основные поисковые серверы. Поскольку количество этих документов относительно невелико, обновление может происходить в режиме реального времени даже в течение дня без риска перегрузки серверов.

Поисковая машина в Интернете, грубо говоря, работает в два этапа. Первый — это сканирование в Интернете, индексация страниц и подготовка их к поиску. Другой — поиск ответа на конкретный пользовательский запрос в ранее созданной поисковой базе данных.

Инструменты Яндекса для веб-мастеров — WebNots

Что такое Яндекс?

Яндекс — ведущая поисковая система в России, занимающая более 60% рынка.Инструмент Яндекс для веб-мастеров позволяет разместить ваш сайт в поисковой системе Яндекса. В отличие от Baidu в Китае, Яндекс предоставляет инструменты для веб-мастеров как на английском, так и на русском языках, что упрощает веб-мастерам отправку и мониторинг своих сайтов.

С увеличением количества запросов на английском языке размещение вашего сайта в Яндексе увеличивает возможность привлечения миллионов пользователей из России, даже если содержание вашего сайта в основном на английском языке.

Регистрация и вход в Яндекс Инструменты для веб-мастеров

Подобно Google, Яндекс имеет единую учетную запись для доступа ко всем функциям.Вы можете зарегистрировать учетную запись на Яндексе здесь и войти в учетную запись Инструментов для веб-мастеров здесь.

Войти в аккаунт Яндекс для веб-мастеров

Предлагаемые базовые функции

Английская версия Инструментов для веб-мастеров Яндекса предлагает ограниченные возможности по сравнению с русской версией. Но это поможет международным владельцам сайтов разместить свой сайт в Яндекс. Как и большинство других поисковых систем, Яндекс предлагает следующие основные функции. Помните, что Яндекс удалил анонимную отправку сайта, и вы должны отправлять свой сайт только через учетную запись инструмента для веб-мастеров.

• Отправьте свой сайт — отправьте свой сайт с правильным URL-адресом и подтвердите права собственности для доступа к другим функциям.
• Отправка карты сайта — вы можете проверить XML-карту сайта с помощью инструмента « Sitemap Validator » и отправить в Яндекс в меню « Индексирование> Файлы Sitemap ».
• Поисковый запрос — проверьте, какие поисковые запросы принесли трафик на ваш сайт в разделе « Поисковые запросы> История запросов ».
• Статус индексирования — проверьте статус проиндексированных страниц в разделе «Индексирование> Доступные для поиска страницы».Вы также можете найти страницы, исключенные из поиска Яндекса, с указанием причины.
• Повторное индексирование страниц — повторно отправьте URL-адрес страницы при изменении содержимого, чтобы запросить у Яндекса сканирование и индексирование в разделе « Индексирование> Повторное индексирование страниц ».
• Найдите внутренние и внешние ссылки вашего сайта в разделе «Ссылки».
• Укажите региональную принадлежность вашего сайта в разделе « Информация о сайте> Регион ». Это поможет Яндексу правильно показывать его при локальном поиске.
• Воспользуйтесь бесплатными инструментами для проверки XML Sitemap перед отправкой и проверки удобства вашего сайта для мобильных устройств, чтобы предпринять корректирующие действия.

Проверить мобильность сайта в Яндексе

Возможности Яндекса для веб-мастеров

Яндекс предоставляет веб-мастерам следующие возможности:

• Проанализируйте поисковые запросы, по которым ваш сайт отображался в результатах поиска.
• Проверка статуса сайта в поисковой системе Яндекса, например, сколько страниц проиндексировано и исключено.
• Мобильность вашего сайта.
• Проверьте безопасность сайта и выполните диагностику сайта на предмет других возможных проблем.
• Управляйте структурой своего сайта.

Функции распределены по разным разделам в аккаунте Яндекса для веб-мастеров. Давайте подробно рассмотрим каждый раздел.

1. Резюме

В сводном разделе отображаются все основные сведения о выбранном сайте в виде панели управления. Вы можете проверить наличие проблем на сайте, поисковый трафик, ошибки сканирования и многое другое.

Сводный раздел Инструментов для веб-мастеров Яндекса

2. Устранение неполадок

Этот раздел состоит из двух частей — диагностики сайта и безопасности и нарушений. В разделе «Диагностика» вы увидите последнюю проблему, обнаруженную Яндексом на сегодняшний день. Нажмите кнопку «Другие дни», чтобы просмотреть исторические проблемы на вашем сайте.

Диагностика сайта Устранение неполадок

Щелкните ссылку «Просмотреть список всего, что проверено веб-мастером», чтобы просмотреть статус вашего сайта по каждой категории ошибок.Вы увидите, что все ошибки классифицируются как критические, критические, возможные проблемы и рекомендации. Убедитесь, что для каждого типа отображается статус «Все в порядке». В противном случае нажмите кнопку «Проверить», чтобы начать проверку. Яндекс может пройти проверку на наличие ошибки в течение нескольких дней.

В разделе «Безопасность и нарушения» будут показаны все ошибки безопасности на вашем сайте. Убедитесь в отсутствии нарушений безопасности, чтобы Яндекс-бот мог сканировать и индексировать ваш сайт в результатах поиска.

3. Поисковые запросы

Раздел поисковых запросов покажет вам все запросы, показы и клики для вашего сайта за выбранный период времени. Вы можете просматривать детали, отфильтрованные по странам, устройствам, а также фильтровать по позиции показов, кликов, средних результатов поиска и CTR%.

Статистика поисковых запросов Яндекса

Яндекс позволяет создавать группы и классифицировать запросы, чтобы можно было фильтровать релевантные запросы по группе.

4. Индексирование

Раздел «Индексирование» — один из важных разделов в аккаунте Инструментов для веб-мастеров, предлагающий различную информацию о статусе индексации вашего сайта в поисковой системе Яндекса. Проверьте статистику сканирования, чтобы убедиться, что Яндекс сканирует все ваши новые страницы, а также просматривает ошибки сканирования с указанием кода статуса HTTP.

Статистика сканирования Яндекса

Используйте инструмент «Проверить статус URL» или «Мониторинг важных страниц», чтобы отправлять важные страницы на свой сайт и отслеживать статус индексации в Яндекс.Помните, что это не инструмент для сканирования или индексирования, он предназначен только для отслеживания изменений индексации важных страниц. Вы можете добавить до 100 важных страниц со своего сайта для мониторинга.

Проверить статус URL

Используйте инструмент «Переиндексировать страницы», чтобы запросить индексацию ваших страниц в поисковой системе Яндекса. Это похоже на параметр «Просмотреть как Google» в консоли поиска Google.

4.1. Представление карты сайта

У нас есть отдельная статья, чтобы объяснить, как отправить XML Sitemap в Яндекс.Как правило, вы можете перейти в раздел «Индексирование> Файлы Sitemap» и отправить свой Sitemap.

Подача карты сайта Яндекса

4.2. Переместить сайт

Используйте инструмент «Переместить сайт» при переносе своего сайта в другой домен. Для начала вам необходимо добавить и подтвердить право собственности на новый домен в аккаунте Yandex Webmaster Tools. Затем используйте этот инструмент, чтобы отправить запрос на перенос, чтобы сохранить рейтинг в поисковой системе. Вы также можете использовать этот инструмент при смене домена на www или https.

Перенести сайт в Яндекс Инструменты для веб-мастеров

4,3 Скорость сканирования

Что ж, здесь стоит особо отметить, что Яндексбот — один из самых агрессивных сканирующих ботов. Хотя вы не увидите много проиндексированных страниц, сканирование будет происходить часто. Это может повлиять на производительность сервера или повлиять на реальных пользователей вашего сайта. Если вы отправили сайт в другие поисковые системы, такие как Google, Bing и Baidu, вам следует вручную ограничить скорость сканирования Яндекс-ботом. Нажмите на опцию «Установить вручную» и выберите 2–3 запроса в секунду, чтобы установить скорость сканирования для Яндекс-бота.Это поможет значительно сэкономить пропускную способность сервера и, следовательно, сэкономить деньги на хостинге.

Настройки скорости сканирования в Яндексе

Узнайте, как настроить скорость сканирования для поисковых роботов Google и Bing.

5. Ссылки

В разделе внутренних ссылок будут показаны все ссылки вашего сайта с ошибками, например 403, 500 и другими. Вы можете легко найти неработающие ссылки на своем сайте и исправить их, чтобы избежать ошибки 404.

Проверка сломанной внутренней ссылки

В разделе «Внешние ссылки» отображается количество и список внешних ссылок и сайтов, которые указывают на ваш сайт.Это общий показатель того, что большее количество внешних ссылок поможет вам получить хорошие результаты поиска.

Раздел внешних ссылок Яндекса

6. Информация о сайте

В этом разделе можно настроить географический таргетинг, регистр букв для названия сайта и дополнительных ссылок. Как и все другие поисковые системы, Яндекс автоматически обрабатывает дополнительные ссылки. Вы не можете вручную добавить дополнительные ссылки на свою страницу.

Яндекс.Географическая ориентация

Настройки регистра букв позволяют изменить отображение вашего сайта в поисковой выдаче Яндекса.Например, вы можете изменить регистр имени сайта с «webnots» на «WebNots».

Яндекс.Письмо вариант

7. Турбо-страницы

Турбо-страницы похожи на AMP от Google. Это сделано для ускорения мобильной версии вашего сайта. Но вы должны настроить параметры, чтобы включить и настроить его. Мы рекомендуем использовать Google AMP вместо этой опции, особенно если вы не в России.

Настройки Турбо Страницы в Яндексе

8. Инструменты

Яндекс предлагает следующие инструменты, которые помогут веб-мастерам анализировать свои сайты:

• Роботы.txt анализ
• Валидатор карты сайта
• Проверка ответа сервера
• Удалить URL
• Страницы Audi для мобильной совместимости
• XML-валидатор
• Валидатор структурированных данных

Эти инструменты доступны в меню « Инструменты » на верхней панели навигации, а также могут быть доступны непосредственно из раскрывающегося меню « Инструменты », доступного на верхней панели навигации.

Дополнительные инструменты Яндекса

9. Настройки

Меню настроек

содержит две опции — уведомления и права доступа.Настройте способ получения уведомлений для каждого параметра, например для получения еженедельного дайджеста и изменений статусов вашего сайта.

Настройки уведомлений Яндекса

Раздел прав доступа покажет вам проверенных на данный момент владельцев сайта вместе с кодом подтверждения. Вы можете сбросить доступ и делегировать любому владельцу из этого раздела.

10. Полезные услуги

Это дополнительные сервисы от Яндекса, такие как Яндекс Бизнес-каталог, Живые чаты для бизнеса, электронная почта Яндекса для домена и т. Д.Как правило, вы не можете использовать какие-либо из этих услуг для международного сайта.

Заключение

Надеемся, что в этой статье вы получили обзор инструментов Яндекса для веб-мастеров. Он очень похож на учетную запись Google Search Console или Bing Webmaster Tools. Но англоязычным сайтам сложно привлечь большой объем трафика из поисковой системы Яндекс.

Индексирование страниц сайта: как быстро проверить в поисковиках в Go

Взгляды: 1759 Соломоно

Если вы продвигаете сайт самостоятельно, будет интересно узнать, какие страницы проиндексированы поисковыми системами Google и Яндекс и проиндексированы ли они вообще.

Важно! Часто индексирование путают с обычным сканированием. Имейте в виду, что поисковая система может сканировать страницу сразу, но через некоторое время добавить ее в вашу базу данных (индексировать).

Если вы зарегистрировали свой сайт в веб-мастере, вам необходимо перейти в Search Console и выбрать вкладку «Индекс Google». На вкладке «Статус индексирования» вы увидите график, на котором вы можете определить количество проиндексированных страниц.

Как проверить индексацию страниц в Яндексе

В Яндекс.Вебмастеру необходимо выбрать вкладку «Индексирование сайта», а затем «Страницы в поиске».
Первый признак того, что все в порядке, — это когда количество проиндексированных страниц растет и кривая ползет вверх. Снижение кривой указывает на проблемы на сайте.

Как проверить индексацию сайта в поисковых системах через адресную строку

Есть несколько так называемых операторов, с помощью которых вы можете увидеть количество проиндексированных страниц. В адресной строке введите: site: адрес вашего сайта, например site: https: // solomono.нетто
Поэкспериментируйте с настройками, чтобы увидеть результаты по нескольким параметрам, например, по времени, для определенного языка или региона.

Индексация страниц сайта с помощью сервисов

Проверить изменения индексации страниц в Яндексе и Гугле можно с помощью специальных сервисов. Одна из таких услуг — PR-CY. Этот сервис показывает не только изменения в индексации страниц, но и много другой полезной информации, как с точки зрения seo-оптимизации, так и по техническим настройкам сайта.

Индексирование сайта в поисковых системах с помощью плагинов

Индексирование страниц сайта также можно проверить с помощью плагинов и расширений браузера. Например, Mozilla Firefox имеет в своем арсенале такое расширение, как RDS Bar. Открыв свой сайт в браузере с установленным плагином, вы можете наглядно увидеть всю информацию по: индексации в Яндексе, индексации в Google, ТИЦ и других показателей.

Желаем набраться сил и терпения в продвижении своего интернет-магазина и все будет хорошо!

.

No related posts.