Посмотреть индексацию сайта: 404 Ooops. We’re afraid you’d have to go back

Как проверить индексацию конкретной страницы и всего сайта в Яндексе и Google?

Индексация — процесс добавления сведений о сайте роботом в базу данных, которая потом используется для поиска. Бот индексирует ссылки, изображения, видео, и другие элементы на сайте. Если сайт или отдельная страница не проиндексированы, то поисковая система просто не их увидит. Рассказываем как проверить индексацию.

Яндекс

Проверка индексации страницы

Необходимо в строку поиска Яндекс написать следующий запрос:

url:domain.ru/page/

domain.ru/page/ — адрес проверяемой страницы. Важно! Вводить необходимо адрес с www, если страницы на сайте открываются с www, и без www, если на сайте они без www. Если вы не уверены — проверьте оба варианта.

url: — оператор для проверки индексации страницы.

Если в результатах поиска страница найдена, значит она проиндексирована данной поисковой системой. Пример.

Если по запросу ничего не найдено, страница не проиндексирована

Проверка индексации всего сайта в Яндексе

Для проверки индексации всего сайта в Яндекс необходимо использовать следующий запрос:

url:domain.ru/*

domain.ru — доменное имя проверяемого сайта.

url: — оператор для проверки индексации страницы.

* — оператор «любой символ».

Важно! Вводить необходимо адрес с www, если страницы на сайте открываются с www и без www, если на сайте они без www. Если вы не уверены — проверьте оба варианта.

В результате получаем список проиндексированных страниц, а справа от результатов выдачи написано, сколько всего страниц данного сайта находится в поиске. Пример.

Иногда данный запрос не работает и вместо него можно использовать оператор site:domain.ru

Google

Проверка индексации страницы

Необходимо ввести в строку поиска Google запрос:

info:domain.ru/page

domain.ru/page — адрес проверяемой страницы.

info: — оператор для проверки индексации страницы.

Если страница проиндексирована, значит в результатах поиска будет ссылка на проверяемую страницу. Пример.

Проверка индексации всех страниц сайта в Google

Для проверки индексации страницы в поисковой системе Google необходимо ввести в строку поиска запрос:

site:domain.ru

domain.ru — доменное имя сайта.

site: — оператор проверки индексации всех страниц сайта.

В результатах поиска появится список страниц в поиске, а под поисковой строкой общее количество проиндексированных страниц. Пример.

Как быстро проверить индексацию страниц всего сайта?

Уже было не мало статей про индексацию сайта, а именно:

—       Индексация сайта в поисковых системах

—       Что делать если сайт не индексируется?

—       Как быстро проиндексировать сайт или страницу?

Эти статьи вам помогут с индексацией, после того, как вы очень быстро сможете определять индексацию ресурса.

В данной статье мы рассмотрим варианты, как быстро можно проверить свой сайт на индексацию в обеих поисковых системах как Google и Яндекс.

А дальше поработать над индексацией и увеличить посещаемость, за счет оптимизации и индексации нужных страниц.

Как это сделать?

На самом деле вариантов есть множество, давайте рассмотрим от сложного к простому:

1.    Сложный и не всегда понятный

Делаем это с помощью оператора поисковых систем:

Используем оператор site:vashsite.com. Так же смотрим какие страницы находятся в основном индексе:

По сути количество страниц мы то увидим, даже можем сопоставить основной индекс с не основным.

Но как понять, какие важные страницы не индексируются?

Именно про это сегодняшняя статья. Сразу переходим к быстрому способу.

2.    Быстрый способ проверки сайта на индексацию

Есть такой сервис: saitreport.ru, с помощью которого можно сделать небольшой аудит сайта.

Сервис платный, но стоит совсем небольших денег. Но может сильно помочь сэкономить время, а так же показать проблемные места.

Вот пошаговый план действий:

А) Добавляем проект для проверки

Вводим нужный URL вашего сайта, выбираем платную проверку, выбираем количество страниц, пополняем аккаунт и отправляем на проверку.

Если сайт небольшой, например, до 1000 страниц, то он проверяется довольно таки быстро 10-20 минут.

Б) Смотрим отчет по проверке

Сразу же смотрим в левую сторону и переходим во вкладку – индексация в ПС.

Далее нас интересуют 2 поисковых системы:

В) Проверяем индексацию в Google и Яндекс

Для этого меняем сортировку, чтобы изначально показывались не проиндексированные страницы:

Что там можно найти?

Как минимум:

—       Битые ссылки

Например такое:

—       Важные страницы, которые не индексируются

Это основная причина, делать такую быструю проверку. Так как если вы обнаружите такие страницы, то:

—       понять причину

—       исправить ошибки

—       проиндексировать страницу

—       получать с нее поисковый трафик

Почему именно этот сервис?

Он удобно показывает сразу индексацию по двум поисковым системам и сканирует довольно таки быстро.

Что действительно экономит время и дает возможность быстрее увидеть проблемные места.

3.    Другие варианты проверки

Самым простым вариантом является Google и Яндекс вебмастер.

Читаем:

—       Google Webmaster Tools

—       Яндекс Вебмастер

Так же можно проверять внутренние технические моменты на сайте с помощью программы Screaming Frog, но она не покажет индексацию именно так по страницам.

В заключение

Мы используем этот вариант для именно быстрой проверки индексации и так же быстро потом правки ошибки на сайте и индексируем нужные страницы.

Как правило, если на сайте обращать внимание на такие моменты, то можно хорошо увеличить поисковый трафик.

Вот пример работы только с такими страницами на контентом сайте:

Индексация

– самый важный момент в поисковом продвижении сайтов. Так как если страницы сайта не индексируются, то продвигать его нет смысла.

Поэтому важно:

—       обращать на это внимание

—       регулярно проверять

—       исправлять ошибки на сайте

—       помогать хорошо индексироваться новым страницам

Тогда сайт на порядок лучше и быстрее будет расти и получать нужный поисковый трафик на сайт.

А что вы думаете про быструю проверку индексации своего сайта?

Оцените статью

Загрузка…

Индексация сайта — что это такое, определение и как использовать ROMI.center

Что это такое

Индексация страниц сайтов в поисковиках происходит по алгоритмам поисковых систем: учитываются ссылки ресурса, релевантность и распределение контента по разделам. Роботам важно понять, насколько представленная информация ценна для пользователя, который ввёл запрос в поисковую строку. Именно это и позволяет выявить поисковая индексация сайта. 

Как настроить свой ресурс для наилучшей поисковой выдачи и как проверить все показатели? Обо всём этом расскажем далее.

Как проходит индексация сайта

Как только появилась глобальная сеть, у владельцев поисковых систем возникла необходимость фильтрации результатов запросов. В эти времена и появилась индексация сайта по ключевым словам. Такой односторонний метод оценки привёл к тому, что на первых строках результатов появлялись совершенно бесполезные страницы, сплошь и рядом заполненные необходимыми словоформами. 

С тех пор многое изменилось и поисковые роботы научились оценивать сайты сразу по нескольким параметрам для получения наиболее достоверной информации. Сейчас индексация сайта бесплатная и высота отображения ресурса зависит исключительно от его качества. 

Для улучшения индексации ресурса большинству русскоязычных сайтов достаточно учесть особенности алгоритмов двух основных поисковиков: Google и Яндекс. Подача данных нового сайта может происходить автоматическим и ручным методами. Рассмотрим далее самые распространённые вопросы о прохождении индексации: 

Как происходит автоматическая проверка?

Автоматическая индексация сайта в поисковых системах происходит при помощи механизмов, которые самостоятельно находят ресурс и анализируют его контент, релевантность информации, ссылки, трафик, время визитов пользователей и многое другое. Началу прохождения такой проверки способствует наличие ссылок на сайт на других ресурсах.

Индексация в Google сайта: как сделать вручную? 

Необходимо зарегистрировать ресурс в сервисе Google Search Console. 

Где проверить количество страниц в индексе?

Чтобы узнать, сколько страниц сайта проиндексировано Яндексом, перейдите по ссылке. Для аналогичного мониторинга в Google необходимо ввести в поисковую строку значение site: домен сайта. Например site:moisait.ru

Почему Яндекс не индексирует сайт? 

Яндекс сканирует ресурсы с более низкой скоростью, в сравнении с Google. Для получения заветной отметки в базе данных необходимо зарегистрироваться в Яндекс.Вебмастер. 

Индексация Яндекс и Google: что важно учесть?

Помимо регистрации в Яндекс.Вебмастер и Search Console необходимо проверить карту сайта — sitemap, а также указать необходимые параметры индексации в файле Robots.txt.

Сколько времени индексируется новый сайт

Сколько занимает проверка — зависит от поисковой системы. Google является скоростным лидером в данном процессе, управляясь с индексацией примерно за одну неделю. Время индексации в Яндексе может быть больше — до нескольких недель. 

Скорость, с которой поисковик заметит ресурс зависит от множества параметров, поэтому указанные сроки весьма условны. Например, дополнительные страницы уже проиндексированного сайта рассматриваются быстрее.

Что значит переиндексация сайта

Переиндексация — повторный анализ страниц, производимый алгоритмами поисковых систем. Как часто происходит данный процесс? Во многом это зависит от регулярности обновлений. Чем чаще на сайте появляется новая информация, тем с большим вниманием поисковик рассматривает ресурс, чтобы не пропустить новости. О прочих лайфхаках для ускорения индексации поговорим далее. 

Проверить сайт на запрет индексации

При индексации сайта могут возникнуть проблемы, которые требуется оперативно устранить. Чтобы страницы успешно прошли проверку и отображались в поиске.

Яндекс.Вебмастер и Search Console содержат разделы, в которых можно посмотреть проблемы, найденные на ресурсе. Например, система может сделать запрет на индексацию страниц за нарушение правил безопасности или за отсутствие подверждённого домена.

Последствия запрета индексации части сайта отразятся на показах этих страниц. Пользователь просто не увидит их, когда введёт в поисковик целевой запрос. 

Как открыть сайт для индексации, скрыв отдельные страницы

Однако иногда часть страниц требуется закрыть от индексации преднамеренно, прописав их в файле robots.txt. Вот в каких случаях это может пригодиться:

1. Дублированные страницы.
2. Страницы в разработке.
3. Технические разделы, которые необходимо скрыть.

Во-первых, запретить индексацию специально можно путём указания имени нужного файла или папки в файле robots.txt: 

User-agent: *

Disallow: /folder/file.php

Disallow: /folder/

Системы не смогут проверить noindex и nofollow, поэтому второй вариант скрытия ненужного контента — это указание данных тегов. 

Запретить индексацию сайта полностью

Иногда требуется полностью удалить сайт из базы данных поисковых систем. Для это необходимо прописать в robots.txt значение:

User-agent: *

Disallow: /

Если же сайт не индексируется, но требуется обратное — необходимо в первую очередь проверить этот же файл. Возможно, во время работ на ресурсе он был временно скрыт от посторонних взглядов.

Проверка индексации сайта в поисковых системах

Проверить индексацию страницы можно:

• При помощи поисковой строки, добавив к домену сайта символы «site:».

• Встроенными инструментами Яндекс.Вебмастер и Google Search Console.
• Специальными сервисами, например RDS Bar или XSEO.in.

Как ускорить индексацию?

Индексирование сайта — это целый ряд процессов, повлиять на которые возможно, улучшив качество ресурса. Как проверить, достаточно ли хорош продукт с точки зрения поисковых роботов? Выполните перечисленные пункты и потенциальные клиенты уже совсем скоро увидят вас на страницах Яндекса и Google. 

• Поисковые боты ценят частое обновление контента, поэтому нужно публиковать новости регулярно. 
• Файлы sitemap.xml и robots.txt должны быть корректно заполнены.
• Индексация ссылок — краеугольный камень SEO, поэтому стоит включить внутреннюю перелинковку и добавить внешние ссылки. 
• Необходимо проверить наличие ошибок.
• Провести индексацию сайта наилучшим образом поможет качественный контент и удобство ресурса для пользователей.
• Проверить контент сайта и включить в него ключевые слова, по которым необходимо отображаться. 
• Исключить дубли страниц или скрыть их от индексации.

Что такое индексация сайта и как быстро проверить её в Google

Руководитель Академии интернет-маркетинга WebPromoExsperts Антон Воронюк в новом выпуске справочника интернет-маркетолога ответил на вопрос: «Как проверить проиндексирован ли ваш сайт в Google?».

Что такое индекс

Понятие о том, что такое индексация сайта и кеширование, являются одним из самых важных в поисковой оптимизации.

Давайте разберемся, как работает поисковая система. Google работает по следующему принципу: когда вы задаете поисковый запрос у себя с ноутбука либо с планшета, либо с телефона, то робот не бросается по всем просторам интернета. Он ищет в своей базе данных.

База данных называется индексом и, в зависимости от того, являетесь ли вы частью индекса, нашел ли вас поисковый робот, напрямую зависит, покажет ли вас Google в результатах поиска.

Как проверить индексацию сайта в Google

Как проверить, видит ли ваш сайт Google и какие страницы он индексирует. Для этого мы пользуемся командой «site:» и после этого вбиваем название вашего домена.

Вы можете проверять как сайт в целом, так и конкретные страницы. Кроме этого вы можете увидеть, как Google помнит вашу страницу. Для этого мы пользуемся командой «cache:».

Закрепляем знания на практике

Для того чтобы закрепить и понять, как применять эти команды, перейдем к скринкасту и изучим это на практике.

Для того, чтобы проверить, проиндексирован ли сайт в Google или нет, мы пользуемся командой «site:».

Результат использования команды site:

Здесь вы видите результаты поиска Google. Точно также вы проверяете какую-то конкретную страницу. Если хотите узнать, как запомнил Google ваш сайт либо вашу страницу пользуетесь командой «cache:». Вбиваете в поисковую строку этот запрос и видите, как Google запомнил сайт или страницу.

Результат использования команды cache:

Используйте эти команды, чтобы узнать каким запомнила ваш сайт поисковая система и какие страницы сейчас находятся в индексе.

О том, как как открыть сайт для индексации и как ускорить индексацию сайта мы расскажем в следующих выпусках справочника интернет-маркетолога.

Выводы

Сегодня в выпуске справочника интернет-маркетолога мы разобрались, как проверить индексируется ли ваш сайт в поисковой системе Google, как проверить индексацию страницы и как поисковик запомнил вашу конкретную страничку либо проект.

Видео на нашем YouTube канале:

Подписывайтесь на наш YouTube канал, ставьте «лайк», комментируйте и задавайте вопросы.

Если хотите овладеть всеми навыками работы с Google Analytics и Яндекс.Метрика, то курс «Веб-аналитика: отслеживание эффективности интернет-рекламы» разработан именно для вас. Полученные знания помогут найти своего покупателя, улучшить воронку конверсии. Курс также будет полезен всем, кто хочет разобраться с аналитикой своего сайта.

ЗАПИСАТЬСЯ

Проверка количества проиндексированных на сайте страниц в поисковых системах Яндекс и Google

Проверка количества проиндексированных страниц сайта и получение их списка может показаться на первый взгляд достаточно простой задачей, но есть некоторые нюансы, о которых расскажем ниже.

Самые простые способы посмотреть индексацию любого сайта – операторы в поисковых системах Яндекс и Google. В Google это оператор site:site.ru (где вместо site.ru нужно указать анализируемый сайт). В Яндексе последнее время оператор site:site.ru перестал корректно работать, поэтому на данный момент количество страниц можно проверить с помощью оператора url:http://www.site.ru/* (с указанием www если сайт индексируется с www и наоборот).

Примеры:

Как узнать число новых страниц на сайте или число страниц, проиндексированных за определенный период

В Яндексе можно нажать на иконку расширенного поиска и выбрать диапазон дат:

В Google аналогичные настройки можно сделать через “инструменты->за период”:

Но не все так просто как кажется на первый взгляд. Рассмотрим более точные методы проверки способы как получить больше информации для каждой поисковой системы.

Google Search Console

Часто в Google число страниц, выдаваемое через оператор site: сильно отличается от реального числа проиндексированных страниц. Сотрудники Google отвечают по этому поводу что конструкция site:site.ru всего лишь результат пустого поиска по сайту и не обязана выдавать все страницы сайта.
Также в поиске отображаются неиндексируемые страницы, запрещенные в robots.txt, на которые есть внешние ссылки. Это тоже искажает результат.

Более точно узнать число проиндексированных страниц в Google можно имея доступ к Google Search Console в разделе “статус индексирования”.

К сожалению, в данном отчете данные также могут не совпадать с реальными из-за применения фильтров. Разница может доходить до десятков-ста процентов.

Еще один способ, который считается одним из наиболее точных – отчет “Файлы Sitemap”. Здесь указано точное число индексируемых страниц, но с учетом что все полезные страницы были добавлены в файлы sitemap.xml.

Яндекс Вебмастер

В Яндекс.Вебмастере содержатся достаточно точные данные по индексации сайта. Количество страниц, с динамикой можно посмотреть в разделе “страницы в поиске”.

Также в Яндекс.Вебмастере можно получить выгрузку страниц со статусами, включая индексацию, которая, правда ограничена 50.000 страницами. Пример выгрузки:

Выгрузку можно скачать в уже описанном выше отчете “страницы в поиске”.

Альтернативные способы проверки индексации сайта

Иногда перечисленные методы не подходят, тогда можно использовать альтернативные.

1. Парсинг сайта (например, через программу Screaming Frog) и постраничная проверка индексации в Google/Yandex. Например, через сервис https://www.rush-analytics.ru/ -> “проверка индексации”. Минусы: не все страницы в индексе могут иметь ссылки из меню или страниц сайта, можно как дополнение использовать способы описанные в пунктах 2,3 ниже.
2. Страницы, на которые есть органический трафик из перечисленных операционных систем (можно посмотреть через системы статистики Яндекс.Метрика и Google.Analytics).
3. Страницы на которые есть внешние ссылки. Внешние ссылки можно получить через такие сервисы как Ahrefs.com.

Принципы работы Google Поиска | Сканирование и индексирование

Чтобы пользователи могли быстро найти нужные сведения, наши роботы собирают информацию на сотнях миллиардов страниц и упорядочивают ее в поисковом индексе.

При очередном сканировании наряду со списком веб-адресов, полученных во время предыдущего сканирования, используются файлы Sitemap, которые предоставляются владельцами сайтов. По мере посещения сайтов робот переходит по указанным на них ссылкам на другие страницы. Особое внимание он уделяет новым и измененным сайтам, а также неработающим ссылкам. Он самостоятельно определяет, какие сайты сканировать, как часто это нужно делать и какое количество страниц следует выбрать на каждом из них.

При помощи Search Console владельцы сайтов могут указывать, как именно следует сканировать их ресурсы, в частности предоставлять подробные инструкции по обработке страниц, запрашивать их повторное сканирование, а также запрещать сканирование, используя файл robots.txt. Google не увеличивает частоту сканирования отдельных ресурсов за плату. Чтобы результаты поиска были максимально полезными для пользователей, все владельцы сайтов получают одни и те же инструменты.

Поиск информации с помощью сканирования

Интернет похож на библиотеку, которая содержит миллиарды изданий и постоянно пополняется, но не располагает централизованной системой учета книг. Чтобы находить общедоступные страницы, мы используем специальное программное обеспечение, называемое поисковыми роботами. Роботы анализируют страницы и переходят по ссылкам на них – как обычные пользователи. После этого они отправляют сведения о ресурсах на серверы Google.

Систематизация информации с помощью индексирования

Во время сканирования наши системы обрабатывают материалы страниц так же, как это делают браузеры, и регистрируют данные по ключевым словам и новизне контента, а затем создают на их основе поисковый индекс.

Индекс Google Поиска содержит сотни миллиардов страниц. Его объем значительно превышает 100 миллионов гигабайт. Он похож на указатель в конце книги, в котором есть отдельная запись для каждого слова на всех проиндексированных страницах. Во время индексирования данные о странице добавляются в записи по всем словам, которые на ней есть.

 

 

Как ускорить индексацию сайта | UAATEAM — кейсы

Natalia Ivchenko

20 октября | 2020

Индексация сайта — это процесс сканирования и обработки информации сайта поисковыми ботами с последующим добавлением полученной информации в индекс. При вводе поискового запроса, бот не ищет ответ на просторах интернета, а обращается к своему поисковому индексу. Это база, где хранится информация о всех известных ему проиндексированных страницах. Соответственно, поисковую выдачу будут формировать только те страницы, которые находятся в этом индексе. Поэтому если вы хотите, чтобы ваш сайт был виден пользователям, первое, что нужно сделать — это занять свое место в поисковом индексе.

Для этого есть сервисы индексации сайтов такие, как Google и Yandex, где вы просто добавляете карту сайта, чтобы поисковый бот мог просканировать ее и добавить в индекс.

Проверка индексации сайта 

Анализ индексации всего сайта проводится в два подхода:

1. Определение фактического количества страниц сайта. Для этого можно воспользоваться краулерами — специальными программами, которые позволяют провести SEO-аудит сайта и, в частности, узнать количество страниц сайта. Это, например, Screaming Frog или Site Analyzer.
2. Сравнение фактического количества страниц с количеством страниц, найденных в индексе. Для этого используйте отчет “Покрытие” в инструменте Google Search Console. Подробнее читайте об этом в моей предыдущей статье.

 

Эти два набора данных должны примерно совпадать. В противном случае, если в индексе значительно меньше страниц, возможно, ваш сайт попал под фильтр. Если страниц, наоборот, значительно больше — проверьте,  не обзавелись ли вы дублями.

Некоторые предпочитают использовать расширение для браузера RDS Bar, которое тоже показывает сколько страниц найдено в индексе.

Кроме этого, проверить индексацию страниц сайта можно точечно. Для этого введите в Google Search Console в поле «Проверка URL на ресурсе» url конкретной страницы  или в поисковой строке формулу: site:»url проверяемой страницы». 

Если результаты любого из этих способов анализа не отвечают вашим ожиданиям, и сайт плохо индексируется, то переходим к следующему этапу.

Ускорение индексации сайта

В целом, высокая индексация сайта в поисковых системах — это комплекс мер, направленный на улучшение качества сайта. А Google, как известно, любит только качественные сайты, поэтому выделяется несколько ключевых моментов:

• если вы еще не создали карту sitemap.xml, создайте и введите ее адрес в инструменте Search Console. Именно так вы отправите карту на индексацию, укажете боту, что и когда надо сканировать и где это найти на вашем сайте. Не забудьте указать ссылку на карту в файле robots.txt как еще одно указание боту, где находится ваша карта. Не надейтесь — сам бот не станет ее разыскивать, поэтому забота о том, чтобы он ее нашел ложится на ваши плечи.
• правильно составьте файл robots.txt, где указано какие страницы доступны для индексации, а какие закрыты.
• проверьте сайт на наличие дублей, чтобы бот не тратил время на обход лишних страниц, а быстрее проиндексировал целевые.
• уникализируйте текстовый контент, делайте его полезным для пользователя и наполните ключами, так как при сканировании содержимого страниц, бот сверяется с теми данными, которые уже есть в индексе, и если ваш контент посчитают не уникальным, то такие страницы могут вовсе не попасть в индекс.
• бот перемещается по ссылкам, которые выстраиваются в очередь на обход. Найдя ссылку на уже присутствующую в индексе страницу, бот поднимает такую страницу в очереди на переобход. Соответственно, размещение внешних ссылок на ваш ресурс — это еще один способ ускорения индексации.
• приведя таким образом бота на свой сайт, не упускайте возможность отправить его и на другие страницы вашего ресурса, а для этого используйте внутреннюю перелинковку страниц.
• поработайте над юзабилити сайта и посмотрите, насколько он удобен для пользователей. Это важно, поскольку сайты с удобной навигацией, вложенностью страниц в 3 клика показывают лучшие поведенческие факторы, и поисковый бот отдаст предпочтение таким страницам в очереди на индексацию.

 

Вместо выводов

Используя эти советы, можно постараться самостоятельно ускорить индексацию сайта в поисковых системах или доверить этот процесс нашей команде специалистов.

10 способов заставить Google индексировать ваш сайт (которые действительно работают)

Если Google не индексирует ваш сайт, вы в значительной степени невидимы. Вы не будете отображаться ни по каким поисковым запросам и вообще не получите никакого органического трафика. Пшик. Нада. Нуль.

Учитывая, что вы здесь, я полагаю, это не новость для вас. Итак, приступим непосредственно к делу.

В этой статье рассказывается, как решить любую из этих трех проблем:

1. Весь ваш веб-сайт не проиндексирован.
2. Некоторые из ваших страниц проиндексированы, а другие нет.
3. Ваши недавно опубликованные веб-страницы не индексируются достаточно быстро.

Но сначала давайте удостоверимся, что мы находимся на одной странице и полностью понимаем эту ошибку индексирования.

Что такое сканирование и индексирование?

Google обнаруживает новые веб-страницы с помощью , просматривая сети, а затем они добавляют эти страницы в свой индекс . Они делают это с помощью веб-паука под названием Googlebot .

Запутались? Определим несколько ключевых терминов.

• Сканирование : процесс перехода по гиперссылкам в Интернете для обнаружения нового содержания.
• Индексирование : процесс сохранения каждой веб-страницы в обширной базе данных.
• Web spider : Часть программного обеспечения, предназначенная для выполнения процесса сканирования в любом масштабе.
• Googlebot : веб-паук Google .

Вот видео от Google, которое более подробно объясняет этот процесс:

https: // www.youtube.com/watch?v=BNHR6IQJGZs

Когда вы что-то гуглите, вы просите Google вернуть все соответствующие страницы из их индекса. Поскольку часто есть миллионы страниц, отвечающих всем требованиям, алгоритм ранжирования Google делает все возможное, чтобы отсортировать страницы так, чтобы вы сначала увидели наилучшие и наиболее релевантные результаты.

Важный момент, который я здесь подчеркиваю, заключается в том, что индексирование и рейтинг — это две разные вещи .

Индексирование отображается для гонки; рейтинг выигрывает.

Невозможно выиграть, не заняв первое место в гонке.

Как проверить, проиндексированы ли вы в Google

Зайдите в Google, затем выполните поиск по сайту : yourwebsite.com

Это число примерно показывает, сколько ваших страниц проиндексировал Google.

Если вы хотите проверить статус индекса определенного URL-адреса, используйте тот же сайт : yourwebsite.com/web-page-slug operator.

Никаких результатов не будет, если страница не проиндексирована.

Стоит отметить, что если вы пользователь Google Search Console, вы можете использовать отчет Охват , чтобы получить более точное представление о статусе индекса вашего веб-сайта. Просто перейдите по ссылке:

Google Search Console> Индекс> Покрытие

Посмотрите количество допустимых страниц (с предупреждениями и без них).

Если в сумме эти два числа не равны нулю, значит, Google проиндексировал по крайней мере некоторые страницы вашего веб-сайта. В противном случае у вас серьезная проблема, потому что ни одна из ваших веб-страниц не проиндексирована.

Примечание.

Не пользуетесь Google Search Console? Подписаться. Это бесплатно. Каждый, кто управляет веб-сайтом и заботится о привлечении трафика от Google, должен использовать Google Search Console. Это , что важно для .

Вы также можете использовать Search Console, чтобы проверить, проиндексирована ли конкретная страница. Для этого вставьте URL-адрес в инструмент проверки URL-адресов.

Если эта страница проиндексирована, будет написано «URL находится в Google».

Если страница не проиндексирована, вы увидите слова «URL не в Google.”

Как получить индексирование в Google

Вы обнаружили, что ваш веб-сайт или веб-страница не проиндексированы в Google? Попробуйте следующее:

1. Перейдите в Google Search Console
2. Перейдите к инструменту проверки URL
3. Вставьте URL, который Google должен проиндексировать, в строку поиска.
4. Подождите, пока Google проверит URL-адрес
5. Нажмите кнопку «Запросить индексирование»

Этот процесс является хорошей практикой при публикации нового сообщения или страницы. Вы фактически сообщаете Google, что добавили что-то новое на свой сайт и что они должны это изучить.

Однако запрос индексации вряд ли решит основные проблемы, мешающие Google индексировать старые страницы. В этом случае следуйте приведенному ниже контрольному списку, чтобы диагностировать и устранить проблему.

Вот несколько быстрых ссылок на каждую тактику — на случай, если вы уже попробовали:

1. Удалите блоки сканирования в файле robots.txt
2. Удалите ложные теги noindex
3. Включите страницу в карту сайта
4. Удалите мошеннические канонические теги
5. Убедитесь, что страница не осиротела
6. Исправьте внутренние ссылки nofollow
7. Добавьте «мощные» внутренние ссылки
8. Убедитесь, что страница ценная и уникальная
9. Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет» )
10. Создавайте качественные обратные ссылки

1) Удалите блоки сканирования в ваших роботах.txt

Google не индексирует весь ваш веб-сайт? Это может быть связано с блокировкой сканирования в файле robots.txt.

Чтобы проверить наличие этой проблемы, перейдите по адресу yourdomain.com/robots.txt .

Найдите любой из этих двух фрагментов кода:

 User-agent: Googlebot
Disallow: / 

 Агент пользователя: *
Disallow: / 

Обе они сообщают роботу Googlebot, что им не разрешено сканировать какие-либо страницы вашего сайта. Чтобы решить проблему, удалите их.Это , что просто.

Блок сканирования в robots.txt также может быть причиной, если Google не индексирует одну веб-страницу. Чтобы проверить, так ли это, вставьте URL-адрес в инструмент проверки URL-адресов в Google Search Console. Щелкните блок «Покрытие», чтобы получить более подробную информацию, затем найдите «Сканирование разрешено? Нет: заблокировано файлом robots.txt ».

Это означает, что страница заблокирована в robots.txt.

В таком случае еще раз проверьте файл robots.txt на наличие каких-либо запрещающих правил, относящихся к странице или соответствующему подразделу.

При необходимости удалите.

2) Удалите ложные теги noindex

Google не будет индексировать страницы, если вы им запретите. Это полезно для сохранения конфиденциальности некоторых веб-страниц. Это можно сделать двумя способами:

Метод 1: метатег

Страницы с любым из этих метатегов в разделе не будут проиндексированы Google:

Это метатег роботов, который сообщает поисковым системам, могут ли они индексировать страницу.

Примечание.

Ключевой частью является значение «noindex». Если вы это видите, значит для страницы задано значение noindex.

Чтобы найти все страницы с метатегом noindex на вашем сайте, запустите сканирование с помощью Ahrefs Site Audit. Перейдите к отчету Индексируемость . Ищите предупреждения «Страница Noindex».

Щелкните, чтобы увидеть все затронутые страницы. Удалите метатег noindex со всех страниц, которым он не принадлежит.

Метод 2: X ‑ Robots-Tag

Сканеры также учитывают заголовок HTTP-ответа X ‑ Robots-Tag.Вы можете реализовать это, используя язык сценариев на стороне сервера, такой как PHP, или в файле .htaccess, или изменив конфигурацию сервера.

Инструмент проверки URL в Search Console сообщает, заблокирован ли Google сканирование страницы из-за этого заголовка. Просто введите свой URL и найдите «Индексирование разрешено? Нет: «noindex» обнаружен в http-заголовке «X ‑ Robots-Tag»

Если вы хотите проверить наличие этой проблемы на своем сайте, запустите сканирование в инструменте аудита сайта Ahrefs, затем используйте «Информация о роботах в HTTP-заголовке. »В проводнике страниц:

Попросите разработчика исключить страницы, которые вы хотите проиндексировать, из возврата этого заголовка.

Рекомендуемая литература: Спецификации метатега роботов и HTTP-заголовка X ‑ Robots-Tag

3) Включите страницу в карту сайта

Карта сайта сообщает Google, какие страницы на вашем сайте важны, а какие нет т. Это также может дать некоторые рекомендации о том, как часто их следует сканировать повторно.

Google должен иметь возможность находить страницы на вашем веб-сайте независимо от того, есть ли они в вашей карте сайта, но по-прежнему рекомендуется включать их.В конце концов, нет смысла усложнять жизнь Google.

Чтобы проверить, есть ли страница в вашей карте сайта, используйте инструмент проверки URL в Search Console. Если вы видите ошибку «URL не в Google» и «Sitemap: N / A», значит, его нет в вашей карте сайта или он не проиндексирован.

Не используете Search Console? Перейдите по URL-адресу карты сайта — обычно yourdomain.com/sitemap.xml — и выполните поиск страницы.

Или, если вы хотите найти все просканируемые и индексируемые страницы, которых нет в вашей карте сайта, запустите сканирование в Ahrefs Site Audit.Перейдите в Page Explorer и примените эти фильтры:

Эти страницы должны быть в вашей карте сайта, поэтому добавьте их. После этого сообщите Google, что вы обновили карту сайта, выполнив ping по этому URL:

http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml

Replace эту последнюю часть с URL-адресом вашей карты сайта. Вы должны увидеть что-то вроде этого:

Это должно ускорить индексацию страницы Google.

4) Удалите ложные канонические теги

Канонический тег сообщает Google, какая версия страницы является предпочтительной.Выглядит это примерно так:

Большинство страниц либо не имеют канонического тега, либо так называемого канонического тега, ссылающегося на себя. Это говорит Google сама страница является предпочтительной и, вероятно, единственной версией. Другими словами, вы хотите, чтобы эта страница была проиндексирована.

Но если на вашей странице есть ложный канонический тег, то он может сообщать Google о предпочтительной версии этой страницы, которая не существует. В этом случае ваша страница не будет проиндексирована.

Чтобы проверить каноничность, воспользуйтесь инструментом Google для проверки URL. Вы увидите предупреждение «Альтернативная страница с каноническим тегом», если канонический тег указывает на другую страницу.

Если этого не должно быть и вы хотите проиндексировать страницу, удалите канонический тег.

ВАЖНО

Канонические теги не всегда плохи. У большинства страниц с этими тегами есть причины. Если вы видите, что ваша страница имеет канонический набор, проверьте каноническую страницу. Если это действительно предпочтительная версия страницы и нет необходимости также индексировать данную страницу, то канонический тег должен остаться.

Если вы хотите быстро найти ложные канонические теги на всем сайте, запустите сканирование с помощью инструмента аудита сайта Ahrefs. Перейдите в проводник страниц. Используйте эти настройки:

Это ищет страницы в вашей карте сайта с несамодвижущимися каноническими тегами. Поскольку вы почти наверняка захотите проиндексировать страницы в карте сайта, вам следует дополнительно изучить, возвращает ли этот фильтр какие-либо результаты.

Весьма вероятно, что у этих страниц либо неверный канонический файл, либо их вообще не должно быть в вашей карте сайта.

5) Убедитесь, что страница не «осиротевшая»

«Сиротские» страницы — это страницы без внутренних ссылок, указывающих на них.

Поскольку Google обнаруживает новое содержание путем сканирования Интернета, они не могут обнаружить потерянные страницы с помощью этого процесса. Посетители веб-сайта тоже не смогут их найти.

Чтобы проверить наличие лишних страниц, просканируйте свой сайт с помощью Ahrefs Site Audit. Затем проверьте отчет Links на наличие ошибок «Потерянная страница (нет входящих внутренних ссылок)»:

Здесь показаны все страницы, которые одновременно индексируются и присутствуют в вашей карте сайта, но не имеют внутренних ссылок, указывающих на них.

ВАЖНО

Этот процесс работает только в том случае, если верны два условия:

1. Все страницы, которые вы хотите проиндексировать, находятся в ваших картах сайта
2. Вы установили флажок, чтобы использовать страницы в ваших картах сайта в качестве отправных точек для сканирования при настройке. проект в Ahrefs Site Audit.

Не уверены, что все страницы, которые вы хотите проиндексировать, есть в вашей карте сайта? Попробуйте следующее:

1. Загрузите полный список страниц вашего сайта (через вашу CMS)
2. Просканируйте ваш сайт (используя такой инструмент, как Ahrefs Site Audit)
3. Сделайте перекрестные ссылки на два списка URL-адресов

Любые URL-адреса не обнаружены во время сканирования, являются потерянными страницами.

Вы можете исправить потерянные страницы одним из двух способов:

1. Если страница не важна , удалите ее и удалите из карты сайта.
2. Если страница важна , включите ее во внутреннюю структуру ссылок вашего веб-сайта.

6) Исправить внутренние ссылки nofollow

Ссылки Nofollow — это ссылки с тегом rel = «nofollow». Они предотвращают передачу PageRank на целевой URL. Google также не сканирует ссылки nofollow.

Вот что Google говорит по этому поводу:

По сути, с использованием nofollow заставляет нас отбрасывать целевые ссылки из нашего общего графа сети. Однако целевые страницы могут по-прежнему отображаться в нашем индексе, если другие сайты ссылаются на них без использования nofollow или если URL-адреса отправляются в Google в файле Sitemap.

Короче говоря, вы должны убедиться, что следуют все внутренние ссылки на индексируемые страницы.

Для этого используйте инструмент Ahrefs Site Audit для сканирования вашего сайта.Проверьте отчет Links на предмет индексируемых страниц с ошибками «Страница имеет только входящие внутренние ссылки nofollow»:

Удалите тег nofollow из этих внутренних ссылок, предполагая, что вы хотите, чтобы Google проиндексировал страницу. Если нет, либо удалите страницу, либо не индексируйте ее.

Рекомендуемая литература: Что такое ссылка Nofollow? Все, что вам нужно знать (без жаргона!)

7) Добавьте «мощные» внутренние ссылки

Google обнаруживает новый контент, сканируя ваш веб-сайт.Если вы не укажете внутреннюю ссылку на рассматриваемую страницу, они не смогут ее найти.

Одно из простых решений этой проблемы — добавить на страницу несколько внутренних ссылок. Вы можете сделать это с любой другой веб-страницы, которую Google может сканировать и индексировать. Однако, если вы хотите, чтобы Google проиндексировал страницу как можно быстрее, имеет смысл сделать это с одной из ваших наиболее «мощных» страниц.

Почему? Потому что Google, вероятно, будет повторно сканировать такие страницы быстрее, чем менее важные страницы.

Для этого перейдите в Site Explorer Ahrefs, введите свой домен, затем перейдите в отчет Лучшие по ссылкам .

Здесь показаны все страницы вашего веб-сайта, отсортированные по рейтингу URL (UR). Другими словами, сначала отображаются наиболее авторитетные страницы.

Просмотрите этот список и найдите соответствующие страницы, с которых можно добавить внутренние ссылки на рассматриваемую страницу.

Например, если бы мы хотели добавить внутреннюю ссылку на наше руководство по размещению гостевых сообщений, наше руководство по созданию ссылок, вероятно, предложило бы подходящее место для этого. Так получилось, что эта страница является 11-й по значимости страницей в нашем блоге:

Google увидит эту ссылку и перейдет по ней в следующий раз при повторном сканировании страницы.

pro tip

Вставьте страницу, с которой вы добавили внутреннюю ссылку, в инструмент проверки URL-адресов Google. Нажмите кнопку «Запросить индексирование», чтобы сообщить Google, что что-то на странице изменилось, и что они должны повторно сканировать это как можно скорее. Это может ускорить процесс обнаружения внутренней ссылки и, следовательно, страницы, которую вы хотите проиндексировать.

8) Убедитесь, что страница ценная и уникальная

Google вряд ли будет индексировать некачественные страницы, потому что они не представляют ценности для пользователей.Вот что сказал об индексировании в 2018 году Джон Мюллер из Google:

Мы никогда не индексируем все известные URL, это нормально. Я бы сфокусировался на том, чтобы сделать сайт потрясающим и вдохновляющим, тогда все обычно получается лучше.

— 🍌 John 🍌 (@JohnMu) 3 января 2018 г.

Он подразумевает, что если вы хотите, чтобы Google проиндексировал ваш веб-сайт или веб-страницу, он должен быть «потрясающим и вдохновляющим».

Если вы исключили технические проблемы из-за отсутствия индексации, то причиной может быть отсутствие ценности.По этой причине стоит просмотреть страницу свежим взглядом и спросить себя: действительно ли эта страница ценна? Сможет ли пользователь найти ценность на этой странице, если щелкнет по ней в результатах поиска?

Если ответ на любой из этих вопросов отрицательный, то вам необходимо улучшить свой контент.

Вы можете найти больше потенциально некачественных страниц, которые не проиндексированы, с помощью инструмента аудита сайта Ahrefs и профилировщика URL. Для этого перейдите в Page Explorer в Ahrefs Site Audit и используйте следующие настройки:

Это вернет «тонкие» страницы, которые можно индексировать и которые в настоящее время не получают органического трафика.Другими словами, есть большая вероятность, что они не проиндексированы.

Экспортируйте отчет, затем вставьте все URL-адреса в URL Profiler и запустите проверку индексации Google.

ВАЖНО

Рекомендуется использовать прокси, если вы делаете это для большого количества страниц (т. Е. Более 100). В противном случае вы рискуете, что ваш IP-адрес будет забанен Google. Если вы не можете этого сделать, другой альтернативой является поиск в Google «бесплатной массовой проверки индексации Google». Есть несколько таких инструментов, но большинство из них ограничено <25 страницами за раз.

Проверьте все не проиндексированные страницы на предмет проблем с качеством. При необходимости улучшите, а затем запросите переиндексацию в Google Search Console.

Вы также должны стремиться исправить проблемы с дублирующимся контентом. Google вряд ли проиндексирует повторяющиеся или почти повторяющиеся страницы. Используйте отчет Дублированное содержимое в Аудите сайта, чтобы проверить наличие этих проблем.

9) Удалите некачественные страницы (для оптимизации «краулингового бюджета»)

Наличие на вашем сайте слишком большого количества некачественных страниц приводит только к трате краулинга.

Вот что Google говорит по этому поводу:

Потеря ресурсов сервера на [страницах с низкой добавленной стоимостью] приведет к истощению активности сканирования со страниц, которые действительно имеют ценность, что может вызвать значительную задержку в обнаружении отличного содержания на сайте. .

Думайте об этом как об учителе, оценивающем эссе, одно из которых ваше. Если им предстоит оценить десять эссе, они довольно быстро доберутся до вашего. Если у них будет сотня, им потребуется немного больше времени. Если у них тысячи, их рабочая нагрузка слишком высока, и они, возможно, никогда не дойдут до оценки вашего эссе.

Google заявляет, что «сканирование бюджета […] — это не то, о чем должно беспокоиться большинство издателей», и что «если на сайте меньше нескольких тысяч URL-адресов, в большинстве случаев он будет сканироваться эффективно».

Тем не менее, удаление некачественных страниц с вашего веб-сайта никогда не бывает плохим. Это может только положительно повлиять на краулинговый бюджет.

Вы можете использовать наш шаблон аудита контента, чтобы найти потенциально некачественные и нерелевантные страницы, которые можно удалить.

10) Создавайте качественные обратные ссылки

Обратные ссылки говорят Google, что веб-страница важна.В конце концов, если кто-то на него ссылается, значит, он должен иметь какую-то ценность. Это страницы, которые Google хочет проиндексировать.

Для полной прозрачности Google индексирует не только веб-страницы с обратными ссылками. Есть много (миллиарды) проиндексированных страниц без обратных ссылок. Однако, поскольку Google считает страницы с качественными ссылками более важными, они, скорее всего, будут сканировать — и повторно сканировать — такие страницы быстрее, чем страницы без них. Это приводит к более быстрой индексации.

У нас есть много ресурсов для создания качественных обратных ссылок в блоге.

Взгляните на несколько руководств ниже.

Индексирование ≠ рейтинг

Индексирование вашего веб-сайта или веб-страницы в Google не означает рейтинга или трафика.

Это разные вещи.

Индексирование означает, что Google знает о вашем веб-сайте. Это не значит, что они будут ранжировать его по каким-либо релевантным и стоящим запросам.

Вот где приходит на помощь SEO — искусство оптимизации ваших веб-страниц для ранжирования по конкретным запросам.

Короче говоря, SEO включает:

• Поиск того, что ищут ваши клиенты;
• Создание контента по этим темам;
• Оптимизация этих страниц под ваши целевые ключевые слова;
• Создание обратных ссылок;
• Регулярно переиздайте контент, чтобы он оставался «вечнозеленым».”

Вот видео, которое поможет вам начать работу с SEO:

https: // www.youtube.com/watch?v=BNHR6IQJGZs

Когда вы что-то гуглите, вы просите Google вернуть все соответствующие страницы из их индекса. Поскольку часто есть миллионы страниц, отвечающих всем требованиям, алгоритм ранжирования Google делает все возможное, чтобы отсортировать страницы так, чтобы вы сначала увидели наилучшие и наиболее релевантные результаты.

Важный момент, который я здесь подчеркиваю, заключается в том, что индексирование и рейтинг — это две разные вещи .

Индексирование отображается для гонки; рейтинг выигрывает.

Невозможно выиграть, не заняв первое место в гонке.

Как проверить, проиндексированы ли вы в Google

Зайдите в Google, затем выполните поиск по сайту : yourwebsite.com

Это число примерно показывает, сколько ваших страниц проиндексировал Google.

Если вы хотите проверить статус индекса определенного URL-адреса, используйте тот же сайт : yourwebsite.com/web-page-slug operator.

Никаких результатов не будет, если страница не проиндексирована.

Стоит отметить, что если вы пользователь Google Search Console, вы можете использовать отчет Охват , чтобы получить более точное представление о статусе индекса вашего веб-сайта. Просто перейдите по ссылке:

Google Search Console> Индекс> Покрытие

Посмотрите количество допустимых страниц (с предупреждениями и без них).

Если в сумме эти два числа не равны нулю, значит, Google проиндексировал по крайней мере некоторые страницы вашего веб-сайта. В противном случае у вас серьезная проблема, потому что ни одна из ваших веб-страниц не проиндексирована.

Примечание.

Не пользуетесь Google Search Console? Подписаться. Это бесплатно. Каждый, кто управляет веб-сайтом и заботится о привлечении трафика от Google, должен использовать Google Search Console. Это , что важно для .

Вы также можете использовать Search Console, чтобы проверить, проиндексирована ли конкретная страница. Для этого вставьте URL-адрес в инструмент проверки URL-адресов.

Если эта страница проиндексирована, будет написано «URL находится в Google».

Если страница не проиндексирована, вы увидите слова «URL не в Google.”

Как получить индексирование в Google

Вы обнаружили, что ваш веб-сайт или веб-страница не проиндексированы в Google? Попробуйте следующее:

1. Перейдите в Google Search Console
2. Перейдите к инструменту проверки URL
3. Вставьте URL, который Google должен проиндексировать, в строку поиска.
4. Подождите, пока Google проверит URL-адрес
5. Нажмите кнопку «Запросить индексирование»

Этот процесс является хорошей практикой при публикации нового сообщения или страницы. Вы фактически сообщаете Google, что добавили что-то новое на свой сайт и что они должны это изучить.

Однако запрос индексации вряд ли решит основные проблемы, мешающие Google индексировать старые страницы. В этом случае следуйте приведенному ниже контрольному списку, чтобы диагностировать и устранить проблему.

Вот несколько быстрых ссылок на каждую тактику — на случай, если вы уже попробовали:

1. Удалите блоки сканирования в файле robots.txt
2. Удалите ложные теги noindex
3. Включите страницу в карту сайта
4. Удалите мошеннические канонические теги
5. Убедитесь, что страница не осиротела
6. Исправьте внутренние ссылки nofollow
7. Добавьте «мощные» внутренние ссылки
8. Убедитесь, что страница ценная и уникальная
9. Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет» )
10. Создавайте качественные обратные ссылки

1) Удалите блоки сканирования в ваших роботах.txt

Google не индексирует весь ваш веб-сайт? Это может быть связано с блокировкой сканирования в файле robots.txt.

Чтобы проверить наличие этой проблемы, перейдите по адресу yourdomain.com/robots.txt .

Найдите любой из этих двух фрагментов кода:

 User-agent: Googlebot
Disallow: / 

 Агент пользователя: *
Disallow: / 

Обе они сообщают роботу Googlebot, что им не разрешено сканировать какие-либо страницы вашего сайта. Чтобы решить проблему, удалите их.Это , что просто.

Блок сканирования в robots.txt также может быть причиной, если Google не индексирует одну веб-страницу. Чтобы проверить, так ли это, вставьте URL-адрес в инструмент проверки URL-адресов в Google Search Console. Щелкните блок «Покрытие», чтобы получить более подробную информацию, затем найдите «Сканирование разрешено? Нет: заблокировано файлом robots.txt ».

Это означает, что страница заблокирована в robots.txt.

В таком случае еще раз проверьте файл robots.txt на наличие каких-либо запрещающих правил, относящихся к странице или соответствующему подразделу.

При необходимости удалите.

2) Удалите ложные теги noindex

Google не будет индексировать страницы, если вы им запретите. Это полезно для сохранения конфиденциальности некоторых веб-страниц. Это можно сделать двумя способами:

Метод 1: метатег

Страницы с любым из этих метатегов в разделе не будут проиндексированы Google:

Это метатег роботов, который сообщает поисковым системам, могут ли они индексировать страницу.

Примечание.

Ключевой частью является значение «noindex». Если вы это видите, значит для страницы задано значение noindex.

Чтобы найти все страницы с метатегом noindex на вашем сайте, запустите сканирование с помощью Ahrefs Site Audit. Перейдите к отчету Индексируемость . Ищите предупреждения «Страница Noindex».

Щелкните, чтобы увидеть все затронутые страницы. Удалите метатег noindex со всех страниц, которым он не принадлежит.

Метод 2: X ‑ Robots-Tag

Сканеры также учитывают заголовок HTTP-ответа X ‑ Robots-Tag.Вы можете реализовать это, используя язык сценариев на стороне сервера, такой как PHP, или в файле .htaccess, или изменив конфигурацию сервера.

Инструмент проверки URL в Search Console сообщает, заблокирован ли Google сканирование страницы из-за этого заголовка. Просто введите свой URL и найдите «Индексирование разрешено? Нет: «noindex» обнаружен в http-заголовке «X ‑ Robots-Tag»

Если вы хотите проверить наличие этой проблемы на своем сайте, запустите сканирование в инструменте аудита сайта Ahrefs, затем используйте «Информация о роботах в HTTP-заголовке. »В проводнике страниц:

Попросите разработчика исключить страницы, которые вы хотите проиндексировать, из возврата этого заголовка.

Рекомендуемая литература: Спецификации метатега роботов и HTTP-заголовка X ‑ Robots-Tag

3) Включите страницу в карту сайта

Карта сайта сообщает Google, какие страницы на вашем сайте важны, а какие нет т. Это также может дать некоторые рекомендации о том, как часто их следует сканировать повторно.

Google должен иметь возможность находить страницы на вашем веб-сайте независимо от того, есть ли они в вашей карте сайта, но по-прежнему рекомендуется включать их.В конце концов, нет смысла усложнять жизнь Google.

Чтобы проверить, есть ли страница в вашей карте сайта, используйте инструмент проверки URL в Search Console. Если вы видите ошибку «URL не в Google» и «Sitemap: N / A», значит, его нет в вашей карте сайта или он не проиндексирован.

Не используете Search Console? Перейдите по URL-адресу карты сайта — обычно yourdomain.com/sitemap.xml — и выполните поиск страницы.

Или, если вы хотите найти все просканируемые и индексируемые страницы, которых нет в вашей карте сайта, запустите сканирование в Ahrefs Site Audit.Перейдите в Page Explorer и примените эти фильтры:

Эти страницы должны быть в вашей карте сайта, поэтому добавьте их. После этого сообщите Google, что вы обновили карту сайта, выполнив ping по этому URL:

http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml

Replace эту последнюю часть с URL-адресом вашей карты сайта. Вы должны увидеть что-то вроде этого:

Это должно ускорить индексацию страницы Google.

4) Удалите ложные канонические теги

Канонический тег сообщает Google, какая версия страницы является предпочтительной.Выглядит это примерно так:

Большинство страниц либо не имеют канонического тега, либо так называемого канонического тега, ссылающегося на себя. Это говорит Google сама страница является предпочтительной и, вероятно, единственной версией. Другими словами, вы хотите, чтобы эта страница была проиндексирована.

Но если на вашей странице есть ложный канонический тег, то он может сообщать Google о предпочтительной версии этой страницы, которая не существует. В этом случае ваша страница не будет проиндексирована.

Чтобы проверить каноничность, воспользуйтесь инструментом Google для проверки URL. Вы увидите предупреждение «Альтернативная страница с каноническим тегом», если канонический тег указывает на другую страницу.

Если этого не должно быть и вы хотите проиндексировать страницу, удалите канонический тег.

ВАЖНО

Канонические теги не всегда плохи. У большинства страниц с этими тегами есть причины. Если вы видите, что ваша страница имеет канонический набор, проверьте каноническую страницу. Если это действительно предпочтительная версия страницы и нет необходимости также индексировать данную страницу, то канонический тег должен остаться.

Если вы хотите быстро найти ложные канонические теги на всем сайте, запустите сканирование с помощью инструмента аудита сайта Ahrefs. Перейдите в проводник страниц. Используйте эти настройки:

Это ищет страницы в вашей карте сайта с несамодвижущимися каноническими тегами. Поскольку вы почти наверняка захотите проиндексировать страницы в карте сайта, вам следует дополнительно изучить, возвращает ли этот фильтр какие-либо результаты.

Весьма вероятно, что у этих страниц либо неверный канонический файл, либо их вообще не должно быть в вашей карте сайта.

5) Убедитесь, что страница не «осиротевшая»

«Сиротские» страницы — это страницы без внутренних ссылок, указывающих на них.

Поскольку Google обнаруживает новое содержание путем сканирования Интернета, они не могут обнаружить потерянные страницы с помощью этого процесса. Посетители веб-сайта тоже не смогут их найти.

Чтобы проверить наличие лишних страниц, просканируйте свой сайт с помощью Ahrefs Site Audit. Затем проверьте отчет Links на наличие ошибок «Потерянная страница (нет входящих внутренних ссылок)»:

Здесь показаны все страницы, которые одновременно индексируются и присутствуют в вашей карте сайта, но не имеют внутренних ссылок, указывающих на них.

ВАЖНО

Этот процесс работает только в том случае, если верны два условия:

1. Все страницы, которые вы хотите проиндексировать, находятся в ваших картах сайта
2. Вы установили флажок, чтобы использовать страницы в ваших картах сайта в качестве отправных точек для сканирования при настройке. проект в Ahrefs Site Audit.

Не уверены, что все страницы, которые вы хотите проиндексировать, есть в вашей карте сайта? Попробуйте следующее:

1. Загрузите полный список страниц вашего сайта (через вашу CMS)
2. Просканируйте ваш сайт (используя такой инструмент, как Ahrefs Site Audit)
3. Сделайте перекрестные ссылки на два списка URL-адресов

Любые URL-адреса не обнаружены во время сканирования, являются потерянными страницами.

Вы можете исправить потерянные страницы одним из двух способов:

1. Если страница не важна , удалите ее и удалите из карты сайта.
2. Если страница важна , включите ее во внутреннюю структуру ссылок вашего веб-сайта.

6) Исправить внутренние ссылки nofollow

Ссылки Nofollow — это ссылки с тегом rel = «nofollow». Они предотвращают передачу PageRank на целевой URL. Google также не сканирует ссылки nofollow.

Вот что Google говорит по этому поводу:

По сути, с использованием nofollow заставляет нас отбрасывать целевые ссылки из нашего общего графа сети. Однако целевые страницы могут по-прежнему отображаться в нашем индексе, если другие сайты ссылаются на них без использования nofollow или если URL-адреса отправляются в Google в файле Sitemap.

Короче говоря, вы должны убедиться, что следуют все внутренние ссылки на индексируемые страницы.

Для этого используйте инструмент Ahrefs Site Audit для сканирования вашего сайта.Проверьте отчет Links на предмет индексируемых страниц с ошибками «Страница имеет только входящие внутренние ссылки nofollow»:

Удалите тег nofollow из этих внутренних ссылок, предполагая, что вы хотите, чтобы Google проиндексировал страницу. Если нет, либо удалите страницу, либо не индексируйте ее.

Рекомендуемая литература: Что такое ссылка Nofollow? Все, что вам нужно знать (без жаргона!)

7) Добавьте «мощные» внутренние ссылки

Google обнаруживает новый контент, сканируя ваш веб-сайт.Если вы не укажете внутреннюю ссылку на рассматриваемую страницу, они не смогут ее найти.

Одно из простых решений этой проблемы — добавить на страницу несколько внутренних ссылок. Вы можете сделать это с любой другой веб-страницы, которую Google может сканировать и индексировать. Однако, если вы хотите, чтобы Google проиндексировал страницу как можно быстрее, имеет смысл сделать это с одной из ваших наиболее «мощных» страниц.

Почему? Потому что Google, вероятно, будет повторно сканировать такие страницы быстрее, чем менее важные страницы.

Для этого перейдите в Site Explorer Ahrefs, введите свой домен, затем перейдите в отчет Лучшие по ссылкам .

Здесь показаны все страницы вашего веб-сайта, отсортированные по рейтингу URL (UR). Другими словами, сначала отображаются наиболее авторитетные страницы.

Просмотрите этот список и найдите соответствующие страницы, с которых можно добавить внутренние ссылки на рассматриваемую страницу.

Например, если бы мы хотели добавить внутреннюю ссылку на наше руководство по размещению гостевых сообщений, наше руководство по созданию ссылок, вероятно, предложило бы подходящее место для этого. Так получилось, что эта страница является 11-й по значимости страницей в нашем блоге:

Google увидит эту ссылку и перейдет по ней в следующий раз при повторном сканировании страницы.

pro tip

Вставьте страницу, с которой вы добавили внутреннюю ссылку, в инструмент проверки URL-адресов Google. Нажмите кнопку «Запросить индексирование», чтобы сообщить Google, что что-то на странице изменилось, и что они должны повторно сканировать это как можно скорее. Это может ускорить процесс обнаружения внутренней ссылки и, следовательно, страницы, которую вы хотите проиндексировать.

8) Убедитесь, что страница ценная и уникальная

Google вряд ли будет индексировать некачественные страницы, потому что они не представляют ценности для пользователей.Вот что сказал об индексировании в 2018 году Джон Мюллер из Google:

Мы никогда не индексируем все известные URL, это нормально. Я бы сфокусировался на том, чтобы сделать сайт потрясающим и вдохновляющим, тогда все обычно получается лучше.

— 🍌 John 🍌 (@JohnMu) 3 января 2018 г.

Он подразумевает, что если вы хотите, чтобы Google проиндексировал ваш веб-сайт или веб-страницу, он должен быть «потрясающим и вдохновляющим».

Если вы исключили технические проблемы из-за отсутствия индексации, то причиной может быть отсутствие ценности.По этой причине стоит просмотреть страницу свежим взглядом и спросить себя: действительно ли эта страница ценна? Сможет ли пользователь найти ценность на этой странице, если щелкнет по ней в результатах поиска?

Если ответ на любой из этих вопросов отрицательный, то вам необходимо улучшить свой контент.

Вы можете найти больше потенциально некачественных страниц, которые не проиндексированы, с помощью инструмента аудита сайта Ahrefs и профилировщика URL. Для этого перейдите в Page Explorer в Ahrefs Site Audit и используйте следующие настройки:

Это вернет «тонкие» страницы, которые можно индексировать и которые в настоящее время не получают органического трафика.Другими словами, есть большая вероятность, что они не проиндексированы.

Экспортируйте отчет, затем вставьте все URL-адреса в URL Profiler и запустите проверку индексации Google.

ВАЖНО

Рекомендуется использовать прокси, если вы делаете это для большого количества страниц (т. Е. Более 100). В противном случае вы рискуете, что ваш IP-адрес будет забанен Google. Если вы не можете этого сделать, другой альтернативой является поиск в Google «бесплатной массовой проверки индексации Google». Есть несколько таких инструментов, но большинство из них ограничено <25 страницами за раз.

Проверьте все не проиндексированные страницы на предмет проблем с качеством. При необходимости улучшите, а затем запросите переиндексацию в Google Search Console.

Вы также должны стремиться исправить проблемы с дублирующимся контентом. Google вряд ли проиндексирует повторяющиеся или почти повторяющиеся страницы. Используйте отчет Дублированное содержимое в Аудите сайта, чтобы проверить наличие этих проблем.

9) Удалите некачественные страницы (для оптимизации «краулингового бюджета»)

Наличие на вашем сайте слишком большого количества некачественных страниц приводит только к трате краулинга.

Вот что Google говорит по этому поводу:

Потеря ресурсов сервера на [страницах с низкой добавленной стоимостью] приведет к истощению активности сканирования со страниц, которые действительно имеют ценность, что может вызвать значительную задержку в обнаружении отличного содержания на сайте. .

Думайте об этом как об учителе, оценивающем эссе, одно из которых ваше. Если им предстоит оценить десять эссе, они довольно быстро доберутся до вашего. Если у них будет сотня, им потребуется немного больше времени. Если у них тысячи, их рабочая нагрузка слишком высока, и они, возможно, никогда не дойдут до оценки вашего эссе.

Google заявляет, что «сканирование бюджета […] — это не то, о чем должно беспокоиться большинство издателей», и что «если на сайте меньше нескольких тысяч URL-адресов, в большинстве случаев он будет сканироваться эффективно».

Тем не менее, удаление некачественных страниц с вашего веб-сайта никогда не бывает плохим. Это может только положительно повлиять на краулинговый бюджет.

Вы можете использовать наш шаблон аудита контента, чтобы найти потенциально некачественные и нерелевантные страницы, которые можно удалить.

10) Создавайте качественные обратные ссылки

Обратные ссылки говорят Google, что веб-страница важна.В конце концов, если кто-то на него ссылается, значит, он должен иметь какую-то ценность. Это страницы, которые Google хочет проиндексировать.

Для полной прозрачности Google индексирует не только веб-страницы с обратными ссылками. Есть много (миллиарды) проиндексированных страниц без обратных ссылок. Однако, поскольку Google считает страницы с качественными ссылками более важными, они, скорее всего, будут сканировать — и повторно сканировать — такие страницы быстрее, чем страницы без них. Это приводит к более быстрой индексации.

У нас есть много ресурсов для создания качественных обратных ссылок в блоге.

Взгляните на несколько руководств ниже.

Индексирование ≠ рейтинг

Индексирование вашего веб-сайта или веб-страницы в Google не означает рейтинга или трафика.

Это разные вещи.

Индексирование означает, что Google знает о вашем веб-сайте. Это не значит, что они будут ранжировать его по каким-либо релевантным и стоящим запросам.

Вот где приходит на помощь SEO — искусство оптимизации ваших веб-страниц для ранжирования по конкретным запросам.

Короче говоря, SEO включает:

• Поиск того, что ищут ваши клиенты;
• Создание контента по этим темам;
• Оптимизация этих страниц под ваши целевые ключевые слова;
• Создание обратных ссылок;
• Регулярно переиздайте контент, чтобы он оставался «вечнозеленым».”

Вот видео, которое поможет вам начать работу с SEO:

… и некоторые статьи:

Заключительные мысли

Есть только две возможные причины, по которым Google не индексирует ваш веб-сайт или веб-страницу:

1. Им мешают технические проблемы.
2. Они считают ваш сайт или страницу некачественными и бесполезными для своих пользователей.

Вполне возможно, что существуют обе эти проблемы.Однако я бы сказал, что технические проблемы встречаются гораздо чаще. Технические проблемы также могут привести к автоматическому созданию индексируемого некачественного контента (например, проблемы с фасетной навигацией). Это нехорошо.

Тем не менее, выполнение приведенного выше контрольного списка должно решить проблему индексации в девяти случаях из десяти.

Просто помните, что индексирование ≠ ранжирование. SEO по-прежнему жизненно важен, если вы хотите ранжироваться по любым полезным поисковым запросам и привлекать постоянный поток органического трафика.

Как заставить Google мгновенно индексировать ваш новый веб-сайт

Хотите, чтобы на ваш сайт было больше обычного поискового трафика?

Готов поспорить, что да, мы все делаем!

Органический поисковый трафик имеет решающее значение для развития вашего веб-сайта и бизнеса.

Согласно некоторым исследованиям, около 53% трафика вашего сайта можно отнести к обычному поиску.

Но статистика не имеет большого значения, если ваш сайт вообще не отображается в результатах поиска.

Как вы индексируете свой новый сайт или блог в Google, Bing и других поисковых системах?

Что ж, у вас есть два варианта.

Вы можете использовать «черепаховый» подход — просто сядьте и подождите, пока это произойдет естественным образом, но это может занять недели или месяцы.

(Поверьте, я бывал там раньше — не весело.)

Или вы можете сделать это сейчас, давая вам больше времени и энергии для увеличения коэффициента конверсии, улучшения вашего социального присутствия и, конечно же, написания и продвижения отличного и полезного контента.

Не знаю, как вы, но я бы предпочел, чтобы мои сайты были проиндексированы как можно быстрее, потому что это дает мне больше времени для расширения моей аудитории.

Именно с помощью этих стратегий я увеличил количество посетителей этого блога до 600 000 в месяц так же быстро, как и я!

Хотите сделать то же самое?

Не сдавайтесь, потому что в этом пошаговом руководстве я рассказываю обо всем, что узнал о SEO и о том, как быстро проиндексировать ваш сайт!

Я расскажу, как заставить Google быстро проиндексировать наш веб-сайт, что приведет к увеличению органического поискового трафика и повышению рейтинга.

Приступим!

Зачем вам нужен Google для индексации вашего сайта?

Во-первых, очевидный ответ.

Если вы хотите, чтобы ваш сайт вообще отображался в результатах поиска, его необходимо проиндексировать.

Однако вы не хотите, чтобы ваш сайт индексировался только один раз. Вы хотите, чтобы поисковые системы продолжали переиндексировать ваш сайт.

Поисковые системы, такие как Google, не обновляются автоматически.

Они полагаются на пауков — маленькие кусочки компьютерного кода, которые каждая поисковая система отправляет, чтобы «сканировать» сеть (отсюда и «паук»).

Вам нужна эффективная частая скорость сканирования.

Работа паука — искать новые материалы в сети и обновлять уже проиндексированную версию вашего сайта. Этим «новым материалом» может быть новая страница на существующем сайте, изменение существующей страницы или совершенно новый сайт или блог.

Как только паук находит новый сайт или страницу, ему необходимо выяснить, о чем этот новый сайт или страница.

Еще на Диком Диком Западе ранней сети пауки поисковых машин были далеко не такими умными, как сегодня.Вы можете заставить паука проиндексировать и ранжировать вашу страницу, основываясь только на том, сколько раз конкретная поисковая фраза («ключевое слово») появлялась на странице.

Для сегодняшнего успеха контента нельзя полагаться на эти старые стратегии поисковой оптимизации.

Ключевое слово даже не обязательно должно быть в теле страницы. Многие люди оценивали торговую марку своего крупнейшего конкурента, просто вставляя десятки вариантов этой торговой марки в метатеги страницы!

К счастью для пользователей поиска Google и этичных владельцев веб-сайтов, те времена давно прошли.

Сегодня за наполнение ключевыми словами и метатегами вы будете наказаны, а не вознаграждены. А мета-теги ключевых слов на самом деле вообще не являются частью алгоритма (хотя все же есть веские причины их использовать).

Если вы не будете осторожны, ваш сайт может вообще исключить из индекса — это означает, что ваш сайт вообще не будет ранжироваться ни по одному ключевому слову.

В наши дни Google больше заботится об общем опыте пользователя на вашем сайте и о намерениях пользователя, стоящих за поиском — i.д., хочет ли пользователь что-то купить (коммерческое намерение) или чему-то научиться (информационное намерение)?

Они даже сделали Page Experience фактором ранжирования.

Не поймите меня неправильно — ключевые слова по-прежнему имеют значение. По словам Брайана Дина из Backlinko, важны и другие факторы — всего до 200. К ним относятся такие вещи, как качественные входящие ссылки, социальные сигналы (хотя и не напрямую) и действительный код на всех ваших страницах.

Ничего из этого не будет иметь значения, если пауки не смогут определить поисковые системы, где находятся ваши страницы, то есть они не будут отображаться в результатах поиска.

Вот почему индексирование веб-сайтов так важно.

Проще говоря, индексирование — это способ паука собирать и обрабатывать все данные со страниц и сайтов во время их обхода по сети.

Частое индексирование улучшает результаты поиска.

Паук отмечает новые документы и изменения, которые затем добавляются в поисковый индекс, поддерживаемый Google. Эти страницы добавляются только в том случае, если они содержат качественный контент и не вызывают никаких тревог из-за таких сомнительных действий, как наполнение ключевыми словами или создание кучи ссылок из источников, не заслуживающих доверия.

Когда паук видит изменение на вашем веб-сайте, он обрабатывает как контент (текст) на странице, так и те места на странице, где размещены условия поиска. Он также анализирует теги заголовков, метатеги и атрибуты alt для изображений.

Затем этот паук добавляет или «индексирует» этот контент в Google.

Вкратце об индексировании. Это важный инструмент для веб-мастеров.

Когда поисковый пользователь приходит в поисках информации, вводя ключевые слова для поиска, алгоритм Google начинает работать.Затем алгоритм решает, где оценить страницу по сравнению со всеми другими страницами, связанными с этими ключевыми словами.

Частота индексации вашего сайта может повлиять на вашу эффективность в результатах поиска. Вы хотите, чтобы весь ваш последний контент был всегда доступен для тех, кто ищет, и для пауков Google.

Это краткая и несколько упрощенная версия того, как Google находит, анализирует и индексирует новые сайты, подобные вашему.

Многие другие поисковые системы, такие как Bing или Yahoo, следуют аналогичным процедурам, хотя могут быть различия в специфике, поскольку каждая имеет свой собственный алгоритм.

Какие факторы индексации имеют значение?

Вам нужна эффективная индексная ставка для вашего веб-сайта.

Это означает, что вы хотите, чтобы пауки поисковых систем как можно быстрее находили ваш новый контент после того, как вы нажали кнопку «Опубликовать».

Вы можете проверить, как часто Google сканирует ваши страницы, войдя в Search Console.

Еще не настроили Google Search Console? Перейдите к шагу 2, чтобы узнать, как настроить свой веб-сайт.

В Search Console щелкните свой веб-сайт.Затем нажмите «Настройки»> «Статистика сканирования»> «Открыть отчет». Вы увидите следующие графики:

Первый график показывает, как часто Google сканирует ваш сайт.

График «Запросы сканирования» показывает, как часто Google сканирует мой сайт каждый день.

Как показывает практика, чем больше ползать, тем лучше.

Однако в некоторых случаях чрезмерное сканирование может перегрузить ресурсы сервера. Обычно это результат неправильной конфигурации сервера, а не проблемы с пауками Google.

Это очень редко, поэтому вам, вероятно, не стоит об этом беспокоиться. Google позволяет вам изменять скорость сканирования (только вниз, а не вверх), если это происходит с вами.

Итак, как мне увеличить скорость сканирования?

В последнее время я много публикую и обновляю старый контент, поэтому Google стремится получать все мои обновления и изменения как можно быстрее. Он учится чаще проверять меня.

Я также перешел на новый веб-хостинг в апреле, который намного быстрее, чем мой старый.

Чем быстрее загружается ваш сайт, тем быстрее Google может его проиндексировать!

Google хочет рекомендовать своим пользователям лучшие веб-сайты. Он ищет сайты, которые удобны для пользователей. Хотя это включает в себя множество факторов, очень важны качественный контент и скорость загрузки сайта.

Проще говоря:

Более быстрый сайт = лучший пользовательский опыт.

Лучший пользовательский опыт = более высокий рейтинг в результатах поиска.

Гораздо важнее, чем то, как часто Google индексирует ваш сайт, сколько страниц он индексирует.Вы хотите, чтобы как можно больше страниц вашего сайта было проиндексировано.

(Не волнуйтесь, ваша карта сайта позаботится об этом, о чем я подробно расскажу в шаге 7.)

Но сначала давайте начнем с самого начала. Следующие 18 шагов проведут вас через все, что вам нужно знать об индексировании вашего сайта.

Вам не обязательно делать все 18 шагов, чтобы иметь хорошо проиндексированный веб-сайт, но если вам интересно, как повысить рейтинг в Google, это единственное руководство, которое вам когда-либо понадобится!

Шаг 1. Мой сайт уже проиндексирован?

Если вы не создаете новый сайт, он, вероятно, уже проиндексирован.

Если вы не уверены, вот как это узнать.

Самый простой способ проверить это — выполнить поиск на сайте : yourdomain.com в Google. Если Google знает, что ваш сайт существует и уже просканировал его, вы увидите список результатов, аналогичный тому, что был для NeilPatel.com на снимке экрана ниже:

Если Google еще не нашел ваш сайт, вы не получите никаких результатов, например:

Если ваш сайт уже проиндексирован, это хорошо, но, вероятно, его можно улучшить.

Остальные шаги в этом руководстве помогут вам убедиться, что ваш сайт проиндексирован в полной мере.

Шаг 2. Установка и настройка Google Analytics и Search Console

Если вы еще не знакомы с этими бесплатными инструментами Google, вот краткое описание.

Google Analytics: Измеряет статистику вашего веб-сайта, такую ​​как посетители, время, проведенное на сайте, какие страницы они просматривали, откуда они и т. Д.

Консоль поиска Google (ранее известная как Инструменты Google для веб-мастеров): Она позволяет отслеживать различные аспекты вашего веб-сайта, такие как время последнего сканирования, любые ошибки индексации, проблемы с безопасностью и т. Д.

Search Console также позволяет вам управлять некоторыми ключевыми аспектами вашего появления в результатах поиска и вручную отправлять карты сайта — все это я расскажу позже в этой статье.

Но сначала давайте приступим.

Если у вас уже есть Google Analytics и Search Console, нажмите здесь, чтобы перейти к Шагу 3: Создание стратегии контент-маркетинга.

Чтобы настроить Google Analytics, нажмите здесь и войдите в свою учетную запись Google.

Это может быть ваш @gmail.com или ваш адрес электронной почты @ mydomain.com, если вы используете сервис Google G Suite for Business.

Затем нажмите «Зарегистрироваться».

Введите имя и URL-адрес своего веб-сайта, затем нажмите «Получить идентификатор отслеживания» внизу страницы.

Вы увидите такую ​​страницу. Не паникуйте!

Есть несколько способов установить Google Analytics на свой сайт.

Настройка Google Analytics

Если вы используете WordPress или другую систему управления контентом, которая запрашивает ваш идентификатор отслеживания Google Analytics, вам просто нужен номер в самом верху.В моем случае это UA-98962030-1.

Это не мой настоящий идентификатор отслеживания! Просто говорю, не размещайте это в Интернете! 😉

Плагин Google Analytics от MonsterInsights для WordPress действительно прост в настройке.

Просто скачайте его, загрузите плагин в WordPress, активируйте его, и вы увидите этот экран.

Нажмите синюю кнопку «Аутентифицировать», и она проведет вас через все остальное.

Для настройки плагина у вас должен быть уже создан профиль Analytics, что мы и сделали на предыдущем шаге.

Если вы не используете WordPress или хотите добавить код Google Analytics вручную, вот как это сделать.

Вам необходимо поместить этот код (в красном поле) на каждую страницу вашего веб-сайта.

Самый простой способ сделать это — создать один файл с кодом в нем, а затем создать строку кода на каждой странице вашего веб-сайта, которая будет загружать этот файл.

Кусок торта, правда?

Не волнуйтесь, вот как это сделать!

Для этого шага вам необходимо иметь доступ к файлам вашего веб-сайта на сервере вашей хостинговой компании.Обычно это делается через FTP.

Откройте свой FTP-клиент (FileZilla — отличный, бесплатный) и войдите на свой сервер. Если у вас нет этой информации, вы можете создать учетную запись FTP в cPanel своего веб-хостинга или просто обратиться к своему веб-хостеру, чтобы попросить их предоставить информацию.

Ваша регистрационная информация должна выглядеть примерно так:

После подключения вы увидите список подобных файлов и папок.

Откройте новый текстовый файл (для этого подойдут Блокнот для Windows или TextEdit для Mac).Убедитесь, что для него установлено значение «Только обычный текст».

В TextEdit вы нажимаете «Формат» -> «Сделать обычный текст», чтобы сделать это.

Это действительно важно, потому что текстовые процессоры, такие как Word, могут добавлять в код форматирование, которое может испортить код на вашем сайте. При работе с кодом всегда используйте обычный текст .

Когда у вас будет обычный текстовый документ, вставьте код Google Analytics. В итоге вы получите:

Сохраните файл как analyticstracking.php. Убедитесь, что у него есть расширение.php, а не .txt.

Если ваш текстовый редактор по какой-то причине сохранил его с именем «analyticstracking.php.txt», просто переименуйте файл на своем компьютере в «analyticstracking.php».

Загрузите этот файл в корневой каталог через FTP (первая папка вашего веб-сайта).

Вам нужно добавить одну строку кода для каждого шаблона страницы, который у вас есть. Это «вызывает» только что созданный файл и обеспечивает отслеживание каждой страницы вашего веб-сайта, использующей этот шаблон, в Google Analytics.

Для этого загрузите все файлы шаблонов PHP для своего веб-сайта и отредактируйте их.

Если у вас есть один с именем header.php, который загружается на каждой странице, вам нужно сделать это только один раз!

Загрузите header.php.

Затем откройте загруженный файл в текстовом редакторе.

Найдите тег и начало, например:

Вставьте одну строку кода сразу после тега.

Скопируйте этот код:

И вставьте сюда:

Сохраните файл header.php и повторно загрузите его на свой веб-сайт.

Готово!

Если у вас нет файла header.php, вам нужно повторить этот процесс для каждого шаблона страницы php, который есть на вашем веб-сайте, например index.php, blog.php и т. Д.

Если вы используете WordPress, вы определенно в выигрыше. Все, что вам нужно сделать, это установить плагин.

Хорошо, нужно настроить еще кое-что, и мы перейдем к шагу 3.

Настройка консоли поиска Google

Теперь, когда мы настроили Google Analytics, пора добавить наш веб-сайт в Google Search Console (ранее известный как Google Webmaster Tools).

Щелкните здесь, чтобы перейти в Search Console. Войдите в свою учетную запись Google.

Вы увидите этот экран:

Нажмите «Начать сейчас».

Затем вам нужно будет подтвердить, что вы являетесь владельцем этого домена. Есть несколько способов сделать это.

По умолчанию он может показать вам вариант подтверждения через ваш веб-хостинг.

Щелкните раскрывающееся меню, чтобы найти поставщика доменного имени.

Если вашего нет в списке, вы можете нажать «Другое» (внизу).

Search Console затем попросит вас создать запись TXT, которая включает изменение конфигурации вашего домена.

Это немного над головой? Не волнуйтесь, у меня есть способ попроще!

Если вы все же хотите добавить запись TXT, вот как это сделать.

Щелкните «Альтернативные методы» вверху.

Есть два простых способа подтвердить свой домен: с помощью Google Analytics или с помощью загрузки файла HTML.

Я расскажу о них обоих.

Чтобы подтвердить с помощью Google Analytics, просто выберите его и нажмите «Подтвердить».

Google проверит вашу учетную запись Google Analytics, чтобы убедиться, что вы являетесь тем, кем себя называете, и если это так, вы увидите сообщение об успешном завершении.Убедитесь, что вы используете тот же аккаунт Google с Search Console, что и с Google Analytics.

Процесс загрузки файлов в формате HTML все еще довольно прост.

Щелкните, чтобы загрузить файл на свой компьютер на шаге 1, затем снова откройте программу FTP. Загрузите HTML-файл Google в свой корневой каталог.

Затем перейдите по URL-адресу, который Google дал вам, чтобы убедиться, что файл там. В моем случае это https://neilpatel.com/googlefba739b2a6dd0306.html.

Если вы загрузили его правильно, вы увидите имя файла в окне браузера.

Вернитесь в Search Console и нажмите «Подтвердить» внизу.

Вот и все!

Не забудьте оставить HTML-файл на вашем сервере. Это гарантирует, что ваш сайт будет оставаться подтвержденным в Search Console.

Есть еще две действительно важные вещи, которые вам нужно сделать сейчас:

• Добавьте обе версии своего домена neilpatel.com и www.neilpatel.com
• Установите предпочтительный домен

Зачем вам это нужно, спросите вы?

Это может вызвать ошибки сканирования, которых мы пытаемся избежать!

Добавить другую версию вашего URL-адреса просто — повторите тот же процесс, который я только что объяснил.В приведенном выше примере я подтвердил свой домен neilpatel.com. Поэтому я бы пошел в Search Console и проделал те же шаги, но вместо этого использовал бы neilpatel.com.

После того, как вы добавили в Search Console и yourdomain.com, и www.yourdomain.com, вам необходимо установить предпочтительный домен.

Для этого нажмите на свой веб-сайт в Search Console.

В правом верхнем углу щелкните значок шестеренки и выберите Параметры сайта.

Выберите, хотите ли вы, чтобы ваши URL отображались с префиксом www.»Или без.

Я собираюсь показать вам все удивительные вещи, которые вы можете делать с помощью Search Console, позже в этой статье, так что держите эту вкладку открытой!

Но теперь нам нужно вернуться к основам маркетинга и поговорить о создании стратегии SEO для вашего контента.

Шаг 3. Создание стратегии контент-маркетинга

В ваших интересах иметь письменную стратегию контент-маркетинга, ориентированную на результаты поиска.

Но не верьте мне на слово.

От Института контент-маркетинга:

«Те, у кого есть задокументированная стратегия контент-маркетинга:

• С гораздо большей вероятностью считают себя эффективными в контент-маркетинге
• Чувствуют себя значительно менее сложными во всех аспектах контент-маркетинга
• Считают себя более эффективными в использовании всех тактик контент-маркетинга и каналов социальных сетей
• Могут оправдать расходы более высокий процент их маркетингового бюджета на контент-маркетинг »

Все это абсолютно верно.Что касается меня, я чувствую себя намного лучше, когда у меня есть письменный план действий, на который я могу ссылаться и отслеживать свой успех.

Мои блоги и многочисленные предприятия не росли бы так быстро, как они, без письменного плана.

Помимо того, что вы будете сосредоточены на своих целях, документированная стратегия содержания также поможет вам проиндексировать страницы вашего сайта путем создания новых страниц содержания.

Согласно отчету HubSpot «Not Another State of Marketing Report 2020», 60% контент-маркетологов заявили, что контент очень важен или чрезвычайно важен для их общей стратегии.

Одно исследование показало, что у компаний, использующих контент-маркетинг, коэффициент конверсии в шесть раз выше.

Делать все возможное, чтобы публиковать ценный, интересный и полезный контент, а затем делать все возможное, чтобы ваши потенциальные клиенты видели его.

Вот пример.

Когда я создаю и публикую на своем сайте профессиональную инфографику, и она публикуется на другой веб-странице со ссылкой на мою страницу, я получаю «кредит» контент-маркетинга за оба сообщения.

Поскольку это инфографика, у меня больше шансов привлечь аудиторию на обоих сайтах.

Инфографика

имеет один из самых высоких показателей вовлеченности читателей. Доказано, что большинство людей тратят больше времени на просмотр инфографики, чем на чтение текста на странице.

Но вы все это читаете, верно ?!

Инфографика распространяется в социальных сетях примерно в 3 раза чаще, чем любым другим типом контента.

Когда вы разрабатываете свою стратегию контент-маркетинга, блоггинг обязательно должен быть в списке.

Но вам также необходимо учитывать контент, который вы будете публиковать на других веб-сайтах. Это не только помогает увеличить ваш трафик, но также помогает повысить скорость индексации и получение входящих ссылок.

Вот несколько примеров внешнего контента, который можно использовать в вашем плане:

• Гостевые посты на других сайтах в вашей нише
• Пресс-релизы, отправленные на сайты, которые публикуют такой контент
• Статьи на сайтах высококачественных каталогов статей (Примечание: здесь будьте осторожны — подавляющее большинство каталогов статей — это , а не высокое качество и может навредить вашему бренду, репутации и поисковой оптимизации.)
• Некоторые авторитетные каталоги — это Medium и HubPages.
• Видео, размещенные на Vimeo или на вашем канале YouTube

Конечно, любой контент , на котором вы размещаете свое имя или бренд, должен быть высокого качества и опубликован на авторитетном сайте с хорошей репутацией.

В противном случае вы нарушите цель поисковой оптимизации и нанесете ущерб своему трафику и бренду.

Контент, опубликованный на сайтах со спамом и имеющий обратную ссылку на ваш сайт, подсказывает результатам поиска Google, что ваш сайт также является спамом.

Примерами сайтов с хорошей репутацией, на которых можно размещать гостевые сообщения, могут быть Forbes, Entrepreneur, Smashing Magazine и т. Д. Это известные веб-сайты с репутацией качественного контента, а именно то, что вы хотите ассоциировать со своим брендом.

Не очень хорошие места для публикации? Сайты, полные некачественных красных флажков: загроможденные рекламой, с множеством грамматических или орфографических ошибок или неизвестные в той отрасли, на которую вы ориентируетесь.

Я не хочу здесь называть никаких имен, но вашего здравого смысла должно хватить, чтобы сказать вам, что такое сайт, рассылающий спам.Например, сайт под названием neilsbestmarketingadvice101.tumblr.com, вероятно, мало что вам даст, верно?

Хорошо продуманный план контент-маркетинга поможет вам избежать безумной спешки по публикации большего количества контента. Это ставит вас на место водителя поисковой оптимизации, поэтому вы можете сосредоточиться на привлечении потенциальных клиентов и повышении коэффициента конверсии.

Создание стратегии письменного контента не должно быть трудным.

Вот фреймворк, который я использую для своего:

• Каковы ваши цели? Укажите цели SMART и то, как вы будете оценивать свой прогресс (т.е., метрики).
• Кто ваша целевая аудитория? Профили или личности клиентов важны для понимания вашей аудитории и того, что они хотят / нуждаются.
• Какие типы контента вы будете создавать? Вы должны быть уверены, что доставляете контент, который хочет видеть ваша целевая аудитория.
• Где это будет опубликовано? Конечно, вы будете размещать свой собственный контент на своем веб-сайте, но вы также можете обратиться к другим сайтам или использовать такие платформы, как YouTube, LinkedIn и Slideshare.
• Как часто вы будете публиковать свой контент? Гораздо лучше последовательно выпускать одну хорошо написанную и качественную статью в неделю, чем публиковать каждый день в течение недели, а затем ничего не публиковать в течение месяца. Последовательность — ключ к успеху.
• Какие системы вы выберете для публикации своего контента? Системы — это в основном повторяемые процедуры и шаги для выполнения сложной задачи. Они помогут вам сэкономить время и быстрее писать контент, чтобы вы могли не отставать от графика.Все, что помогает вам публиковать контент за меньшее время, не жертвуя качеством, улучшит вашу прибыль.
• Какие инструменты вы будете использовать? Укажите инструменты и технологии ведения блогов / контента, которые вы будете использовать, и то, как они вписываются в вашу систему.

После того, как вы задокументируете свой план контент-маркетинга, вам станет проще публиковать отличный контент по согласованному графику. Это поможет быстрее проиндексировать новые веб-страницы вашего сайта.

Шаг 4. Начните вести блог

Зачем нужен блог?

Это просто: блоги — это трудолюбивые SEO-машины.Контент блога сканируется и индексируется быстрее, чем статические страницы.

Блоги также привлекают больше трафика. Компании, которые ведут блог, регулярно привлекают на свои сайты на 55% больше посетителей, чем те, которые этого не делают.

Блоги подходят для любого бизнеса, отрасли или ниши, а также почти для всех бизнес-моделей — даже для сайтов B2C и электронной коммерции.

Не бойтесь вести блог.

Да, это требует постоянных усилий. Вы действительно должны регулярно писать (или передавать на аутсорсинг) качественные подробные сообщения в блог.

Награды, как я выяснил, того стоят.

Если у вас есть сайт электронной торговли, ведение блога не должно быть очень сложным или трудным.

Например, когда вы создаете страницу нового продукта, напишите и опубликуйте в блоге сообщение о новом продукте. Добавьте качественные изображения товара и ссылку на страницу товара. Это помогает быстрее проиндексировать страницу продукта поисковыми системами.

Еще одна отличная стратегия ведения блога для электронной коммерции — писать пост каждый раз, когда покупатель задает вам вопрос.

Для большей стратегии, ориентированной на продажи, поделитесь ссылкой на сообщение в блоге с другими блоггерами и влиятельными лицами, чтобы известить о них. Возможно, они захотят разместить ваш продукт в своих блогах, которые, опять же, являются отличным источником ссылок и трафика и положительно повлияют на вашу скорость сканирования.

Шаг 5. Используйте внутренние ссылки на своем веб-сайте

Внутренние ссылки, то есть ссылки на страницы вашего собственного веб-сайта, — еще один отличный способ быстро проиндексироваться и повысить свою позицию в обычных результатах поиска.

Одним из очевидных источников внутренних ссылок является навигация по вашему сайту.

Важно структурировать навигацию по веб-сайту так, чтобы она была понятна Google.

Ваша навигация должна следовать предсказуемому потоку, например, Домашняя страница -> Категория -> Дополнительная страница.

Очевидно, что все элементы должны быть связаны. Итак, если вы веб-дизайнер, ваша навигация может выглядеть так.

Домашняя страница -> Услуги веб-дизайна -> Дизайн WordPress

Видите, как все это связано и имеет смысл?

Еще одним ключевым фактором является правильная структура URL-адресов.Эмпирическое правило Google — сделать их максимально простыми и понятными.

Так что, если это имеет смысл для вас, человека, это должно иметь смысл и для Google.

Еще один отличный способ ссылаться на ваш контент — это сообщения в блогах.

Люди обычно связывают фразы в своих блогах с соответствующими темами, например, если бы я хотел предложить вам дополнительную информацию о структурировании URL-адресов.

Или я мог бы создать такую ​​строку:

Связано: Имеет ли значение структура URL-адреса? Ответ, управляемый данными

Создает ссылки, которые заставляют пауков Google возвращаться и сканировать эти страницы снова.Кроме того, это положительно улучшает пользовательский опыт. Ваши читатели оценят дальнейшие ресурсы.

Не забывайте всегда помнить об удобстве использования. Это идет рука об руку с SEO. У Google есть все эти правила и способы работы, потому что он пытается предоставить своим пользователям наилучшие результаты и дать им ответы, которые они ищут.

Вы должны сосредоточиться на одном и том же!

Шаг 6. Продвигайте публикацию вашего контента в социальных сетях

Естественно, заставить людей делиться вашим контентом в социальных сетях — это хорошо.Совершенно уверен, что мне не нужно убеждать вас в этом!

Он открывает доступ к вашему контенту новым людям, привлекает их на ваш сайт, и это тот контент, который люди хотят видеть больше всего.

Но публикация ваших сообщений в социальных сетях также имеет преимущества для SEO, поскольку создает обратные ссылки на ваш контент.

Что, если вы внимательно … говорит паукам Google проиндексировать ваш сайт

бонусных балла, если вы уже догадались.

Сейчас ведутся споры о том, насколько ссылки в социальных сетях влияют на ранжирование в обычном поиске.

Google высказал неоднозначные мнения по этому поводу, заявив, что сначала в 2015 году они вообще не учитывали посты в социальных сетях для ранжирования в органическом поиске, а затем заявили, что они сделали это.

«Да, мы используем это как сигнал. Он используется как сигнал в нашем органическом рейтинге и рейтинге новостей. Мы также используем его, чтобы сделать наши новости универсальными, отмечая, сколько людей поделились статьей ».

Мэтт Каттс, бывший известный Google, сказал несколько лет назад:

Я снял видео еще в мае 2010 года, где я сказал, что мы не использовали «социальные сети» в качестве сигнала, и в то время мы не использовали это как сигнал, но сейчас мы снимаем это на пленку в декабре. 2010, и мы используем это как сигнал.

Bing, с другой стороны, очень четко дал понять, как он использует ссылки социальных сетей в рейтинге результатов поиска, известные как «социальные сигналы».

Многие маркетологи считают, что социальные сигналы являются важным фактором ранжирования, и я один из них.

Обмен в соцсетях помог мне значительно расширить мой блог. Когда я основал NeilPatel.com, я начинал с нуля и быстро увеличил свою аудиторию до 60 000 читателей в месяц за 2 месяца.

Сейчас у меня в среднем более 20 миллионов посещений в месяц.

Я приписываю большую часть своего успеха социальному обмену и положительному росту SEO, который я получил благодаря социальным сигналам, ссылкам и повышенной скорости индексации страниц.

В любом случае социальный обмен имеет много других преимуществ для вашего веб-сайта, так что просто сделайте это!

Шаг 7. Добавьте плагин Sitemap, чтобы Google индексировал ваш сайт

Во-первых, давайте поговорим о том, что такое карта сайта.

Вы, несомненно, видели слово «карта сайта» раньше, но, возможно, вы никогда не знали, что именно оно означает и как оно соотносится с поисковой оптимизацией.

Карта сайта — это файл, который сообщает Google о файлах на вашем веб-сайте, в том числе о том, как они соотносятся друг с другом. Это упрощает сканирование и индексирование вашего сайта Google.

Карта сайта — это в основном список (в формате XML) всех страниц вашего сайта . Его основная функция — сообщать поисковым системам, когда что-то изменилось — будь то новая веб-страница или изменения на определенной странице — а также то, как часто поисковая система должна проверять наличие изменений.

Влияют ли карты сайта на ваш поисковый рейтинг? Могут, но ненамного.

Они действительно помогают вашему сайту быстрее индексироваться с более эффективной скоростью сканирования.

В современном мире поиска существует множество мифов о поисковой оптимизации, которых следует опасаться. Но одно остается неизменным: при прочих равных, отличный контент поднимется наверх, как сливки.

Sitemap помогает сканировать и индексировать ваш контент, чтобы он мог быстрее подняться на вершину поисковой выдачи, согласно блогу Google для веб-мастеров.

По словам Google, «отправка файла Sitemap помогает убедиться, что Google знает об URL-адресах на вашем сайте.”

Это гарантия, что ваш сайт будет немедленно проиндексирован? Нет. Но это определенно эффективный инструмент для веб-мастеров, который помогает в этом процессе.

Кейси Генри задался вопросом, насколько карты сайта повлияют на скорость сканирования и индексирование, поэтому он решил провести небольшой эксперимент.

Кейси поговорил с одним из своих клиентов, который вел довольно популярный блог, используя как WordPress, так и плагин Google XML Sitemaps Generator для WordPress (подробнее об этом ниже).

С разрешения клиента Кейси установил скрипт отслеживания, который отслеживал действия робота Googlebot на сайте.Он также отслеживал, когда бот обращался к карте сайта, когда она была отправлена, и каждую страницу, которая была просканирована. Эти данные хранились в базе данных вместе с отметкой времени, IP-адресом и пользовательским агентом.

Клиент просто продолжил свой обычный график публикации (около двух или трех сообщений в неделю).

Кейси назвал результаты своего эксперимента не чем иным, как «поразительными» с точки зрения поисковой оптимизации.

Но судите сами: когда карта сайта не была отправлена, Google потребовалось в среднем 1375 минут, чтобы найти, просканировать и проиндексировать новый контент.

Когда была отправлена ​​карта сайта? Это среднее значение упало до 14 минут.

Как часто вы должны сообщать Google, чтобы он проверял наличие изменений, отправляя новую карту сайта? Не существует твердого правила.

Однако некоторые виды контента требуют более частого сканирования и индексации.

Например, если вы добавляете новые продукты на сайт электронной торговли, и у каждого из них есть собственная страница продукта, вам нужно, чтобы Google часто проверял их, увеличивая скорость сканирования.То же самое верно и для сайтов, которые регулярно публикуют горячие или свежие новости, которые постоянно конкурируют в запросах поисковой оптимизации.

Но есть гораздо более простой способ создать и отправить карту сайта. Если вы используете WordPress, просто установите и используйте плагин Google XML Sitemaps.

Его настройки позволяют указать плагину, как часто карта сайта должна создаваться, обновляться и отправляться в поисковые системы. Он также может автоматизировать процесс для вас, так что всякий раз, когда вы публикуете новую страницу, карта сайта обновляется и отправляется.

Другие инструменты карты сайта, которые вы можете использовать, включают Генератор XML-карт сайта, онлайн-инструмент, который должен работать для любого типа веб-сайтов.

Получив карту сайта, вы хотите отправить ее в Google Search Console, о чем мы поговорим дальше.

Шаг 8. Отправьте файл Sitemap в Search Console

Очень важно, чтобы ваша карта сайта была актуальной для Google Search Console. Я люблю заходить раз в 2 недели или, по крайней мере, ежемесячно, и обновлять его.

Еще не зарегистрированы в Google Search Console? Вернитесь к шагу 2, чтобы узнать, как это сделать.

Щелкните URL-адрес, чтобы перейти на панель управления для этого сайта. Слева в разделе «Индекс» нажмите «Карты сайта». Вы увидите уже отправленные в Google карты сайта, а также добавите новую карту сайта.

Для следующего шага вам понадобится URL-адрес вашей карты сайта. Если вы используете плагин для WordPress, эта информация будет доступна в его настройках.

Обычно это URL-адрес yourdomain.ru / sitemap.xml.

Как я упоминал выше, вы также можете использовать веб-сайт, такой как XML-Sitemaps.com, для его создания. Для этого просто введите свой URL и выберите периодичность изменения.

Частота изменения просто говорит Google, как часто он должен индексировать ваш сайт. Это всего лишь предложение Google, и паук должен определить, когда он вернется, чтобы снова проиндексировать ваш сайт.

Как только он предоставит вам файл sitemap.xml, загрузите его на свой веб-сайт через FTP.

Получив URL-адрес карты сайта, введите его в Google Search Console.

После отправки вы увидите это внизу страницы.

После того, как Google завершит его индексирование, столбец «Обработано» изменится с «Ожидание» на дату, когда он был проиндексирован.

Как видите, только 294 из 473 моих веб-страниц были проиндексированы! Будем надеяться, что за это время паук подберет их больше. Однако не беспокойтесь, если вы увидите похожую статистику — некоторые из этих страниц, вероятно, вы и не хотите индексировать (подробности см. В шаге 17!).

Возьмите за привычку отправлять новую карту сайта не реже одного раза в месяц.

Вы также можете использовать Инструменты Bing для веб-мастеров, чтобы сделать то же самое с Bing. Хорошо бы охватить все ваши базы, тем более что Bing — вторая по популярности поисковая система после Google!

Шаг 9. Создайте каналы социальных сетей

Есть ли у вас профили в социальных сетях для вашего сайта или блога? Если нет, то сейчас самое время.

Почему? Потому что, как мы узнали на шаге 6, один из компонентов поисковой оптимизации — это внимание к социальным сигналам.

Эти сигналы могут побудить поисковые системы сканировать и индексировать ваш новый сайт.

Более того, социальные сигналы помогут вам повысить рейтинг ваших страниц в результатах поиска.

К настоящему времени очевидно, что надежный маркетинговый план в социальных сетях помогает SEO. Но социальные профили на вашем веб-сайте также дают вам другое место для добавления ссылок на ваш сайт или блог.

профилей Twitter, страниц Facebook, профилей LinkedIn или страниц компаний, профилей Pinterest, каналов YouTube и особенно профилей или страниц Google+ — все это легко создать и является идеальным местом для добавления ссылок, указывающих на ваш веб-сайт.

Если вы не хотите создавать новые профили на социальных сайтах для своего нового сайта или блога, вы также можете просто добавить ссылку нового сайта к своим существующим профилям, чтобы увеличить скорость сканирования.

Однако я настоятельно рекомендую создавать новые профили для проектов. Помимо того, что это хорошо для SEO, это также отлично подходит для брендинга.

Это, вероятно, само собой разумеется, но если вы создаете эти каналы в социальных сетях, будьте готовы также регулярно обновлять их, добавляя новый контент.

Шаг 10. Используйте robots.txt

Если вы не являетесь опытным программистом или разработчиком, возможно, вы видели файл robots.txt в файлах своего домена и задавались вопросом, что это такое и для чего он нужен.

Часть «что это такое» очень проста. Это простой текстовый файл, который должен находиться в корневом каталоге вашего домена. Если вы используете WordPress, он будет находиться в корневом каталоге вашей установки WordPress.

Часть «что он делает» немного сложнее.По сути, robots.txt — это файл, который дает строгие инструкции для роботов поисковых систем о том, какие страницы они могут сканировать и индексировать — и от каких страниц следует держаться подальше.

Когда поисковые роботы находят этот файл в новом домене, они читают содержащиеся в нем инструкции, прежде чем делать что-либо еще.

Если они не находят файл robots.txt, поисковые роботы предполагают, что вы хотите просканировать и проиндексировать каждую страницу.

Теперь вы можете спросить: «С какой стати мне нужно, чтобы поисковые системы , а не индексировали страницу на моем сайте?» Это хороший вопрос!

Короче говоря, это потому, что не каждую страницу, существующую на вашем сайте, следует считать отдельной страницей для целей поиска.(Подробнее об этом позже!)

Ваш первый шаг — убедиться, что на вашем новом сайте есть файл robots.txt. Вы можете сделать это либо по FTP, либо щелкнув свой файловый менеджер через CPanel (или аналогичный, если ваша хостинговая компания не использует CPanel).

Если его там нет, вы можете легко создать его с помощью обычного текстового редактора, такого как Блокнот.

Примечание: Очень важно использовать только текстовый редактор, а не что-то вроде Word или WordPad, которые могут вставлять невидимые коды в ваш документ, что действительно испортит ситуацию.

WordPress-блоггеры могут оптимизировать свои файлы robots.txt с помощью надежного плагина WordPress, такого как плагин Yoast SEO.

Формат файла robots.txt довольно прост. В первой строке обычно указывается пользовательский агент, который представляет собой просто имя поискового бота — например, Googlebot или Bingbot. Вы также можете использовать звездочку (*) в качестве идентификатора подстановочного знака для всех ботов. Этот тип плагина WordPress — эффективный инструмент для веб-мастеров.

Далее идет строка разрешающих или запрещающих команд.Они сообщают поисковым системам, какие части они должны сканировать и индексировать («Разрешить»), а какие — игнорировать («Запрещать»).

Эти правила гарантируют, что только те страницы, которые вы хотите проиндексировать, попадут в результаты поиска.

Итак, напомним: функция robots.txt заключается в том, чтобы сообщать поисковым системам, что делать с содержанием / страницами на вашем сайте. Но помогает ли это проиндексировать ваш сайт?

Суровый Агравал из ShoutDreams Media говорит:

Да.

Он смог проиндексировать сайты в течение 24 часов, используя комбинацию стратегий, включая роботов.txt и методы SEO на странице.

При этом важно быть очень осторожным при редактировании файла robots.txt, потому что легко ошибиться, если вы не знаете, что делаете.

Неправильно настроенный файл может скрыть весь ваш сайт от поисковых систем. Это полная противоположность тому, что вы хотите! Вы должны понимать, как правильно редактировать файл robots.txt, чтобы предотвратить снижение скорости сканирования.

Вы можете нанять опытного разработчика, который позаботится об этой работе, и оставить его в покое, если вам не нравится риск навредить вашему SEO.

Если вы действительно хотите попробовать это самостоятельно, вы можете использовать инструмент Google robots.txt, чтобы убедиться, что ваш файл правильно закодирован.

Шаг 11. Проиндексируйте свой сайт с помощью других поисковых систем

Вы также можете воспользоваться прямым подходом и отправить URL своего сайта в поисковые системы.

Прежде чем вы это сделаете, вы должны знать, что существует множество разногласий по поводу ручной отправки URL сайта как метода индексации сайта.

Некоторые блоггеры полагают, что это как минимум ненужно, если не вредно.

В большинстве случаев, если ваш сайт работает дольше недели, поисковые системы его уже нашли. Отправлять вручную бессмысленно, а платить компаниям за вас — это кража.

Ручная отправка в поисковую систему также может быть вредной, когда вы размещаете свой сайт на сайтах бесплатной отправки, которые предлагают разместить ваш сайт в нескольких поисковых системах. Эти ссылки могут быть некачественными и негативно сказаться на вашем SEO.

Видите все эти случайные каталоги и веб-сайты, куда будет отправлен ваш сайт?

Если эти сайты рассматриваются Google как спам, наличие с них ссылок на ваш сайт повредит вашему SEO-рейтингу.Google накажет вас за «привязанность» к этим сайтам.

Поскольку есть и другие методы, которые работают эффективно, большинство блоггеров и владельцев сайтов игнорируют этот шаг.

С другой стороны, это не займет много времени и не повредит вашему SEO, если вы просто отправляете данные в Google, Bing, Yahoo или другие очень уважаемые веб-сайты.

Чтобы отправить URL-адрес вашего сайта в Google, просто попросите Google повторно просканировать ваши URL-адреса с помощью обновления карты сайта или используйте инструмент проверки URL-адресов.

Примечание. Раньше Google позволял вам напрямую отправлять URL-адреса для индексации, но теперь этого не делает.

Шаг 12. Поделитесь своим контентом на агрегаторах

Агрегаторы контента — это веб-сайты, которые действуют как поисковая система для контента, отправленного пользователями.

Это означает, что люди отправляют свой контент на эти сайты, а затем посетители могут искать и находить контент от людей со всего мира. Это огромные сети с доступным для поиска контентом.

Хорошо известные примеры — Reddit и Medium.

Размещение вашего контента на агрегаторах — отличный источник ссылок и новых контактов, как и социальные сети.

Некоторые другие агрегаторы, на которых вы можете поделиться своим контентом:

Medium — также отличное место для публикации вашего контента. Для получения более подробной информации ознакомьтесь с моим полным руководством по увеличению посещаемости вашего веб-сайта с помощью Medium.

Шаг 13: Поделитесь ссылкой на свой веб-сайт везде

Еще один простой способ получить ссылки на ваш новый сайт или блог — это обновления вашего собственного социального статуса.

Конечно, эти ссылки будут nofollow, но они все равно будут учитываться для целей оповещения об индексировании, поскольку мы знаем, что Google и Bing, по крайней мере, отслеживают социальные сигналы с веб-страниц.

Старая поговорка «ваша сеть — это ваш собственный капитал» также применима здесь. Если вы только начинаете, вашими первыми клиентами могут быть семья, друзья или знакомые, поэтому не стесняйтесь делиться своим новым сайтом в своих личных аккаунтах в социальных сетях.

Если вы используете Pinterest, выберите высококачественное изображение или снимок экрана со своего нового сайта.

Добавьте URL-адрес и оптимизированное описание (т.е. убедитесь, что вы используете подходящие ключевые слова для своего сайта) и закрепите его либо на существующей доске, либо на новой, которую вы создаете для своего сайта.

Мне нравится, как Whole Foods использует Pinterest для взаимодействия со своей целевой аудиторией (например, гурманами и любителями натуральных рецептов). У них есть доски для каждой темы, включая текущие праздники и сезонные тенденции.

Если вы на YouTube, проявите творческий подход! Запишите короткий видеоролик, представляющий ваш сайт и подчеркивающий его особенности и преимущества. Затем добавьте URL-адрес в описание видео.

Social Media Examiner предлагает поместить ваш URL в первую строку описания.

Я также рекомендую использовать правильные ключевые слова в заголовке и описании.

Если у вас есть существующий список рассылки из другой компании, относящейся к той же нише, что и ваш новый сайт, вы можете разослать по всему списку рассылку, представляя ваш новый сайт и включая ссылку.

Джон Морроу, известный Copyblogger, сделал это со своим новым сайтом Unstoppable.me. Он составил список адресов электронной почты тысяч людей из своих многочисленных предприятий и успешно использовал его для привлечения трафика на свое новое предприятие.

Когда он опубликовал свой первый пост, он разослал электронное письмо своим подписчикам с других своих веб-сайтов, чтобы сообщить им о своем новом сайте.

Он также использовал раздел биографии на своем сайте SmartBlogger, чтобы привлечь трафик на свой новый блог.

Его первая публикация на Unstoppable.me собрала более 60 000 репостов в Facebook и 3 000 репостов в Twitter всего за первый месяц.

Наконец, не забывайте о своей личной учетной записи электронной почты. Добавьте свой новый URL-адрес и имя сайта в подпись электронной почты.Это просто, но работает.

Шаг 14: Настройка RSS-канала

Что такое RSS?

RSS — это автоматический канал содержания вашего веб-сайта, который обновляется, когда вы публикуете новое сообщение в блоге. Это расшифровывается как Really Simple Syndication или Rich Site Summary и подходит как для пользователей, так и для владельцев сайтов.

Как это влияет на индексирование и сканирование?

Что ж, прежде чем мы перейдем к этому, давайте проясним одну вещь: многие думают, что RSS мертв.

Число пользователей неуклонно снижается с тех пор, как Google убил Google Reader в 2013 году.Я думаю, что RSS развивается, а не умирает.

RSS обычно помогает увеличить читаемость и коэффициент конверсии, но он также может помочь проиндексировать ваши страницы .

Для пользователей RSS-каналы предоставляют гораздо более простой способ получить большой объем контента за более короткий промежуток времени.

Пользователи могут подписаться на ваш RSS-канал в своей любимой программе для чтения RSS и автоматически получать ваши новые сообщения. Популярные программы чтения RSS — Feedly и Feeder.

Как владелец сайта, вы получаете мгновенное распространение нового контента и возможность для читателей подписаться на вас, не отказываясь от своего адреса электронной почты, что не нравится некоторым людям.

Хотя вы по-прежнему хотите сосредоточить большую часть своих усилий на создании списка рассылки, предложение подписки на RSS-канал улучшает пользовательский опыт, предоставляя людям, заботящимся о конфиденциальности, еще один вариант подписки на вас.

Рассматривая RSS-канал, вы должны следовать нескольким рекомендациям:

• Решите, хотите ли вы показывать полное содержание сообщения или отрывки. Если вы пишете длинный контент (более 2 000 слов), вам, скорее всего, следует выбрать в своем RSS-канале только отрывки.
• Убедитесь, что ваш канал включает изображения , иначе ваши подписчики могут упустить ценную инфографику или другую графику, необходимую для понимания сообщения.

Настройка RSS-канала с помощью Feedburner (собственный инструмент Google для управления RSS) помогает уведомить Google о том, что у вас есть новое сообщение в блоге или страница, готовая к сканированию и индексированию.

Чтобы создать RSS-канал для своего сайта, перейдите на Feedburner. Войдите в свой аккаунт Google.

Введите свой URL-адрес в поле и нажмите Далее.

Дайте своему каналу заголовок и URL-адрес Feedburner (это будет публичный адрес вашего RSS-канала).

После этого вы увидите сообщение об успешном использовании нового URL-адреса Feedburner. Чтобы заставить людей подписаться на него, просто укажите ссылку на этот URL.

Например, у вас может быть кнопка на вашем веб-сайте с надписью «Подписаться через RSS» и ссылкой на этот URL.

Шаг 15: Разместите свой веб-сайт в каталогах

Вы, вероятно, уже знаете, что размещение вашего нового URL в каталогах блогов может помочь вашему сайту «быть найденным» новыми потенциальными пользователями.Разве я не говорил тебе не делать этого несколько шагов назад?

Дело в том, что ваш веб-сайт можно проиндексировать быстрее, если вы все сделаете правильно.

Давным-давно бесплатные каталоги блогов засоряли цифровой ландшафт. Существовали буквально сотни — если не тысячи — этих сайтов, и большинство из них практически не представляли никакой ценности для читателей блогов.

Проблема качества стала настолько серьезной, что в 2012 году Google удалил многие бесплатные каталоги сайтов из своего индекса, должным образом снизив рейтинг веб-страниц с низкой ценностью контента.

Moz изучил проблему, проанализировав 2678 каталогов, и пришел к заключению, что «из 2678 каталогов только 94 были забанены — не так уж и плохо.

Однако было еще 417 дополнительных каталогов, которые избежали блокировки, но были наказаны ».

Так что же ответ?

Если вы собираетесь отправлять в каталоги, убедитесь, что вы отправляете только в авторитетные каталоги с достойным рейтингом.

Списки лучших каталогов, составленные отраслевыми и авторитетными блогами, могут помочь вам отделить хорошее от плохого, но убедитесь, что список, который вы используете, актуален.

Например, этот от Harsh Agrawal был обновлен совсем недавно, в 2019 году.

Другие варианты, которые вы, возможно, захотите изучить, — это TopRank, на котором есть огромный список сайтов, на которые вы можете отправить свой RSS-канал и блог; Technorati, который является одним из лучших каталогов блогов; и — после того, как вы опубликовали приличное количество высококачественного контента — субдомен Alltop для вашей ниши или отрасли.

Отправка на высококачественные сайты с приличными рейтингами авторитета домена может не только открыть ваш контент для совершенно новой аудитории, но также предоставить входящие ссылки, которые могут подтолкнуть поисковые системы к сканированию и индексации вашего сайта.

Самый простой способ разместить свой сайт сразу в нескольких каталогах — воспользоваться бесплатным сервисом Ping O Matic.

Ping O Matic уведомляет каталоги о том, что ваш веб-сайт изменился и что они должны его проиндексировать. Это займет около 30 секунд, и вот как это сделать.

Введите название вашего блога, URL-адрес домашней страницы и URL-адрес RSS (если он у вас есть), как это. В разделе Services to Ping выберите каталоги, которые подходят для вашего сайта:

Нажмите «Отправить пинг», и все готово.

Шаг 16. Часто проверяйте ошибки сканирования Google

Этот шаг действительно важен для поддержания частоты индексирования. Я люблю проверять свои веб-сайты на наличие ошибок сканирования хотя бы раз в месяц.

Чтобы проверить наличие ошибок сканирования, откройте Search Console.

Слева нажмите «Настройки»> «Статистика сканирования»> «Открыть отчет».

На странице статистики сканирования вы можете узнать, как часто Google индексирует ваш веб-сайт, и это определенно то, за чем нужно следить.

Например, если мои результаты растут, это означает, что Google теперь индексирует меня чаще — это хорошо. Но если ваш график имеет тенденцию к снижению, это может быть признаком того, что вам нужно опубликовать больше контента или отправить новую карту сайта.

Затем посмотрите в разделе «Индекс» и нажмите «Покрытие».

На этом экране отображаются все ошибки, с которыми робот Googlebot столкнулся при сканировании вашего сайта, например ошибки 404.

Вот то, что вам следует отслеживать хотя бы раз в месяц:

• Ошибки сканирования
• Среднее время отклика
• Статистика сканирования

Еще один отличный инструмент, которым можно воспользоваться, — это тестер структурированных данных.Google использует структурированные данные, чтобы лучше понять, о чем ваш сайт.

Структурированные данные в основном означают, что вы предоставляете Google релевантную информацию, чтобы помочь ответить на вопросы пользователей.

Вот пример. Я искал концерты рядом со мной.

Этот веб-сайт использовал структурированные данные, чтобы сообщить Google, что эти списки будут полезны для меня, и они отображаются под своим обычным заголовком и описанием страницы SEO.

Так как вы это тоже получили?

Он довольно продвинутый, так что это может быть еще один элемент, который вы захотите передать на аутсорсинг разработчику.

Вы можете увидеть все варианты структурированных данных в галерее поиска Google.

У Google также есть упрощенный инструмент, который помогает людям, не являющимся разработчиками, добавлять структурированные данные на свои сайты. Перейдите в Помощник по разметке структурированных данных и введите информацию о своем веб-сайте.

Затем вам просто нужно выделить элемент на веб-странице, который вы хотите преобразовать в структурированные данные.

Из всплывающего меню вы можете добавить такие атрибуты, как Автор, Дата публикации, Изображение, URL, Текст статьи и т. Д.

Если вы внедрили структурированные данные, вы можете использовать инструмент тестирования для их проверки.

Опять же, это довольно сложный процесс, поэтому, если вы не разработчик, вероятно, лучше всего нанять профессионала, который позаботится об этом за вас.

Шаг 17. Убедитесь, что страницы, которые не следует индексировать, не

Есть некоторые страницы, которые вы не хотите, чтобы Google или другие поисковые системы индексировали. Вот страницы, которые вы не хотите показывать в поиске:

Страницы с благодарностью: Обычно это страницы, на которые кто-то попадает после подписки на ваш список рассылки или загрузки электронной книги.Вы же не хотите, чтобы люди проходили мимо очереди и сразу переходили к товарам! Если эти страницы будут проиндексированы, вы можете потерять потенциальных клиентов, заполнивших вашу форму.

Дублированное содержание: Если какие-либо страницы вашего сайта имеют повторяющееся содержание или немного отличаются, например, страница, для которой вы проводите A / B-тест, вы не хотите, чтобы это индексировалось.

Скажем, например, у вас есть две страницы с одинаковым содержанием на вашем сайте. Возможно, это связано с тем, что вы проводите сплит-тестирование визуальных элементов своего дизайна, но содержание двух страниц совершенно одинаково.

Дублированный контент, как вы, наверное, знаете, потенциально может стать проблемой для SEO. Итак, одно из решений — использовать файл robots.txt, чтобы поисковые системы игнорировали один из них.

Вот как сделать так, чтобы страницы, которые вы хотите исключить, не индексировались.

Вариант 1. В вашем файле robots.txt

Помните тот файл robots.txt, который мы создали на шаге 10? Вы можете добавить в него директивы, чтобы поисковые системы не индексировали файл или весь каталог. Это может быть удобно, если вы хотите убедиться, что целый раздел вашего сайта остается неиндексированным.

Чтобы добавить это, откройте файл robots.txt.

См. Шаг 10, чтобы узнать, как это сделать, если вам нужно напомнить.

Чтобы заблокировать индексирование страницы, введите этот код в файл robots.txt.

Запретить: / nameoffolder /

Блокирует все в этой папке. В качестве альтернативы вы можете просто заблокировать один файл.

Запрещено: /folder/filename.html

Сохраните его, повторно загрузите на свой сервер и все. Для получения дополнительной информации о robots.txt, посетите robotstxt.org.

Вариант 2. Используйте ссылки nofollow или noindex

Этот вариант очень прост. Когда вы создаете ссылку на своем сайте, просто добавьте тег nofollow или noindex к ссылке .

Во-первых, давайте рассмотрим, что они означают.

Nofollow: Указывает Google не сканировать ссылки на этой странице.

Это означает, что если я перейду на ваш сайт с neilpatel.com и использую ссылку nofollow, ни один из моих ссылок (или авторитет домена) не будет передан вам.

Noindex: Указывает Google не индексировать страницу, даже если паук ее видит. Он не будет добавлен в результаты поиска.

Вы можете использовать оба одновременно.

Вот пример.

Если вы делаете ссылку на специальную целевую страницу мероприятия, которое проводите только для VIP-персон, и не хотите, чтобы эта страница отображалась в результатах поиска, вы должны указать ссылку на нее с помощью тега noindex.

Это будет выглядеть так: Посмотрите мой супер крутое событие .

Даже если люди будут искать в Google «супер крутое мероприятие Нила», эта страница не появится.

(Вы, однако, получите много вариантов концертов, посвященных памяти Нила Даймонда.)

Чаще всего вам понадобится тег noindex. Обычно вы хотите использовать nofollow только для партнерских ссылок, ссылок, за создание которых вам кто-то заплатил, или для которых вы получаете комиссию. Это потому, что вы не хотите «продавать ссылки».

Когда вы добавляете nofollow, он сообщает Google не передавать полномочия вашего домена этим источникам.По сути, он защищает Интернет от повреждений, когда дело доходит до ссылок.

Если вы хотите, чтобы вся страница была исключена из результатов поиска из всех источников, вместо того, чтобы просто включать теги nofollow или noindex в свои ссылки, выполните следующие действия.

Сначала откройте HTML-код страницы.

Если вы используете CMS (систему управления контентом), такую ​​как WordPress, вы можете отредактировать этот файл с помощью Yoast, чтобы добавить тег noindex.

Если у вас нет такой CMS, как WordPress, вы можете загрузить страницу, которую нужно отредактировать, через FTP.

Не знаете, как использовать FTP? Вернитесь к шагу 2, где я это объясню!

Нажмите на страницу, которую хотите исключить из результатов поиска, и загрузите ее.

Откройте его в текстовом редакторе. Блокнот для Windows или TextEdit на Mac отлично подходят для этого. Найдите тег, например:

Прямо перед этим тегом вы хотите вставить ОДИН из следующих фрагментов кода.

Если вы хотите, чтобы страница была исключена из результатов поиска, но по-прежнему переходила по ссылкам на странице, используйте:

Если вы хотите, чтобы страница включалась в результаты поиска, но чтобы Google не переходил по ссылкам на странице, используйте:

И, если вы хотите, чтобы страница была исключена из поиска И чтобы Google не переходил по ссылкам, используйте:

Как это:

Шаг 18. Составьте план обновления старого содержимого

Итак, что мы узнали об индексировании?

Каждый раз, когда вы обновляете свой веб-сайт, Google хочет сканировать его чаще.

Отличный способ заработать на этом — составить план регулярного обновления старого контента.

Именно этим я сейчас и занимаюсь с этим мега-сообщением!

Этот пост был первоначально опубликован в 2015 году, и я стараюсь обновлять его по крайней мере каждые несколько месяцев или, когда происходят серьезные изменения в Google, чтобы поддерживать его в актуальном состоянии.

Информация быстро устаревает, особенно в быстро меняющемся мире маркетинга. Каждый месяц я составляю список своих старых постов и выбираю несколько, чтобы обновить их свежей информацией и советами.Редактируя хотя бы несколько сообщений в месяц, я гарантирую, что мой контент останется актуальным и полезным.

Для максимального увеличения скорости индексирования старайтесь обновлять свой веб-сайт не реже трех раз в неделю. Этими тремя вещами могут быть публикация одного нового сообщения в блоге и обновление содержимого двух старых сообщений.

Обновление по крайней мере три раза в неделю говорит Google, что лучше проверять у вас почаще, чтобы убедиться, что на нем установлена ​​последняя версия вашего сайта.

Вся эта индексация и новая информация означает, что обновление ваших старых сообщений может увеличить ваш органический поисковый трафик на 111%!

Вот несколько простых способов обновить старый контент.

Проверьте устаревшие факты или термины: Например, в этом сообщении упоминались Инструменты Google для веб-мастеров, которые теперь называются Search Console.

Ссылка на свежие источники информации: Если вы написали сообщение о SEO в 2013 году и использовали данные того же года в своем сообщении, тогда это нормально, но не в 2017 году. Обновите свои оценки и вспомогательную информацию, чтобы они были свежими.

Неработающие ссылки / новые ссылки: Проверьте неработающие ссылки и исправьте их, или при необходимости измените любые ссылки в вашем сообщении на более качественные источники.Например, я могу перенаправить старые ссылки на свежий, новый контент на моем собственном сайте.

Ссылка на другой ваш контент: Включите ссылки на новые сообщения или соответствующий контент, который вы опубликовали после исходного сообщения. Большинство блогеров делают это так:

Связанный: SEO мертв?

Обновите свои точки зрения: Это важно. Просмотрите старые сообщения и обновите свои рекомендации до более актуальных, если необходимо. Вещи меняются! То же самое и с решениями, которые вы предлагаете людям.

Заключение

Надеюсь, вам понравилось это подробное руководство по индексации вашего сайта!

Я знаю, что это очень важно. Я и половины этого не знал, когда начал вести блог.

В моем первом блоге я установил Google Analytics, и все!

Конечно, тогда у нас не было столько возможностей для улучшения нашего SEO-рейтинга или индексации, и это не управлялось сложным алгоритмом, как сейчас.

Вот почему я написал это руководство.При запуске нового веб-сайта так важно изучить SEO и индексацию, особенно в условиях всей конкуренции.

Можно занять место на первой странице и «победить больших парней», но для этого требуется много работы и исследований.

Лучший совет, который у меня есть:

Продолжайте учиться и будьте в курсе новостей отрасли. Все меняется так быстро, особенно когда дело касается поисковых систем.

Изучите SEO и перепроверьте любой новый предложенный метод с помощью собственного независимого исследования, прежде чем пробовать его.

Убедитесь, что вы часто обновляете свой сайт — не только с новым содержанием, но и с обновлением старых сообщений. Это заставляет Google возвращаться, чтобы часто сканировать ваш сайт, и сохраняет эти сообщения актуальными для новых посетителей.

Затем составьте план цифрового маркетинга.

Запишите план контент-маркетинга, включая то, как вы будете отслеживать индексирование, аналитику и как вы будете обновлять старую информацию на своем сайте. Для меня не было бы возможности расти так быстро, как я, без письменного плана.

Наконец, получите профессиональную помощь в области SEO, если она вам нужна. Не у всех владельцев бизнеса есть время, чтобы оставаться на вершине маркетинга, тем более, что он так быстро меняется. Профессионал часто может получить результаты намного быстрее — и фактически сэкономить ваши деньги в долгосрочной перспективе.

Какую тактику сканирования и индексирования вы пробовали? Каковы были ваши результаты?

Узнайте, как мое агентство может привлечь огромное количество трафика на ваш веб-сайт

• SEO — разблокируйте огромное количество SEO-трафика.Смотрите реальные результаты.
• Контент-маркетинг — наша команда создает эпический контент, которым будут делиться, получать ссылки и привлекать трафик.
• Paid Media — эффективные платные стратегии с четкой окупаемостью инвестиций.

Заказать звонок

Снизить скорость сканирования роботом Googlebot | Центр поиска Google

У Google есть сложные алгоритмы для определения оптимальной скорости сканирования сайта. Наша цель сканировать как можно больше страниц вашего сайта при каждом посещении, не перегружая ваш пропускная способность сервера.В некоторых случаях сканирование вашего сайта Google может вызывать критические нагрузка на вашу инфраструктуру или вызовет нежелательные затраты во время простоя. Чтобы облегчить это, вы может принять решение уменьшить количество запросов, отправляемых роботом Googlebot.

Предупреждение : при рассмотрении возможности сокращения сканирования роботом Googlebot оцените, имейте в виду, что это будет иметь широкий эффект. Робот Google будет открывать меньше новых страниц, существующие страницы будут обновляться реже (например, цены и товар доступность может занять больше времени, чтобы отобразить его в поиске), а удаленные страницы могут остаться в индексировать дольше.

Если вы решите снизить скорость сканирования робота Googlebot, вот несколько вариантов:

Уменьшите скорость сканирования с помощью Search Console (рекомендуется)

Чтобы быстро снизить скорость сканирования, вы можете изменить скорость сканирования Googlebot в Search Console. Изменения, внесенные в этот параметр обычно отражаются в течение нескольких дней. Чтобы использовать этот параметр, сначала проверять владение вашим сайтом. Убедитесь, что вы не устанавливаете слишком высокую скорость сканирования. низкий для нужд вашего сайта.Узнать больше о чем сканирование бюджета означает для робота Googlebot.

Разрешить Google автоматически снижать скорость сканирования

Если вам нужно срочно снизить скорость сканирования на короткое время (например, пара часов или 1-2 дня), а затем вернуть информационную ошибку страница с кодом результата HTTP 500, 503 или 429 вместо всего содержимого. Робот Google сокращает ваши скорость сканирования сайта, когда он встречает значительное количество URL-адресов с 500, 503 или 429 HTTP коды результатов (например, если вы отключили Ваш сайт).Изменение отражается как на сканировании URL-адресов. которые возвращают эти ошибки, а также веб-сайт в целом. Когда-то количество количество этих ошибок уменьшится, скорость сканирования снова автоматически начнет увеличиваться.

Предупреждение : Мы не рекомендуем делать это надолго период времени (то есть более 1-2 дней). Если робот Googlebot обнаруживает эти коды состояния на один и тот же URL-адрес в течение нескольких дней, он может исключить URL-адрес из индекса Google.

Как поисковые роботы Google индексируют ваш сайт

Перед тем, как начать поиск, поисковые роботы собирают информацию с сотен миллиардов веб-страниц и систематизируют ее в поисковом индексе.

Процесс сканирования начинается со списка веб-адресов из прошлых сканирований и карт сайта, предоставленных владельцами веб-сайтов. Когда наши сканеры посещают эти веб-сайты, они используют ссылки на этих сайтах для обнаружения других страниц. Программа уделяет особое внимание новым сайтам, изменениям существующих сайтов и мертвым ссылкам. Компьютерные программы определяют, какие сайты сканировать, как часто и сколько страниц загружать с каждого сайта.

Мы предлагаем Search Console, чтобы предоставить владельцам сайтов детальный выбор способа сканирования их сайта Google: они могут предоставить подробные инструкции о том, как обрабатывать страницы на своих сайтах, могут запросить повторное сканирование или могут полностью отказаться от сканирования с помощью файла под названием robots.текст». Google никогда не принимает оплату за более частое сканирование сайта — мы предоставляем одни и те же инструменты для всех веб-сайтов, чтобы обеспечить наилучшие результаты для наших пользователей.

Поиск информации путем сканирования

Интернет похож на постоянно растущую библиотеку с миллиардами книг и без центральной файловой системы. Мы используем программное обеспечение, известное как веб-сканеры, для обнаружения общедоступных веб-страниц. Сканеры просматривают веб-страницы и переходят по ссылкам на них, как если бы вы просматривали контент в Интернете.Они переходят от ссылки к ссылке и возвращают данные об этих веб-страницах на серверы Google.

Организация информации путем индексации

Когда сканеры находят веб-страницу, наши системы обрабатывают ее содержимое, как и браузер. Мы принимаем во внимание ключевые сигналы — от ключевых слов до актуальности веб-сайта — и отслеживаем все это в поисковом индексе.

Индекс поиска Google содержит сотни миллиардов веб-страниц и имеет размер более 100 000 000 гигабайт.Это похоже на указатель в конце книги — с записью для каждого слова, встречающегося на каждой веб-странице, которую мы индексируем. Когда мы индексируем веб-страницу, мы добавляем ее к записям для всех содержащихся на ней слов.

С помощью Сети знаний мы продолжаем выходить за рамки соответствия ключевых слов, чтобы лучше понимать людей, места и вещи, которые вам небезразличны. Для этого мы организуем не только информацию о веб-страницах, но и другие типы информации.Сегодня Google Search может помочь вам найти текст в миллионах книг из крупных библиотек, узнать время в пути из вашего местного агентства общественного транспорта или помочь вам ориентироваться в данных из общедоступных источников, таких как Всемирный банк.

8 способов быстро проиндексировать ваши страницы в Google // WEBRIS

Если страница не находится в индексе Google, вероятность того, что она получит обычный трафик, составляет 0%.

Если говорить упрощенно, индексирование

— это шаг 2 в процессе ранжирования Google:

1. Ползание
2. Индексирование
3. Рейтинг

Эта статья посвящена тому, как заставить Googlebot индексировать больше страниц на вашем сайте быстрее.

Украдите наш план SEO

Получите БЕСПЛАТНУЮ копию нашей книги-бестселлера The SEO Blueprint. Напишите письмо, мы сразу же его отправим.

Как проверить, проиндексированы ли ваши страницы Google

Первый шаг — понять, каков уровень индексации вашего веб-сайта.

Коэффициент индексации = количество страниц в индексе Google / количество страниц вашего сайта

Вы можете узнать, сколько страниц ваш веб-сайт проиндексировал, в отчете Google Search Console о статусе индексации.

Если вы видите ошибки или большое количество страниц вне индекса:

• В вашей карте сайта могут быть неиндексируемые URL-адреса (т. Е. Страницы, настроенные на NOINDEX, заблокированные через robots.txt или требующие входа пользователя)
• На вашем сайте может быть большое количество «некачественных» или повторяющихся страниц, которые Google считает недостойными
• Вашему сайту может не хватить «авторитета», чтобы оправдать все страницы

Подробности можно найти в таблице ниже (это замечательная новая функция в обновленной консоли поиска Google).

Как проиндексировать страницы вашего сайта

Ненавижу быть клише, но вам действительно нужно предоставить правильный интерфейс, чтобы привлечь внимание Google. Если ваш сайт не соответствует рекомендациям Google в отношении доверия, авторитета и качества, эти советы, скорее всего, вам не подойдут.

С учетом сказанного, вы можете использовать эту тактику для улучшения индексации вашего сайта.

1. Использовать «Выбрать как Google»

Google Search Console имеет функцию, позволяющую вводить URL-адрес для Google для «Fetch».После отправки робот Googlebot посетит вашу страницу и проиндексирует ее.

Вот как это сделать…

• Войти в Google Search Console
• Перейти к сканированию и загрузке как Google
• Возьмите URL, который вы хотите проиндексировать, и вставьте его в строку поиска
• Нажмите кнопку Получить
• После того, как Google найдет URL, нажмите Отправить в индекс

Предполагая, что страница индексируется, она будет загружена в течение нескольких часов.

2. Используйте внутренние ссылки

Поисковые системы перемещаются со страницы на страницу по ссылкам HTML.

Изображение предоставлено

Мы можем использовать авторитетные страницы на вашем сайте, чтобы привлечь внимание других. Мне нравится использовать отчет Ahrefs «Лучшие страницы по ссылкам».

В этом отчете указаны наиболее авторитетные страницы моего сайта — я могу просто добавить отсюда внутреннюю ссылку на страницу, которая требует справедливости.

Важно отметить, что две взаимосвязанные страницы должны быть релевантными — не рекомендуется связывать несвязанные страницы вместе.

Прочтите мое руководство по разрозненным хранилищам внутренних ссылок

3. Блокировать страницы низкого качества из индекса Google

Хотя контент является краеугольным камнем качественного веб-сайта, неправильный контент может стать вашей кончиной. Слишком много страниц низкого качества может снизить количество сканирований, индексации и ранжирования вашего сайта Google.

По этой причине мы хотим периодически «обрезать» наш веб-сайт, удаляя ненужные страницы.

Страницы, не представляющие никакой ценности, должны быть:

• Установить NOINDEX .Когда страница все еще имеет ценность для вашей аудитории, но не для поисковых систем (например, страницы с благодарностью, платные целевые страницы и т. Д.).
• Заблокировано сканированием через файл Robots.txt . Когда весь набор страниц имеет ценность для вашей аудитории, но не для поисковых систем (например, архивы, пресс-релизы).
• 301 перенаправлено . Когда страница не имеет ценности для вашей аудитории или поисковых систем, но имеет существующий трафик или ссылки (подумайте о старых сообщениях в блогах со ссылками).
• Удален (404) .Когда страница не имеет ценности для вашей аудитории или поисковых систем и не имеет существующего трафика или ссылок.

Мы создали инструмент для аудита контента, который поможет вам в этом процессе.

4. Включите страницу в карту сайта

Ваша карта сайта — это руководство, которое поможет поисковым системам понять, какие страницы вашего сайта важны.

Наличие страницы в вашей карте сайта НЕ гарантирует индексацию, но отсутствие важных страниц приведет к снижению индексации.

Если ваш сайт работает на WordPress, невероятно легко настроить и отправить карту сайта с помощью плагина (мне нравится Yoast).

Подробнее о создании карты сайта

После того, как ваша карта сайта создана и отправлена ​​в GSC, вы можете просмотреть ее в отчете о файлах Sitemap.

Дважды проверьте, включены ли все страницы, которые вы хотите проиндексировать. Трижды проверьте, НЕ включены ли все страницы, которые вы НЕ хотите индексировать.

5.Поделиться страницей в Twitter

Twitter — мощная сеть, которую Google регулярно сканирует (они также индексируют твиты).

Поделиться своим контентом в социальных сетях — не проблема, но это также простой способ подтолкнуть Google.

6. Делитесь страницей на сайтах с высокой посещаемостью

Сайты, такие как Reddit и Quora, являются популярными сайтами, которые позволяют размещать ссылки. Я регулярно продвигаю недавно опубликованные страницы на Quora — это помогает с индексацией, но также может привлечь кучу трафика.

Если вам лень (и вы в серой шляпе), вы можете купить «социальные сигналы» на таких сайтах, как Fiver.

7. Закрепите внешние ссылки на страницу

Как упоминалось ранее, Google сканирует со страницы на страницу с помощью HTML-ссылок.

Получение ссылок на ваш сайт с других сайтов — это не только огромный фактор ранжирования, но и отличный способ повысить индексирование вашего сайта.

Самых простых способов получить ссылки:

• Гостевой пост на актуальном авторитетном сайте
• Найдите подходящих блоггеров или медиа-сайты и отправьте запрос на рекламу

Это сильно упрощено — вы можете проверить мою лучшую тактику построения ссылок для получения дополнительных идей.

8. «Пинг» ваш сайт

таких сайтов, как Ping-O-Matic, которые отправляют «пинги» поисковым системам, чтобы уведомить их об обновлении вашего блога.

Честно говоря, это не лучший метод, но он быстрый, бесплатный и простой в использовании

Дополнительные ссылки:

Как заставить Google индексировать ваш сайт

Кратко о том, как попасть в индекс Google

Процесс индексирования Google сложен, многие этапы влияют друг на друга.

Чтобы заставить их быстро проиндексировать ваш веб-сайт, вам нужно убедиться, что нет никаких препятствий, мешающих индексации Google.

Во-вторых, сделайте все возможное, чтобы уведомить Google о том, что у вас есть свежий контент и вы хотите, чтобы ваш сайт был проиндексирован. Имейте в виду, что качество вашего контента и отсутствие внутренних ссылок могут помешать процессу индексации.

Наконец, повысьте популярность своего веб-сайта за счет создания внешних ссылок на него и привлечения людей к обсуждению вашего контента в социальных сетях.

Если вашего контента нет в Google, существует ли он вообще?

Чтобы ваш веб-сайт был виден в доминирующей поисковой системе, его сначала необходимо проиндексировать. В этой статье мы покажем вам, как заставить Google быстро и эффективно проиндексировать ваш сайт и какие препятствия следует избегать.

Коротко об индексировании Google

Прежде чем углубляться в то, как индексировать ваш сайт, давайте рассмотрим упрощенное объяснение того, как работает процесс индексирования Google.

Индекс

Google можно сравнить с огромной библиотекой — она ​​больше, чем все библиотеки мира вместе взятые!

Индекс содержит миллиарды и миллиарды страниц, из которых Google выбирает наиболее релевантные, когда пользователи делают поисковые запросы.

При таком большом количестве контента, который постоянно меняется, Google должен постоянно искать новый контент, контент, который был удален, и контент, который обновлялся — и все это для поддержания актуальности индекса.

Чтобы Google оценил ваш сайт, он сначала должен пройти следующие три этапа:

1. Discovery : обрабатывая карты сайта XML и переходя по ссылкам на других страницах, о которых Google уже знает, поисковая машина обнаруживает новых и обновленных страниц и ставит их в очередь для сканирования.

2. Сканирование : затем Google переходит к сканированию каждой обнаруженной страницы и передает всю найденную информацию процессам индексации.

3. Индексирование : Среди прочего, процессы индексирования обрабатывают анализ контента, отображают страницы и определяют, нужно ли их индексировать.

Взаимосвязанность системы индексирования Google

Процесс индексирования Google очень сложен, с множеством взаимозависимостей между этапами, включенными в этот процесс.Если какая-то часть потока выходит из строя, это влияет и на другие фазы.

Например, 10 августа 2020 года SEO-сообщество заметило шквал изменений в рейтинге результатов поиска. Многие утверждали, что это означает, что Google выпускает значительное обновление. Но на следующий день Google объявил, что на самом деле это было вызвано ошибкой в ​​их системе индексации, которая повлияла на ранжирование:

Чтобы пролить свет на сложность и взаимосвязь процесса индексирования, Гарри Илес объяснил рабочий процесс с кофеином в ветке Twitter:

Этот твит предполагает, что ошибка на этапе индексации может сильно повлиять на последующий процесс — в данном случае испортить систему ранжирования.

Наряду с этим событием важно отметить, что в мае 2020 года Google претерпела обширное обновление ядра, которое повлияло на процесс индексации. С тех пор Google стал медленнее индексировать новый контент и стал более разборчивым в отношении контента, который решает проиндексировать. Кажется, что его процесс качественной фильтрации стал намного строже, чем раньше.

Полезные ресурсы

Как проверить, проиндексировал ли Google ваш сайт?

Есть несколько быстрых способов проверить, проиндексировал ли Google ваш веб-сайт, или они все еще застряли на предыдущих этапах обнаружение и сканирование .

Отзыв из Google Search Console

Воспользуйтесь отчетом об индексировании в Google Search Console, чтобы получить быстрый обзор статуса индексирования вашего веб-сайта. В этом отчете содержится обратная связь с более подробной технической информацией о процессе сканирования и индексирования вашего сайта.

Отчет возвращает четыре типа статусов:

1. Действителен : эти страницы были успешно проиндексированы.
2. Действительно с предупреждениями : эти страницы проиндексированы, но есть некоторые проблемы, которые вы, возможно, захотите исправить.
3. Исключено : эти страницы не были проиндексированы, поскольку Google уловил четкие сигналы о том, что их не следует индексировать.
4. Ошибка : Google по какой-то причине не может проиндексировать эти страницы.

Проверка отчета об индексном покрытии вашего веб-сайта

1. Войдите в Google Search Console.
2. Выберите недвижимость.
3. Щелкните Покрытие под индексом на левой панели навигации.

Вот пример того, как выглядит отчет об индексировании для большого веб-сайта:

Отчет об индексировании позволяет быстро проверить общий статус индексирования вашего сайта, а также вы можете использовать инструмент проверки URL в Google Search Console для увеличения отдельных страниц.

Проверьте свой URL в Google Search Console

1. Войдите в Google Search Console.
2. Выберите недвижимость.
3. Отправьте URL-адрес веб-сайта, который хотите проверить.

Далее вы увидите что-то вроде этого:

Если инструмент проверки URL показывает, что URL еще не проиндексирован, вы можете использовать тот же инструмент для запроса индексации.

FAQ

Проверьте кеш URL

Проверьте, есть ли у вашего URL кешированная версия в Google, набрав cache: https: // example.com в Google или в адресную строку, или щелкнув маленькую стрелку, указывающую вниз под URL-адресом в поисковой выдаче.

Если вы видите результат, Google проиндексировал ваш URL. Вот пример для одной из наших статей:

Дата, указанная на снимке экрана, относится к последней индексации веб-сайта. Имейте в виду, что в нем ничего не говорится о том, когда сканировали в последний раз. Как отметил в своем твите Гарри Илес, веб-сайт мог быть просканирован снова без индексации обновлений Google.

В то же время проверка кеша URL-адресов тоже не является надежной — вы можете увидеть кешированную страницу, даже если — тем временем — страница была удалена из индекса Google.

Если он ранжируется, он имеет индекс

.

Еще один способ проверить, проиндексированы ли ваши страницы, — это проверить, ранжируются ли они, с помощью средства отслеживания рейтинга или просто проверив данные об эффективности Google Search Console, чтобы узнать, получаете ли вы клики и показы:

Используйте данные о производительности для определения статуса индекса

1. Войдите в Google Search Console.
2. Выберите недвижимость.
3. Нажмите Результаты поиска ниже Производительность слева.
4. Здесь отфильтруйте страницу, которую вы ищете, щелкнув фильтр вверху. По умолчанию он открывается с настройкой URL-адресов, содержащих . Введите URL-адреса, которые вы ищете.

Далее вы увидите что-то вроде этого:

Поиск точного заголовка страницы или URL-адреса

В качестве альтернативы, чтобы узнать, проиндексирована ли страница, вы можете выполнить поиск по точному заголовку страницы, заключив его в кавычки ( «Заголовок вашей страницы» ), используйте оператор поиска intitle: с заголовком вашей страницы ( intitle : "Название вашей страницы" ) или просто введите URL-адрес в Google.

сайт: запросы

Вы также можете проверить, проиндексирована ли ваша страница, с помощью запроса site: для страницы. Вот пример: ввод site: https: //www.contentkingapp.com/academy/control-crawl-indexing/ может показать, проиндексирована ли эта страница.

Однако такой подход не всегда надежен!

Мы видели случаи, когда страницы ранжируются, но не отображаются для сайта : запросов. Так что никогда не полагайтесь только на эту проверку.

Как заставить Google быстро проиндексировать ваш сайт

Чтобы ваш веб-сайт проиндексировал Google, вам нужно избавиться от любых препятствий, которые могут помешать Google его проиндексировать.

Во-вторых, вы должны упростить поиск вашего контента для Google с помощью push-уведомлений. Помните, что Google всегда стремится предоставлять своим пользователям высококачественный контент, чтобы адекватно отвечать на их запросы. Убедитесь, что ваш контент соответствует этим требованиям.

Наконец, повысьте популярность вашего контента, получая обратные ссылки и заставляя людей говорить о вашем контенте в социальных сетях.

1. Предотвратить влияние директив роботов на индексирование

Распространенная причина, по которой Google не индексирует ваш контент, связана с директивой noindex для роботов. Хотя эта директива помогает предотвратить проблемы с дублированием контента, она дает Google мощный сигнал не индексировать определенные страницы вашего веб-сайта. Директивы мета-роботов могут быть реализованы через источник HTML и заголовок HTTP.

В исходном HTML-коде метатег роботов может выглядеть примерно так:

.

Реализуйте их только на страницах, которые вы определенно не хотите индексировать, и в случае, если страница, которую вы хотите проиндексировать, имеет проблемы с индексированием, дважды проверьте, не реализована ли директива noindex.

Обнаружение неиндексированного контента в режиме реального времени

Получайте мгновенные уведомления о любых важных страницах, которые не индексируются. Больше никаких SEO-сюрпризов!

2. Правильно настройте канонические теги

Хотя канонические теги не являются таким сильным сигналом, как директива мета-роботов, их неправильное использование может привести к проблемам с индексированием.Убедитесь, что страницы, которые вы хотите проиндексировать, не канонизированы.

Одна вещь, которую я видел, — это сайты, которые настолько увлечены обеспечением канонизации своих страниц, что в конечном итоге канонизируются на страницы, которые также отмечены как noindex .

Google нужны четкие и последовательные сигналы, поэтому канонизация вашего содержания на странице с пометкой noindex может остановить работу затронутых страниц.

3. Не запрещайте контент, который вы хотите проиндексировать

Роботы.txt — важный инструмент, который отправляет всем поисковым системам сигналы о возможности сканирования ваших URL-адресов. Его можно настроить так, чтобы Google знал, что он должен игнорировать определенные части вашего веб-сайта.

Убедитесь, что URL-адреса, которые вы хотите проиндексировать, не запрещены в robots.txt. Ошибки в файле robots.txt могут привести к тому, что новый контент и обновления контента не будут индексироваться. Имейте в виду, что любой может ошибиться в файле robots.txt — даже крупные компании, такие как Ryanair.

Чтобы проверить, какие страницы заблокированы роботами.txt, проверьте отчет «Проиндексировано, но заблокировано файлом robots.txt» в Google Search Console.

Наконечник Pro

Запрещение URL-адреса в robots.txt не обязательно означает, что сайт исчезнет из поиска Google. Веб-сайт может отображаться в поисковой выдаче, но с плохим фрагментом.

Файл robots.txt может быть простым в использовании, но он также довольно мощный с точки зрения создания большого беспорядка. Я видел много случаев, когда веб-сайты были «готовы к работе» и были запущены с помощью Disallow: / .

В результате все страницы блокируются для поисковых систем, и никто не может найти сайт через поиск Google. Тем временем клиент начинает задаваться вопросом, почему Google ничего не индексирует. Одна строка кода может пройти незамеченной и заблокировать поиск Google всего содержания вашего сайта!

4. Предотвратите ловушки сканера и оптимизируйте бюджет сканирования

Чтобы получить максимальную отдачу от сканирования вашего веб-сайта Google, избегайте создания ловушек для поисковых роботов. Ловушки поисковых роботов — это структурные проблемы на веб-сайте, в результате которых сканеры находят практически бесконечное количество нерелевантных URL-адресов, в которых сканеры могут потеряться.

Вы должны убедиться, что техническая база вашего веб-сайта соответствует требованиям, и что вы используете надлежащие инструменты, которые могут быстро обнаруживать ловушки сканера, на которые Google может тратить ваш ценный краулинговый бюджет.

Самая большая причина ловушек для поисковых роботов на веб-сайтах сегодня связана с фасетной навигацией и фильтрами по цене или размеру (особенно если вы можете выбрать несколько). Если вы не скрываете эти URL-адреса от Google, вы можете легко создать миллионы дополнительных URL-адресов всего с нескольких страниц.Помните, что Google может переходить как по обычным ссылкам, так и по ссылкам JavaScript, и что URL-адреса чувствительны к регистру.

Мой совет: убедитесь, что все варианты URL, которые необходимо заблокировать, действительно заблокированы!

5. Загрузите индексируемый контент Google через карту сайта XML

Убедившись, что с вашей стороны нет блокировки, вы должны упростить для Google обнаружение ваших URL-адресов и понимание инфраструктуры вашего веб-сайта в целом. Карты сайта XML — отличный способ сделать это.

Весь недавно опубликованный или обновленный контент, который необходимо проиндексировать, должен автоматически добавляться в ваши XML-карты сайта. Чтобы Google упростил поиск вашего контента, отправьте свои XML-файлы Sitemap в Google Search Console.

1. Войдите в Google Search Console.
2. Выберите свойство, для которого вы хотите отправить карту сайта.
3. Нажмите Карты сайта под Индекс слева.
4. Отправьте URL-адрес XML-файла Sitemap.

Затем Google будет регулярно проверять предоставленную вами карту сайта в формате XML на предмет нового содержания, чтобы обнаруживать, сканировать и, надеюсь, индексировать.

Наконечник Pro

Если у вас большой веб-сайт, имейте в виду, что файлы Sitemap XML должны быть ограничены до 50 000 URL. Лучше создать больше XML-файлов Sitemap с меньшим количеством URL в каждой, чем превышать этот предел.

Оливер Мейсон описал стратегию XML-карты сайта (открывается в новой вкладке), в которой он ограничил количество URL-адресов до 10 000 и упорядочил их в хронологическом порядке — с помощью карты сайта 1.xml , содержащий самые старые страницы, и sitemap14.xml , содержащий самые последние страницы.

Это привело к улучшению индексации. Кажется, это окупается, если нужно кормить Google меньшим количеством URL-адресов и группировать новый контент вместе.

Мой лучший способ быстро проиндексировать что-либо — это всегда проверять сайт в Search Console и затем отправлять туда XML-карту сайта.

Всегда следите за тем, чтобы в вашей XML-карте сайта были все страницы, которые вы хотите проиндексировать, и убедитесь, что они организованы таким образом, чтобы Google мог их читать — с помощью индексов карты сайта, если это необходимо.

Для меня это был лучший способ постучать в дверь Google, чтобы сообщить им, что они могут путешествовать по веб-сайту как можно скорее и сканировать / индексировать все, что там находится, и вы всегда можете проверить, когда оно было отправлено и когда оно было прочитано в последний раз Google.

6. Вручную отправьте свои URL-адреса в Google Search Console

.

Хотя Google будет обнаруживать, сканировать и потенциально индексировать ваши новые или обновленные страницы самостоятельно, он все равно платит за то, чтобы дать ему толчок, отправив URL-адреса в Google Search Console.Таким образом, вы также можете ускорить процесс ранжирования.

Вы можете отправить свои URL-адреса в инспекторе URL-адресов GSC:

1. Войти в Google Search Console
2. Выберите веб-сайт, для которого вы хотите отправить URL
3. Отправить URL в верхнюю часть консоли поиска Google
4. Убедитесь, что URL-адрес индексируется, нажав кнопку TEST LIVE URL .
5. Нажмите кнопку ЗАПРОС ИНДЕКСА .
6. Сделайте то же самое для страниц, которые ссылаются на страницу, которую вы хотите проиндексировать.

Наконечник Pro

Обратите внимание, что страницы могут индексироваться, но не ранжироваться. Например, если вы запрашиваете индексацию в Google Search Console (GSC), ваши страницы будут быстро проиндексированы, но не сразу ранжируются. Однако, как правило, это ускоряет весь процесс.

7. Отправьте сообщение через Google Мой бизнес

.

Отправка сообщения через Google Мой бизнес дает Google дополнительный толчок для сканирования и индексации URL-адресов, которые вы туда добавили. Мы не рекомендуем делать это только для каких-либо сообщений. Помните, что это сообщение будет отображаться на панели знаний Google Мой бизнес с правой стороны при поиске по брендам.

1. Войти в Google Мой бизнес (открывается в новой вкладке)
2. Выберите место, для которого вы хотите отправить сообщение.
3. Щелкните Create post и выберите тип What's New .
4. Добавьте фото, напишите краткое сообщение, выберите Узнать больше вариант для Добавьте кнопку (необязательно) , введите свой URL в поле Ссылка для вашей кнопки и нажмите Опубликовать .
5. Сделайте то же самое для страниц, которые ссылаются на страницу, которую вы хотите проиндексировать.

8. Автоматическое индексирование через Google Indexing API

.

Веб-сайты, на которых есть много недолговечных страниц, таких как объявления о вакансиях, объявления о мероприятиях или прямые трансляции, могут использовать Google Indexing API (открывается в новой вкладке), чтобы автоматически запрашивать у них сканирование и индексирование нового содержания и изменений содержания. Поскольку он позволяет отправлять отдельные URL-адреса, для Google это эффективный способ поддерживать их индекс в актуальном состоянии.

С помощью Indexing API вы можете

• Обновить URL: уведомить Google о новом или обновленном URL для сканирования
• Удалить URL: уведомить Google о том, что вы удалили устаревшую страницу со своего веб-сайта.
• Получить статус запроса: узнать, когда Google сканировал URL в последний раз

Хотя Google не рекомендует кормить их другими типами контента, кроме заданий и событий, мне удалось проиндексировать обычные страницы с помощью API.Я заметил одну вещь: похоже, что API работает лучше для новых страниц, чем для повторной индексации. В какой-то момент Google может применить это, но пока все работает нормально. В RankMath есть плагин (открывается в новой вкладке), который может значительно облегчить работу, но требует небольшой настройки.

9. Предоставляйте Google только высококачественный контент

Цель Google — как можно быстрее вернуть своим пользователям высококачественный контент. Поэтому всегда сосредотачивайтесь на предоставлении Google лучшего контента, который вы можете создать, чтобы повысить свои шансы на быстрое индексирование.

В условиях строгой оценки содержания Google и непрекращающейся конкуренции создание и оптимизация качественного содержания — это процесс, который никогда не прекратится.

Помимо создания нового контента, сосредоточьтесь на улучшении того, что уже есть. Обновите неэффективный контент, чтобы он давал более точные ответы потенциальным посетителям. Если на вашем веб-сайте есть некачественный или устаревший контент, подумайте о том, чтобы либо полностью удалить его, либо отговорить Google тратить на него свой драгоценный бюджет сканирования.

Наконечник Pro

Процесс удаления устаревшего, нерелевантного или просто слишком некачественного контента называется сокращением контента. Избавившись от мертвого груза, вы создаете пространство для другого контента — у которого есть потенциал — для процветания, предоставляя Google только лучшее содержание, которое может предложить ваш веб-сайт.

10. Предотвращение дублирования контента

Еще один способ превратить краулинговый бюджет Google в огромную трату — дублирование контента. Этот термин относится к очень похожему или идентичному контенту, который отображается на нескольких страницах вашего собственного веб-сайта или на других веб-сайтах.

В целом, дублированный контент может сбивать Google с толку. В принципе, Google индексирует только один URL для каждого уникального набора контента. Но поисковой системе сложно определить, какую версию индексировать, и это впоследствии отражается в их результатах поиска. И поскольку идентичные версии продолжают конкурировать друг с другом, это снижает производительность для всех из них.

Дублированный контент может стать серьезной проблемой, в основном для владельцев веб-сайтов электронной коммерции, которым необходимо найти способ сообщить Google, какие части своего веб-сайта нужно индексировать, а какие оставить скрытыми.

С этой целью вы можете использовать robots.txt disallow для фильтров и параметров или реализовать канонизированные URL-адреса. Но, как упоминалось в первой части этой статьи, будьте очень осторожны с тем, что вы реализуете, так как даже небольшое изменение может иметь негативные последствия.

11. Используйте внутренние ссылки и избегайте использования nofollow

.

Внутренние ссылки играют огромную роль в том, чтобы Google понимал тематику вашего веб-сайта и его внутреннюю иерархию. Внедряя стратегически размещенные внутренние ссылки, вы упростите для Google понимание того, о чем ваш контент и как он помогает пользователям.

Убедитесь, что вы избегаете использования атрибута rel = "nofollow" во внутренних ссылках, поскольку значение атрибута nofollow сигнализирует Google, что он не должен переходить по ссылке на целевой URL. Это также приводит к тому, что значение ссылки не передается.

Если вам нужно быстро проиндексировать новые страницы, продумайте, как вы будете на них ссылаться.

Добавление внутренних ссылок на вашу домашнюю страницу и области всего сайта, такие как верхний и нижний колонтитулы, значительно ускорит процесс сканирования и индексации.

Рассмотрите возможность создания динамических областей на своей домашней странице, в которых будет отображаться ваш последний контент, будь то запись в блоге, новостная статья или продукт.

Вы также можете использовать ссылки в мегаменю, в которых перечислены последние URL-адреса в различных таксономиях вашего сайта.

12. Создавайте релевантные обратные ссылки на ваш контент

Не будет преувеличением сказать, что построение ссылок — одна из важнейших дисциплин в этой области. По общему мнению, ссылки более чем на 50 процентов способствуют успеху вашего SEO.

С помощью входящих ссылок, часто называемых обратными ссылками, Google может обнаружить ваш веб-сайт. А поскольку ссылки также передают часть своего авторитета, вы будете индексироваться быстрее, если обратная ссылка идет с авторитетного веб-сайта, и это существенно повлияет на ваш рейтинг.

Чтобы помочь вам улучшить параметры индексации и ранжирования, вот целый список высокоэффективных стратегий построения ссылок.

13. Создавайте ажиотаж вокруг своего контента в социальных сетях

Ранее в этой статье мы упоминали, что Google стал намного строже в том, что касается того, какой контент они индексируют.Когда вы создаете ажиотаж вокруг своего контента в социальных сетях, это сигнализирует Google, что контент популярен, что ускоряет процесс индексации. Например, размещение вашего контента в Twitter вместе с несколькими популярными хэштегами действительно может помочь ускорить процесс индексации.

Вдобавок к этому, создание ажиотажа вокруг вашего контента также приведет к включению в информационные бюллетени и обратным ссылкам!

Вывод

Правильная индексация вашего сайта в Google может оказаться адской работой.Вам предстоит решать множество технических задач, а также задач, связанных с содержанием и связью с общественностью. А с недавним обновлением ядра Google в мае 2020 года индексировать новые страницы стало еще сложнее.

Но при наличии правильной стратегии и контрольного списка вы можете заставить Google индексировать наиболее важные части вашего веб-сайта и повысить эффективность SEO с помощью высоких рейтингов.

Часто задаваемые вопросы

Как работают поисковые системы: сканирование, индексирование и ранжирование | Руководство для начинающих по SEO

Чтобы определить релевантность, поисковые системы используют алгоритмы, процесс или формулу, с помощью которых хранимая информация извлекается и упорядочивается значимым образом.Эти алгоритмы претерпели множество изменений за прошедшие годы, чтобы улучшить качество результатов поиска. Google, например, вносит корректировки в алгоритм каждый день — некоторые из этих обновлений представляют собой незначительные улучшения качества, тогда как другие представляют собой обновления ядра / общих алгоритмов, развернутые для решения конкретной проблемы, например Penguin для решения проблемы ссылочного спама. Ознакомьтесь с нашей историей изменений алгоритмов Google, чтобы увидеть список подтвержденных и неподтвержденных обновлений Google, начиная с 2000 года.

Почему алгоритм меняется так часто? Google просто пытается держать нас в тонусе? Хотя Google не всегда раскрывает подробности того, почему они делают то, что они делают, мы знаем, что цель Google при корректировке алгоритмов — улучшить общее качество поиска.Вот почему в ответ на вопросы об обновлении алгоритма Google ответит примерно так: «Мы постоянно делаем качественные обновления». Это означает, что если ваш сайт пострадал после корректировки алгоритма, сравните его с рекомендациями Google по обеспечению качества или рекомендациями по оценке качества поиска, оба очень убедительны с точки зрения того, чего хотят поисковые системы.

Чего хотят поисковые системы?

Поисковые системы всегда хотели одного и того же: давать полезные ответы на вопросы поисковиков в наиболее полезных форматах.Если это правда, то почему кажется, что поисковая оптимизация сейчас отличается от прошлых лет?

Подумайте об этом как о человеке, изучающем новый язык.

Поначалу их понимание языка очень элементарное — «См. Spot Run». Со временем их понимание начинает углубляться, и они изучают семантику — значение языка и взаимосвязь между словами и фразами. В конце концов, при достаточной практике ученик знает язык достаточно хорошо, чтобы понимать нюансы, и может дать ответы даже на расплывчатые или неполные вопросы.

Когда поисковые системы только начинали изучать наш язык, было намного проще обыгрывать систему, используя уловки и тактики, которые фактически противоречили рекомендациям по обеспечению качества. Возьмем, к примеру, наполнение ключевыми словами. Если вы хотите ранжироваться по определенному ключевому слову, например «смешные анекдоты», вы можете несколько раз добавить на свою страницу слова «смешные анекдоты» и сделать его жирным в надежде повысить свой рейтинг по этому запросу:

Добро пожаловать до анекдотов ! Рассказываем самых смешных анекдотов в мире. Веселые анекдоты — это забавные, и сумасшедшие.

No related posts.