Почему бывает так трудно попасть в индекс Google? 

В видео на Youtube, статьях о SEO продвижении, на конференциях говорят о том, как важна полная и быстрая индексация страниц сайта. Она может стать вашим конкурентным преимуществом в SEO-гонке. Пока остальные будут биться над попаданием в топ-100, вы, возможно будете уже собирать первые переходы по низкочастотным запросам. 

Но тут начинаются сложности! Вы создать и отправить sitemap, десять раз проверить robots, сделать всё, как учили на курсах по SEO, но сложности останутся! Больше того! Проблемы с индексацией могут появиться на сайте, где их раньше не было!

Давайте разберемся, почему бывает так трудно проиндексировать сайт в Google. 

Размеры сайта и индексация, приоритеты  

Есть прямая связь между размером сайта, количеством страниц и индексацией. Чем больше URL адресов, тем выше шансы, что какие-то из них не попадут в индекс. По данным Ziptie в среднем 26% страниц каждого сайта не попадают в индекс. И дело даже не в том, что SEOшник делает что-то неправильно. В игру вступает ограниченность ресурсов. 

Существует понятие краулинговый бюджет сайта. Это ресурс, который может быть потрачен Google на сканирование страниц сайта за определенный период времени. Возьмем условные цифры. За один заход на сайт, поисковый робот может просканировать X страниц и заходить на сайт он может не больше Y раз в месяц. Ваша задача в том, чтобы за эти визиты он просканировал и оценил самые важные для продвижения страницы. Чем сайт больше, тем сложнее выбрать такие URL и спланировать индексацию. 

Для примера. На собственном сайте digitalowl.top как приоритетные из 103 записей и нескольких страниц я выделил три адреса: 

• статья Востребованные профессии на фрилансе

Очень объемный и подробный материал о том как происходит запуск, оптимизация интернет-магазина и его продвижение (статья огромная, но рекомендую, там только полезное)

страница с витриной курсов по SEO.

О проблемах с краулинговым бюджетом речь пока не идет. Но именно эти страницы в перспективе принесут больше всего трафика. 

Чем раньше вы найдете такие ключевые URL тем лучше. На них желательно перераспределять вес страниц, направлять внешние и внутренние ссылки. Так вы получите лучшее ранжирование и больше переходов. 

Также рекомендую почитать руководство Google по управлению краулинговым бюджетом для крупных сайтов.  

Чаще всего от плохой индексации страдают e-commerce проекты. Поэтому дальше в статье будем говорить в основном о них. Итак, типичные проблемы с индексацией и способы их исправить.

1. «Просканировано — в данный момент не проиндексировано»

Это означает, что Google посетил страницу, но не проиндексировал ее.

В большинстве таких случаев проблема в качестве контента. Учитывая бум электронной коммерции, который сейчас происходит, Google становится более требовательным в отношении качества. Поэтому, если вы заметили, что страницы «просканированы - в настоящее время не проиндексированы», убедитесь, что контент на этих страницах имеет уникальную ценность:

• Используйте уникальные заголовки, описания и копии на всех индексируемых страницах.
• Избегайте копирования описаний продуктов из внешних источников, если товары сложные, как например дизайнерская мебель, техника, создайте подробные текстовые описания.
• Используйте канонические теги для объединения повторяющегося контента.

2. «Обнаружено — в данный момент не индексируется»

Эту ситуацию «обожают» все опытные SEOшники. Тут проблема может быть в чем угодно от неправильного расходования краулингового бюджета до перелинковки и некачественного контента. С таким часто сталкиваются крупные магазины и маркетплейсы. Но они компенсируют ситуацию за счет брендового трафика и товарной рекламы. Иногда под такой сигнал попадают тысячи адресов на одном сайте. 

В качестве решения вы сами можете выбрать, какие страницы и разделы интернет-магазина не нужно индексировать. Запретите сканирование тегом noindex и в файле robots.txt. 

Чтобы справиться с этой проблемой, требуется опыт, детальная аналитика и немало терпения. Обнаружили, что ваши страницы «обнаружены — в настоящее время не проиндексированы»? сделайте следующее:

1. Найдите и опишите, какие типичные страницы попали в эту группу. Может быть, проблема связана с определенной категорией товаров, а вся категория не имеет внутренней связи? Или, может быть, огромная часть страниц продуктов ожидает в очереди на индексирование? Описав проблемные страницы, вы быстрее увидите решение.
2. Оптимизируйте свой краулинговый бюджет. Ищите страницы низкого качества, на которые Google тратит краулинговый бюджет сайта. Это могут быть динамические фильтры, незаполненные страницы товаров и пр. Страницы фильтров по двум и более параметрам лучше закрыть от индексации, а страницы с товарами улучшить или даже удалить. 

1. Дубли контента 

Особенно острая проблема! О ней пишут сотни статей. Сложность в том, что существуют частичные и полные дубли и каждая из этих категорий неоднородна. Дубли могут возникать по нескольким причинам: 

• Неправильно реализованная мультиязычность и не расставленные атрибуты ;
• Отсутствие тегов canonical;
• Дублирование контента внутри сайта;
• Контент с других сайтов;
• Повторяющиеся title и description.  

Проверьте все эти варианты, чтобы методом исключения найти решение проблемы. Удалить дубли можно с помощью редиректов, удаления страницы или редактирования контента. 

Как найти проблемы с индексацией? 

Проверить индексацию страниц проще всего с помощью отчета Покрытие в Google Search Console. 

Сначала посмотрите на количество исключенных страниц, потом разберитесь в причинах. Далеко не всегда исключение страницы из индекса это плохо.

Удачи вам в продвижении, следите за следующими статьями!