Распространенной проблемой многих сайтов - отсутствует индексация Гуглом.

Какие самые популярные проблемы и каковы методы их решения?

Загрузка сайта

Google не любит долго загружаемые сайты, соответственно их индексация происходит дольше. Медленная загрузка может быть следствием многих причин: слишком много контента, который должен обрабатывать браузер пользователя, используются устаревшие серверы, на которых ограничены ресурсы и т.д.

Есть несколько инструментов, с помощью которых можно провести проверку скорости загрузки сайта:

• Инструмент Google для анализа скорости загрузки сайта – PageSpeed ​​Insights. Также бонусом будут рекомендации, которые они дают, по оптимизации.
• Инструмент оценки скорости загрузки WebPageTest дополнительно выделяет элементы, снижающие скорость сайта.

Скорость загрузки сайта можно увеличить с помощью более быстрого хостинга или использования сети доставки содержимого – CDN (Content delivery network).

Бесконечные циклы переадресации

Одна из самых частых проблем, мешающих индексации, - бесконечные циклы переадресации, которые могут появиться банально из-за какой-то помарки.

Как это можно поправить?

Если использовать систему управления содержимым WordPress, то с помощью файла .htaccess можно найти страницы, с которых перенаправлен трафик. Нужно вставить в поиск Redirect 301 – это обнаружит все файлы, которые имеют перенаправление. Исправьте помарки, и при наличии 302 редирект (перенаправление с одной страницы на другую) нужно изменить его на 301.

Инструмент Screaming Frog поможет найти еще ошибки на сайте, если они есть. По устранению ошибок, с помощью Google Search Console подайте повторный запрос на индексацию.

Плагины, блокирующие Googlebot

Работа поисковика Googlebot может блокироваться некоторыми плагинами (программными блоками, расширяющими возможности программы для компьютера или движка сайта). В таком случае сканирование сайта поисковыми системами будет невозможно.

Googlebot заблокируется при условии настройки файла robots.txt с помощью одноименного плагина для WordPress.

Как это можно поправить?

Файл robots.txt должен находиться в корневой папке сайта и должен быть доступен в виде: домен/robots.txt. Важно, чтобы в файле не было «/» (косой линии) в строке, поскольку ее наличие заблокирует все страницы в корневой папке.

JavaScript для рендеринга

Преобразование кода в картинку происходит при рендеринге веб-страницы браузера. Сам JavaScript не является причиной проблем с индексацией, однако они точно будут, если его использовать как маскировку (когда сайт предоставляет на одной странице разный контент или разные URL-адреса пользователям и поисковикам, что является нарушением Google-рекомендаций).

В некоторых случаях бывают отличия в рендерных и сырых версиях страниц и это тоже может восприниматься как маскировка, что станет причиной остановки индексации. Также Google не сможет проиндексировать сайт, если файлы JavaScript и CSS будут скрыты.

Не все варианты домена

Google Search Console должен содержать все версии вашего домена, они должны быть верифицированы. Это очень важно при миграции из http:// на https://.

Метатеги

Метатеги noindex и nofollow бывают просто необходимыми, однако, если они появляются не на той странице, которой имеют или вообще применены ко всему сайту, то он не будет индексироваться.

Как это можно поправить?

Необходимо изменить noindex, nofollow на index, follow.

Штрафные санкции

Попасть под штрафные санкции от Google можно в нарушение их рекомендаций. За это сайт могут просто пессимизировать (снизить позицию сайта в выдаче поисковой системы). Пока не устранить нарушения – сайт не будет индексироваться.

За что можно получить штрафы?

1. Вредноносное или нежелательное ПО на сайте
2. Скрытый текст или ссылка
3. Маскировка
4. Скрытая переадресация
5. Нерелевантные ключевые слова
6. Слишком много ключевых слов
7. Дублированный контент

Мобильная версия

Если сайт не адаптирован под мобильные платформы, это будет серьезной проблемой, поскольку с 2019 года приоритет Google предоставляется мобильному контенту во время индексации.

Внесение многих изменений не является обязательным, иногда достаточно просто изменяется (макет сайта, который адаптируется под размеры экрана и устройства) и медиавыражений (Media query - используют тогда, когда нужно применить различные CSS-стили, для разных устройств типа отображения , адаптируют CSS под разные параметры и характеристики устройств).

Техническое SEO

Техническая SEO оптимизация очень важна для работы с сайтом, поскольку она помогает поисковикам в сканировании, понимании и индексировании страниц.

Качественное и грамотное техническое SEO может выявить проблемы с сканированием, индексацией и в целом с основными показателями и решить их даже тогда, когда кажется единственным выходом - создание нового сайта.

Для успешности сайта нужны: качественный контент, работа по техническим SEO и создание качественных обратных ссылок.

Решив все проблемы с индексированием, хороший трафик от Google вам обеспечен!