Как контролировать процесс индексации
Это нужно, чтобы страницы быстро попадали в поиск и приносили трафик. Мало проверить индексацию, важно облегчить поисковым роботам их работу.
Вот краткий список рекомендаций:
Добавьте сайт в Яндекс Вебмастер и Google Search Console. Так вы будете получать информацию об индексировании, посещаемости и техническом состоянии сайта из первых рук и сразу узнавать об ошибках, которые поисковые роботы могут выявить на вашем ресурсе.
Составьте карту сайта в формате xml. Если вы пользуетесь WordPress, ее можно создать автоматически с помощью плагина и его базовых настроек. Также карту можно сгенерировать в специальных онлайн-сервисах. Лучше, чтобы она была динамической и отображала дату последнего изменения страниц и файлов сайта (Last-Modified). Также полезно добавить карту в панели вебмастера (оба поисковика предлагают такую возможность).
Создайте файл robots.txt. Он необходим для того, чтобы разрешать или запрещать обход определенных страниц сайта. Если у вас большой сайт с огромным количеством служебных страниц, их индексацию нужно запретить — так роботы Яндекса и Google не будут тратить краулинговый бюджет на ненужные страницы и быстрее проиндексируют то, что действительно важно.
Если важные страницы долго не индексируются, запросите их сканирование вручную. Это не всегда помогает, но не так сложно сделать запрос в Вебмастере или GSC, чтобы поисковый робот быстрее посетил новый URL.
Следите за актуальностью контента и регулярно обновляйте ресурс. Чем чаще на сайте публикуется что-то новое, тем активнее его исследуют поисковики. Если тематика сайта позволяет, заведите блог или придумайте другой способ публикации контента. Не забывайте запрашивать переобход измененных страниц у роботов Яндекса и Google.
Не оставляйте «страниц-сирот». На каждую страницу должна вести хотя бы одна ссылка, иначе поисковый робот никогда не найдет ее самостоятельно. В блоге я уже подробно разбирала, как сделать перелинковку на сайте.
Это самые базовые рекомендации, но их выполнение поможет избежать ошибок в индексировании и быстро «загнать» страницы в поиск.