Есть несколько способов отследить то, как индексируется сайт: свой или чужой. Проверять можно сразу все страницы или каждую по отдельности.
Владелец сайта может добавить его в инструменты для вебмастеров от Яндекса и Google. Там можно получить самую полную и достоверную информацию об индексировании, а также узнать об ошибках.
Если доступа к управлению сайтом нет, вы можете проверить индексацию вручную в поисковой выдаче или автоматически — с помощью специальных сервисов и программ.
Теперь давайте обо всем по порядку.
Чтобы оценить, как хорошо индексируется сайт, нужно узнать, сколько на нем страниц.
Для этого пригодится карта сайта — главный помощник поискового робота. В ней указаны все страницы, которые должны быть проиндексированы. Файл находится в корневой папке сайта и называется sitemap.xml (например, site.ru/sitemap.xml).
Если вы используете WordPress с установленным SEO-плагином (например, Yoast), то карта сайта, как правило, генерируется автоматически.
Также можно использовать бесплатную программу Xenu, которая сканирует все страницы сайта. Но чтобы в список не попадало все подряд, ее нужно предварительно настроить.
Общие сведения об индексации отображаются на главной странице панели — в краткой сводке по сайту в правом столбике.
Плюс Яндекс предлагает целый список отчетов и инструментов в разделе «Индексирование».
В «Статистике обхода» можно узнать, как робот Яндекса исследует сайт, и не столкнулся ли он с проблемами во время сканирования. Здесь два отчета: по последним событиям и по страницам. Если вас интересует, какие изменения произошли недавно, откройте первый отчет.
В следующем подразделе «Все страницы» перечислены все просканированные URL сайта, начиная с последних.
Напротив каждого URL указан код ответа сервера, который получил робот. В идеале это 200. Ответов с кодом 500 на правильно работающем сайте быть не должно. 404-е ошибки встречаются, когда страница была удалена. Если она переехала в другое место, нужно настроить переадресацию.
Страницы, которые находятся в индексе, можно посмотреть в разделе «Страницы в поиске». Во вкладке «Последние изменения» — самая актуальная информация об URL, участвующих в поисковой выдаче Яндекса.
Здесь же можно посмотреть исключенные из поиска страницы.
В подразделе «Все страницы» можно скачать таблицу с информацией об индексации страниц сайта, которые присутствуют в файле sitemap. Напротив каждого URL также будет показан код ответа сервера и статус. Таблица в виде отдельного файла — не самый удобный способ представления данных. Но если напротив страницы указано слово searchable, это означает, что она находится в поиске.
Еще одна полезная опция для проверки индексации — «Мониторинг важных страниц». Чтобы не искать нужные страницы в списке проиндексированных, составьте список (до 100 URL) и добавьте его в специальное поле.
После настройки уведомлений поисковая система будет оповещать вас об изменениях, связанными с выбранными страницами.
Если необходимо, чтобы Яндекс быстрее находил новые страницы и чаще мониторил сайт, не забудьте включить обход по счетчикам. Для этого, конечно же, к сайту должен быть привязан счетчик Метрики.
В блоге Unisender есть подробная инструкция о том, как подключить и настроить Яндекс Метрику.
Узнать подробную информацию об индексации в Google Search Console можно в разделе «Покрытие».
Общая информация об индексировании представлена на графике. Все страницы поделены на четыре категории:
Если количество страниц сайта совпадает с количеством страниц в зеленой и желтой зоне, все хорошо. В желтую зону часто попадают страницы, которые проиндексированы, несмотря на запреты в robots.txt.
Под графиком можно получить подробную информацию о страницах — по какой причине Google отнес их к той или иной категории.
Если вы не являетесь владельцем сайта, — и не имеете доступа к инструментам Google и Яндекса для вебмастеров, — индексацию можно проверить прямо в поисковике и с помощью специальных сервисов. У таких способов есть свои преимущества и недостатки.
Самый быстрый и простой способ узнать количество проиндексированных страниц — заглянуть в поисковую выдачу. Чтобы проверить, есть ли в поиске страницы с конкретного сайта, есть специальный оператор — site. Он работает как в Яндексе, так и в Google.
В инструментах поиска можно отфильтровать результаты: например, отобразить только недавно проиндексированные страницы.
В Яндексе все работает аналогично, только количество проиндексированных страниц отображается справа. Так как Google и Яндекс — поисковики для разных стран, каждый со своим алгоритмом, то количество проиндексированных страниц в разных поисковых системах может отличаться.
В Яндексе тоже есть фильтры, которые можно применить к результатам поиска. Посмотреть недавно добавленные страницы здесь также очень просто. Только вариантов фильтрации всего три: за сутки, за 2 недели и за месяц.
Перемещаясь по страницам поиска, вы сможете посмотреть, какие URL вашего сайта есть в поиске, начиная с самых важных.
Проверять по отдельности индексацию в каждом из поисковиков не всегда удобно. Иногда хочется получить информацию быстро, без погружения в подробности. Для этого существуют специальные онлайн-сервисы и программы, которые позволяют за несколько секунд проверить индексацию в обеих поисковых системах.
Существуют SEO-комбайны, предлагающие целый набор инструментов для поисковой оптимизации (например, «Топвизор», Netpeak и др.). Но эти сервисы и программы я рассматривать не буду, так как они обычно платные и предназначены для тех, кто вплотную занимается SEO.
Остановимся на бесплатных помощниках оптимизатора, которые способны проверять индексацию отдельных страниц и всего сайта.
Серпхант. Онлайн-сервис с возможностью бесплатной проверки индексации 50 страниц в Яндексе и Google.
Через какое-то время (в зависимости от количества страниц) сервис выдаст результат в виде таблицы. Данные можно скачать отдельным файлом.
SEO Magic. Это браузерное расширение для быстрой проверки основной информации о сайте, в том числе количества проиндексированных страниц. Перейдите на интересующий вас сайт, кликните на значок расширения, и через пару секунд появится краткий отчет.
Если вы делаете сразу много проверок, Яндекс может принять вас за робота, поэтому в результатах проверки появится undefined. Но если кликнуть по ссылке (все показатели кликабельны) — откроется выдача поисковика с уже введенным оператором site и данными о количестве проиндексированных страниц. Правда, сперва придется пройти проверку на ботов.
RDS Bar. Еще одно полезное расширение для SEO-специалистов. В разных браузерах работает по-разному. Лучше всего — в Firefox. В Chrome и Opera некоторые данные могут не отображаться, но их можно посмотреть, перейдя по ссылкам.
Данные об индексировании довольно подробные, но не всегда правдивые. Например, в данном примере расширение показывает, что страница не проиндексирована в Google. Но если нажать «Нет», откроется выдача, в которой эта страница присутствует. Расширение в целом удобное, но данные лучше перепроверять — для этого достаточно перейти по ссылкам.
Иногда нужно узнать, проиндексирована ли конкретная страница в Google или Яндексе. Это тоже можно сделать прямо в поиске или в инструментах вебмастера.
Google Search Console. Строка ввода URL для проверки отображается в самом верху панели. Этим инструментом можно воспользоваться в любой момент — независимо от того, в каком отчете вы находитесь.
Если страница проиндексирована, вы получите ответ с зеленой галочкой. Чтобы отправить робота на страницу для сканирования (первичного или повторного), нажмите «Запросить сканирование».
Яндекс Вебмастер. Аналогичный инструмент называется «Проверить статус URL» и находится в том же разделе «Индексирование».
Также наличие страницы в индексе можно проверить в поисковой выдаче с помощью того же оператора site. Только теперь после двоеточия вместо домена нужно указать URL страницы (без пробелов).
Это нужно, чтобы страницы быстро попадали в поиск и приносили трафик. Мало проверить индексацию, важно облегчить поисковым роботам их работу.
Вот краткий список рекомендаций:
Добавьте сайт в Яндекс Вебмастер и Google Search Console. Так вы будете получать информацию об индексировании, посещаемости и техническом состоянии сайта из первых рук и сразу узнавать об ошибках, которые поисковые роботы могут выявить на вашем ресурсе.
Составьте карту сайта в формате xml. Если вы пользуетесь WordPress, ее можно создать автоматически с помощью плагина и его базовых настроек. Также карту можно сгенерировать в специальных онлайн-сервисах. Лучше, чтобы она была динамической и отображала дату последнего изменения страниц и файлов сайта (Last-Modified). Также полезно добавить карту в панели вебмастера (оба поисковика предлагают такую возможность).
Создайте файл robots.txt. Он необходим для того, чтобы разрешать или запрещать обход определенных страниц сайта. Если у вас большой сайт с огромным количеством служебных страниц, их индексацию нужно запретить — так роботы Яндекса и Google не будут тратить краулинговый бюджет на ненужные страницы и быстрее проиндексируют то, что действительно важно.
Если важные страницы долго не индексируются, запросите их сканирование вручную. Это не всегда помогает, но не так сложно сделать запрос в Вебмастере или GSC, чтобы поисковый робот быстрее посетил новый URL.
Следите за актуальностью контента и регулярно обновляйте ресурс. Чем чаще на сайте публикуется что-то новое, тем активнее его исследуют поисковики. Если тематика сайта позволяет, заведите блог или придумайте другой способ публикации контента. Не забывайте запрашивать переобход измененных страниц у роботов Яндекса и Google.
Не оставляйте «страниц-сирот». На каждую страницу должна вести хотя бы одна ссылка, иначе поисковый робот никогда не найдет ее самостоятельно. В блоге я уже подробно разбирала, как сделать перелинковку на сайте.
Это самые базовые рекомендации, но их выполнение поможет избежать ошибок в индексировании и быстро «загнать» страницы в поиск.
Внутри конструктора Unisender — ИИ-ассистент. Поможет составить тему, проверить ошибки в тексте, нарисовать картинку. И даст рекомендации как маркетолог или психолог.
Делимся новостями и свежими статьями, рассказываем о новинках сервиса
Искренние письма о работе и жизни. Свежие статьи из блога. Эксклюзивные кейсы и интервью с экспертами диджитала.
