Способы проверки индексации – виден ли ваш сайт поисковой системе?

Индексация сайта – как это работает?

Поисковые системы ведут реестр сайтов, стремящихся появляться в поисковой выдаче. Этот реестр называется индексом. Именно сюда заносятся страницы сайта после сканирования поисковыми роботами.

Индекс работает по принципу базы данных. Когда пользователи вводят запрос в строку поиска, система находит наиболее приемлемые (релевантные) данные и отображает их в удобном формате.

Обратите внимание: нахождение в индексе отнюдь не гарантирует попадания вашего сайта в топ выдачи. Ваш сайт должен соответствовать сложным критериям ранжирования. Для этого эксперты Andflint проводят комплексную SEO оптимизацию веб-проектов, желающих быть лидерами в своих нишах.

Проверяем, индексируется ли сайт

Как проверить, сайт ли в индексе? Каждая поисковая система предлагает специальный сервис для анализа эффективности ранжирования. Например, в Google – это Google Search Console. Через неё можно не только обнаружить проиндексированные страницы, но и отправить в индекс новые или наиболее приоритетные.

Но есть и другие способы проверки индексации, которые помогают выяснить, видят ли ваш сайт поисковые системы. Ваш сайт может предлагать отличные продукты или услуги. Но если он не проиндексирован, никто не купит/не воспользуется ими. Ниже приведены 6 простых методов проверки индексации, которыми мы сами пользуемся.

Google Search Console (GSC)

Уже есть аккаунт в GSC? Если нет, то пора создать его. Найдите вкладку «Страницы» в разделе «Индексирование» и узнайте количество попавших и не попавших в индекс страниц. Здесь же отображается график с историческими данными об индексированных страницах.

Сервис содержит вкладку «Полный отчет» с более подробной информацией о страницах вашего веб-проекта. В разделе «Индексирование» можно узнать причину не попадания в индекс. Проверка конкретной страницы производится по следующему алгоритму:

• Скопируйте ссылку на страницу, которую вы хотите проверить.
• Откройте GSC и вставьте этот URL в соответствующий бокс.
• Сервис автоматически сгенерирует результат: есть в индексе или нет.

Внесли изменения и страница не отображается как проиндексированная? Используйте кнопку «Запросить индексирование». Добавить сразу несколько страниц в индекс можно с помощью файла Sitemap.

Проанализируйте индексацию с помощью поиска Google

Знали ли вы о поисковых операторах Google? Умная строка поиска поддерживает несколько команд. Вам нужна «site:» – поместите её перед полным URL вашего сайта и нажмите на поиск. Этот метод позволяет проверять индексацию отдельных страниц.

Google покажет вам количество проиндексированных страниц в строке над результатами поиска («Результатов примерно»). Используя вкладку «Инструменты», вы отобразите статистику за определенный промежуток времени, например за 24 часа или за год. Если поисковая система всё равно не видит некоторые страницы, используйте метод ускорения индексации сайта, описанный в разделе GSC.

Попробуйте другие сервисы проверки индексации

В интернете есть множество сервисов проверки индексации, но они установили жёсткие лимиты по количеству страниц. Лучший среди них – Serpstat, но вы можете использовать и другие способы проверки индексации сайта вручную. Если ваш сайт подключен к GSC, выполните следующие действия:

• Откройте Serpstat и выберите «Индексация страниц» в разделе с инструментами.
• Подключите GSC нажатием на соответствующую кнопку и авторизуйтесь в своём аккаунте.
• Выберите сайт из списка и введите URL-страниц для проверки.

Serpstat – это инструмент для комплексного продвижения и маркетинга. Этот сервис является помощником в исследовании ключевых слов, анализе конкурентов, аудите сайта и т.д.

Используйте SEO инструменты

Наши профи используют различные инструменты для оптимизации сайтов, анализа ключевых параметров и обнаружения ошибок на страницах (советуем воспользоваться Netpeak Spider и Screaming Frog). Некоторые поддерживают функцию проверки индекса. Отсканируйте свой сайт специализированным сервисом, получите страницы и параметры, влияющие на индексацию, и проверьте, отображаются ли страницы в SERP.

Браузерные закладки — букмарклеты

Теперь добавляем немного автоматизации к проверке индекса. Букмарклеты являются небольшими скриптами, написанными на Javascript. Создайте такой скрипт самостоятельно, если у вас есть навыки программирования. Если нет – скачайте готовый вариант. Перейдите на страницу вашего интересующего вас сайта и нажмите на закладку, чтобы выяснить, проиндексирована ли она поисковиком.

Индексируйте и проверяйте статус с Google Indexing API

Ищете ещё один способ индексировать сайт в Google? Можно поработать с API поисковика, тем более что это бесплатно. Indexing API позволяет:

• Узнать, когда поисковая система в последний раз сканировала ту или иную страницу.
• Запросить принудительную индексацию.
• Удалить какую-либо страницу из индекса.

API поддерживает пакетные HTTP-запросы на индексирование (до 100 в пакете). Максимальное количество запросов в сутки – 200. Но вы можете увеличить эту квоту, добавив разметку JobPosting или BroadcastEvent на страницы веб-проекта.

Почему сайт не индексируется?

Новый веб-проект попадает в индекс Google за несколько недель или даже месяцев, поэтому придётся подождать. Но если даже впоследствии ваш сайт всё ещё не виден, на то есть несколько причин:

• Страницы закрыты от индексации принудительно в robots.txt или метатегами в разметке.
• Тег canonical задан неверно.
• Отсутствие sitemap.xml или внутренних ссылок.
• Сайт работает медленно.
• Страницы содержат контент низкого качества.
• Вы игнорируете ошибки в GSC.

Ещё одна причина – сайт не оптимизирован для мобильных устройств. С 2018 года поисковая система уделяет особое внимание mobile-first подходу, поэтому обязательно устраните этот недостаток.

Ускоряем индексацию страниц

Каждый сайт имеет краулинговый бюджет, отображаемый в GSC. Это квота на сканирование вашего сайта поисковым роботом за один визит. Краулинговый бюджет зависит от размера сайта, его структуры и контента, а также скорости работы. Бюджет сокращается для медленных сайтов с битыми ссылками и множеством редиректов, плохим контентом.

Управляйте краулинговым бюджетом разумно

Ещё один метод ускорения индексации сайта – использовать краулинговый бюджет рационально:

• Правильно настройте файл sitemap.xml.
• Оптимизируйте контент для ускорения загрузки страниц.
• Удалите редиректы и ведущие в некуда ссылки.
• Оптимизируйте перелинковку страниц.
• Регулярно публикуйте качественный контент.

Техническая оптимизация сайта и публикация качественного контента сделают его более привлекательным для поисковых роботов.

Попадание в индекс – не панацея

Быть проиндексированным – мастхэв для вашего веб-проекта, потому что это гарантирует, что поисковая система заметила его. Но если ваша цель заключается в росте аудитории, лидов и продаж в долгосрочной перспективе, необходимо комплексное продвижение сайта, которое осуществляют SEO-эксперты.

FAQ

1. Зачем нужна индексация страниц?

Чтобы поисковая система знала об их существовании и добавляла в поисковую выдачу по релевантным запросам.

2. Где посмотреть непроиндексированные страницы?

Это можно сделать с помощью Google Search Console.

3. Сколько длится индексация сайта?

От нескольких недель до нескольких месяцев в зависимости от размера, структуры и наполнения сайта.