Способи перевірки індексації – чи видно ваш сайт пошуковій системі?

Індексація сайту – як це працює?

Пошукові системи ведуть реєстр сайтів, які прагнуть з’являтися в пошуковій видачі. Цей реєстр зветься індексом. Саме сюди заносяться сторінки сайту після сканування його пошуковими роботами.

Індекс працює за принципом бази даних. Коли користувачі вводять якийсь запит у строку пошуку, система знаходить найбільш прийнятні (релевантні) дані та відображає їх у зручному форматі.

Зверніть увагу: знаходження в індексі зовсім не гарантує потрапляння вашого сайту в топ видачі. Ваш сайт повинен відповідати складним критеріям ранжирування. Задля цього експерти Andflint проводять комплексну SEO-оптимізацію веб-проєктів, які бажають бути лідерами у своїх нішах.

Перевіряємо чи індексується сайт

Як перевірити, чи сайт в індексі? Кожна пошукова система пропонує спеціальний сервіс для аналізу ефективності ранжування. Наприклад, у Google – це Гугл Серч Консоль. Через неї можна не тільки виявити проіндексовані сторінки, а й відправити в індекс нові або найбільш пріоритетні.

Але є й інші способи перевірки індексації, які допомагають з’ясувати, чи бачать ваш сайт пошукові системи. Ваш сайт може бути галереєю з чудовими продуктами чи послугами. Але якщо він не проіндексований, ніхто не купить/не скористається ними. Нижче наведено 6 простих методів перевірки індексації, якими ми самі користуємось.

Google Search Console (GSC)

Вже є акаунт у GSC? Якщо ні, то настав час створити його. Знайдіть вкладку «Сторінки» в розділі «Індексування» і дізнайтеся кількість сторінок, які потрапили і не потрапили в індекс. Тут же відображається графік з історичними даними про індексовані сторінки.

Сервіс містить вкладку «Повний звіт» з більш детальною інформацією про сторінки вашого веб-проєкту. У розділі «Індексування» також можна дізнатися причину не потрапляння в індекс. Перевірка конкретної сторінки проводиться за таким алгоритмом:

• Скопіюйте посилання на сторінку, яку ви хочете перевірити.
• Відкрийте GSC і вставте цей URL у відповідний бокс.
• Сервіс автоматично згенерує результат: є в індексі чи ні.

Внесли зміни, а сторінка не відображається як проіндексована? Використовуйте кнопку «Запросити індексування». Додати одразу кілька сторінок в індекс можна за допомогою файлу Sitemap.

Проаналізуйте індексацію за допомогою Google пошуку

Чи знали ви про пошукові оператори Google? Розумна строка пошуку підтримує кілька команд. Вам потрібна «site:» – помістіть її перед повним URL вашого сайту і натисніть на пошук. Цей метод дає змогу перевіряти індексацію також окремих сторінок.

Гугл проінформує вас про кількість успішно проіндексованих сторінок у рядку над результатами пошуку («Результатів приблизно»). Використовуючи вкладку «Інструменти», ви відобразите статистику за певний проміжок часу, наприклад, за 24 години або за рік. Якщо пошукова система всеодно не баче деякі сторінки, використовуйте метод як прискорити індексацію сайту, описаний у розділі про GSC.

Спробуйте інші сервіси перевірки індексаціїї

В інтернеті є безліч сервісів перевірки індексації, але вони встановили жорсткі ліміти за кількістю сторінок. Найкращий серед них – Serpstat, але ви можете використовувати й інші способи перевірки індексації сайту вручну. Якщо ваш сайт під’єднаний до GSC, виконайте наступне:

• Відкрийте Serpstat і виберіть «Індексація сторінок» у розділі з інструментами.
• Підключіть GSC натисканням на відповідну кнопку й авторизуйтеся у своєму акаунті.
• Виберіть сайт зі списку та введіть URL сторінок для перевірки.

Serpstat – це інструмент для комплексного просування і маркетингу. Цей сервіс є помічником у дослідженні ключових слів, аналізі конкурентів, аудиті сайту, тощо.

Використовуйте SEO-інструменти

Наші профі застосовують різні інструменти для оптимізації сайтів, аналізу ключових параметрів і виявлення помилок на сторінках ( радимо скористатись Netpeak Spider та Screaming Frog). Деякі з них підтримують функцію перевірки індексу. Відскануйте свій сайт спеціалізованим сервісом, отримайте сторінки та параметри, що впливають на індексацію, і перевірте, чи відображаються сторінки в SERP.

Браузерні закладки – букмарклети

Тепер додаємо трохи автоматизації до перевірки індексу. Букмарклети є невеликими скриптами, написаними мовою Javascript. Створіть такий скрипт самостійно, якщо володієте навичками кодування. Якщо ні – скачайте готовий варіант. Перейдіть на сторінку вашого сайту, яка вас цікавить, і натисніть на закладку, щоб з’ясувати, чи проіндексував її пошуковик.

Індексуйте та перевіряйте статус з Google Indexing API

Шукаєте ще один спосіб як індексувати сайт в Гугл? Можна попрацювати з API пошукової системи, тим паче що це безкоштовно. Indexing API дає можливість:

• Дізнатися, коли пошукова система востаннє сканувала ту чи іншу сторінку.
• Запросити примусову індексацію.
• Видалити якусь сторінку з індексу.

API підтримує пакетні HTTP-запити на індексування (до 100 в пакеті). Максимальна кількість запитів на добу – 200. Але ви можете збільшити цю квоту, додав розмітку JobPosting или BroadcastEvent на сторінки веб-проєкту.

Чому сайт не індексується?

Новий веб-проєкт потрапляє в індекс Гугл за кілька тижнів або навіть місяців, тож доведеться почекати. Але якщо навіть згодом ваш сайт все ще не видно, на те є кілька причин:

• Сторінки закриті від індексування примусово в robots.txt або метатегами в розмітці.
• Тег canonical задано невірно.
• Відсутність sitemap.xml або внутрішніх посилань.
• Сайт працює повільно.
• Сторінки містять контент низької якості.
• Ви ігноруєте помилки в GSC.

Ще одна причина – сайт не оптимізований для мобільних пристроїв. З 2018 року пошукова система приділяє особливу увагу mobile-first підходу, тож обов’язково усуньте цей недолік.

Пришвидшуємо індексацію сторінок

Кожен сайт має краулінговий бюджет, що відображається в GSC. Це квота на сканування вашого сайту пошуковим роботом за один візит. Краулінговий бюджет залежить від розміру сайту, його структури і контенту, а також швидкості роботи. Бюджет скорочується для повільних сайтів з битими посиланнями і безліччю редиректів, поганим контентом.

Керуйте краулінговим бюджетом розумно

Ще один метод як прискорити індексацію сайту – використовувати краулінговий бюджет раціонально:

• Правильно налаштуйте файл sitemap.xml.
• Оптимізуйте контент для прискорення завантаження сторінок.
• Видаліть редиректи й посилання, що ведуть у нікуди.
• Оптимізуйте перелінковку сторінок.
• Регулярно публікуйте якісний контент.

Технічна оптимізація сайту і публікація якісного контенту зроблять його більш привабливим для пошукових роботів.

Потрапляння в індекс – не панацея

Бути проіндексованим – мастхев для вашого веб-проєкту, бо це гарантує те, що пошукова система помітила його. Але якщо ваша мета полягає у зростанні аудиторії, лідів та продажів у довгостроковій перспективі, потрібне комплексне просування сайту, яке здійснюють SEO-експерти.

FAQ

1. Навіщо потрібна індексація сторінок?
Щоб пошукова система знала про їх існування і додавала до пошукової видачі за релевантними запитами.

2. Де подивитись непроіндексовані сторінки?
Ви можете зробити це за допомогою Google Search Console.

3. Скільки триває індексація сайту?
Від кількох тижнів до кількох місяців, залежно від розміру, структури та наповнення сайту.