10 причин, чому вашого сайту немає в пошукових системах

01-09-2020

Отже, ви створили сайт і на радощах показуєте його всім друзям і знайомим і у них він прекрасно відкривається. Однак, знайти його в пошукових системах неможливо - трафік не йде, відвідувань немає. Виявляється, сайту немає в пошукових системах. Чому його там немає? Де ж він?

Давайте розглянемо 10 причин, чому сайт не видно в пошукових системах.

Зміст статті:

  1. Причина. Нова сторінка або новий сайт
  2. Причина. Сторінка або сайт закриті від індексації у файлі robots.txt
  3. Причина. Вказано заборона в User-Agent
  4. Причина. Заборона на індексацію сторінок вказано в мета-теге robots
  5. Причина. Некоректно налаштований атрибут rel = " canonical "
  6. Причина. Проблеми з відповіддю сервера
  7. Причина. Проблеми з хостингом або сервером
  8. Причина. Проблеми зі швидкістю завантаження сторінок
  9. Причина. Проблема з унікальністю і корисністю контенту
  10. Причина. Проблеми з AJAX

Чому сайту немає в пошукових системах

1. Причина. Нова сторінка або новий сайт

Пошукові роботи ще могли просто не знайти нову сторінку вашого сайту. Залежно від того, який ваш сайт " переобход " сторінок може займати від декількох секунд до декількох тижнів. Щоб дізнатися чи є сторінка в індексі вам необхідно скористатися сервісами Яндекс Вебмайстер або Google Search Console.

В Яндекс Вебмайстер переходимо в розділ індексування і переходимо "Перевірити статус URL".

Чому сайту немає в пошукових системах

Якщо робот проіндексував сторінку, то ви побачите повідомлення про те, що сторінка проіндексована роботом і знаходиться в пошуку.

Чому сайту немає в пошукових системах

Якщо робот ще не знає сторінку і не проіндексував її, то ви побачите напис: "Сторінка не відома роботу".

Чому сайту немає в пошукових системах

У новій версії Google Search Console використовуйте інструмент "Перевірка URL".

Чому сайту немає в пошукових системах

Якщо робот обійшов і проіндексував сторінку, то ви побачите повідомлення "URL є в індексі Google.

Чому сайту немає в пошукових системах

Якщо ж робот на сторінці ще не був, то ви побачите повідомлення: " Урл немає в індексі Google".

2. Причина 2. Сторінка або сайт закриті від індексації у файлі robots.txt

Існує спеціальний файл Robots.txt, який дозволяє пошуковим роботам вказати на те, які сторінки сайту повинні бути в індексі пошукових систем, а які сторінки ні. Відповідно, якщо в файлі прописані заборонюючі правила, то в індексі пошукових систем дану сторінку ви не знайдете.

Перевіряємо чи закриті сторінки в Robots.txt в Яндекс вебмайстрів заходимо в інструменти "Аналіз Robots.txt".

Чому сайту немає в пошукових системах

У вікно "Чи дозволені URL " вносимо адреси сторінок, які ми хочемо перевірити.

Чому сайту немає в пошукових системах

Потім внизу з'явиться адреса введених URL і їх статус - дозволені вони для індексації чи ні. Якщо немає, то буде вказано, яке з правил забороняє роботу здійснювати індексацію.

У Google Search Console схожий інструмент знаходиться на вкладці "Сканування", "Інструмент перевірки файлу Robots.txt"

Чому сайту немає в пошукових системах

3. Причина. Вказано заборона в User-Agent

У пошукових систем є свої вимоги до того, як повинен налаштовуватися файл Robots.txt і починається він з вітання. Привітання може бути звернено до робота Яндекса, Google, іншої пошукової систе або відразу до декількох пошукових системах. Часто для Яндекс і Google роблять окремі секції в файлі Robots.txt, а потім забувають вносити правки в ці секції. Через це роботи починають некоректно індексувати сайт.

Перевірку здійснюємо так як в вебмайстр Яндекс і Google Search Console

Чому сайту немає в пошукових системах

4. Причина. Заборона на індексацію сторінок вказано в мета-теге robots.

Суть цього мета тега така ж, як і у Robots.txt, тільки якщо сторінка закрита в Robots.txt, то вона все одно може бути проіндексована пошуковими системами. Але якщо на сторінці використовується " noindex " або " none ", то сторінка не буде додана в індекс.

Перевірити використання даного мета тега можна в коді.

Чому сайту немає в пошукових системах

За допомогою додатків для браузера або Вебмастерів.

Чому сайту немає в пошукових системах

5. Причина. Некоректно налаштований атрибут rel = " canonical "

" Canonical " це ще один атрибут, який дозволяє управляти індексацією сторінок. Якщо rel = " canonical " налаштований на іншу сторінку, то ви говорите пошуковому роботу про те, що вона схожа з іншою сторінкою і першу сторінку не потрібно додавати в пошук пошукових систем.

Перевірити використання даного атрибута можна також у вихідному коді, за допомогою RDS bar або seo -метріки. Перевіряти необхідно статус «не канонічні".

Чому сайту немає в пошукових системах

6. Причина. Проблеми з відповіддю сервера

Для того, щоб сторінка індексувалася, її код відповіді сервера повинен бути 200 ОК. Якщо сторінка віддає код відповіді сервера 404 або 301, то в індекс дана сторінка не потрапляє. Перевіряти код відповіді найкраще за допомогою веб-майстрів. Вони показують найбільш точні дані.

Чому сайту немає в пошукових системах

А ось візуальною перевіркою краще не обмежуватися, так як бувають випадки, коли сторінки виглядають коректно, але код відповіді сервера не 200 ОК.

Чому сайту немає в пошукових системах

Чому сайту немає в пошукових системах

7. Причина. Проблеми з хостингом або сервером

Уявіть, що ви прийшли в магазин, а він не працює. Потім знову приходите в магазин, але він все одно не працює. Яка ймовірність того, що ви знову повернетеся туди? Швидше за все - дуже маленька. Так само відбувається і з пошуковими системами. Якщо пошуковий робот приходить на ваш сайт, а він не працює, то він просто виключає сторінку з індексу і не показує її користувачам. Але ж все правильно. Навіщо користувача приводити на непрацюючий сайт?

Для того, щоб відстежити чи є проблеми необхідно в інструментах веб-майстрів перевірити статус сторінок. Якщо зустрічаються помилки сервера 500, а також якщо приходить повідомлення з Яндекс Метрики про те, що сайт не працює, то необхідно вирішувати дану проблему.

Чому сайту немає в пошукових системах

8. Причина 8. Проблемы со скоростью загрузки страниц

Швидкість завантаження сторінок важливий показник якості сучасного сайту. Якщо ваші сторінки довго завантажуються, то роботи пошукових систем можуть виключати такі сторінки з індексу. Крім того, швидкість завантаження сторінок є фактором ранжирування пошуковою системою, тому якщо у вас з цим є проблеми, то необхідно терміново це виправити.

Швидкість завантаження сторінки можна перевірити інструментом Page Speed Insights від Гугл. Додатково можна використовувати сервіси Google Аналітика і Яндекс Метрика.

Чому сайту немає в пошукових системах

Важливо перевіряти швидкість завантаження для декількох типів сторінок і не зупинятися, виконавши тільки одну перевірку, тобто виконуйте дану роботу періодично.

9. Причина 9. Проблема з унікальністю і корисністю контенту

Пошуковики приділяють велику увагу якості контенту, тому, якщо на сторінці розташований не корисний контент, або дублюється з іншими сторінками, то такі сторінки не додаються в індекс пошукових систем. Щоб перевірити, чи є на сайті такі сторінки потрібно зайти в Веб-майстер. В Яндексі це звіт "Сторінки в пошуку" - "Виключені сторінки". Перевіряти потрібно статуси "Дубль" і "Недостатньо якісна".

Чому сайту немає в пошукових системах

У Google Search Console це звіт "Покриття" - "Сторінки є копією" - "Канонічний варіант не обраний користувачем".

Чому сайту немає в пошукових системах

10. Причина 10. Проблеми з AJAX

Якщо ваш сайт виконаний на технології AJAX, то дуже важливо виконати вимогу пошукових систем для того, щоб пошукові роботи змогли проіндексувати сторінки вашого сайту. Таким чином, для кожної окремої сторінки повинна бути своя HTML-версія.

Використовуйте новітні можливості, які надають вам пошукові системи, для того щоб швидше відправляти сторінки на переіндексацію.

І все ж, якщо ви самостійно не виправили помилки і ваш сайт як і раніше не з'явився в пошукових системах, зверніться до нас і ми все зробимо! Ваш сайт не тільки з'явиться в пошукових системах, але і займе топові позиції у видачі та буде приносити вам прибуток.

Зателефонуйте нам, і ми відповімо на всі ваші запитання +38 (048) 770-09-27 або +38 (094) 995-49-27