Як додати сайт у пошукові системи

Органічний пошуковий трафік – основа розвитку будь-якого сайту. Щоб отримувати його, спочатку потрібно потрапити в пошуковий індекс. Це глобальна база даних, з якої Google “дістає” результати, коли користувач вводить запит. Якщо вас немає в цій базі, шанси отримати пошуковий трафік дорівнюють нулю. Пропонуємо невелику інструкцію, яка допоможе додати сайт у пошуковики.

Навіщо потрібно додавати сайт у пошукові системи?

Велика частина інтернет-користувачів шукає інформацію через пошукові системи. Особливо популярний Google. Пошукові роботи сканують веб-сайти, збираючи URL-адреси у величезну базу даних – індекс. Без цієї індексації ваш сайт не буде відображатися в результатах пошуку.

Crawler, або пошуковий робот, – це програма, яка переходить за посиланнями на веб-сайті. Таким чином пошуковик записує всі веб-сторінки і розширює свій індекс. Роботи періодично заходять на вже відомі сайти, щоб виявити нові сторінки і проіндексувати їх.

Пошукові роботи з високою ймовірністю самі знайдуть ваш сайт і виявлять, що ви додали новий контент. Але для цього може знадобитися час – складно сказати, скільки саме. Ви можете допомогти краулерам зайти на сайт і просканувати його якомога швидше.

Як додати сайт у пошукові системи

Існує кілька способів додати сторінки в пошуковий індекс. Іноді можна використовувати ручне додавання, але його підтримують не всі пошуковики, а за великої кількості сторінок процес займе дуже багато часу.

Додавання вручну

Найпростіший спосіб додати сторінку в Google – запросити індексацію вручну. Зробити це можна в Google Search Console, скориставшись інструментом перевірки URL. Якщо веб-сторінки ще немає в індексі, натисніть “Запросити індексування”, і пошукова система додасть її, якщо немає помилок. Цей метод хороший, якщо вам потрібно додати лише кілька сторінок. Але якщо ви хочете додати цілий сайт, що включає сотні й тисячі сторінок, є більш ефективний спосіб.

Карта сайту sitemap.xml

Якщо вам потрібно просканувати велику кількість сторінок, використовуйте файл Sitemap. Карта Sitemap допомагає пошуковим системам знаходити сторінки на вашому сайті. Якщо ви тільки запустили веб-сайт, надіслати файл Sitemap варто якомога швидше. У цьому файлі є дані про сторінки з товарами, текстом, відео, зображеннями та новинами.

Знайти файл із картою сайту можна за однією з адрес:

• your-domain.com/sitemap.xml
• your-domain.com/sitemap-index.xml

Якщо карти сайту ще немає, створіть її. У різних CMS це можна зробити за допомогою плагінів. Також підійдуть онлайн-генератори або спеціальні програми з автоматизованим процесом.

Як додати сайт у Google?

У лівій частині Google Search Console ви знайдете пункт Sitemaps. На вкладці, що відкрилася, ви побачите поле, куди потрібно скопіювати URL карти сайту і відправити його. Якщо у вас кілька файлів sitemap, надішліть кожен із них.

Коли ви додаєте на сайт новий контент, рекомендуємо запитувати індексування Google вручну через інструмент перевірки URL. Так ви прискорите індексацію нового контенту.

Як додати сайт в інші пошукові системи?

За допомогою інструментів Bing Webmaster ви можете поліпшити продуктивність вашого веб-сайту в цій пошуковій системі. У меню зліва є пункт Sitemaps (Карти сайту). Виберіть його, натисніть “Submit” і вкажіть УРЛ карти.

З індексом Bing працює і пошукова система Yahoo, тому вам не потрібно вживати додаткових заходів, щоб потрапити в цей пошуковик.

Ще один пошуковик – DuckDuckGo – самостійно шукає новий контент, у ньому немає інструменту для додавання нових сторінок або карти сайту. Система використовує власний краулер, а також працює з індексом Bing, використовує краудсорсингові ресурси (наприклад, Вікіпедію), Sportradar і багато інших.

Як перевірити, що сайт проіндексований?

Найнадійніший спосіб перевірити, чи проіндексований ваш сайт – використовувати звіт “Покриття” в Search Console. Тут ви можете побачити сторінки з різними категоріями:

• Valid – сторінки були проіндексовані і можуть бути показані в результатах пошуку, немає необхідності що-небудь робити.
• Valid with warning – веб-сторінки можуть відображатися в результатах пошуку Google, але є проблеми.
• Error – ці сторінки не можуть бути індексовані й не відображатимуться в результатах пошуку через помилки.
• Excluded – сторінки не були проіндексовані й не з’являться в результатах пошуку, оскільки Google вважає, що контент не заслуговує на індексацію.

Виберіть бажаний стан (помилка, попередження або виняток) і подивіться на деталі, представлені на сторінці. Ви знайдете список помилок і кількість порушених сторінок.

Щоб перевірити наявність в індексі окремих сторінок, ви можете використовувати інструмент перевірки URL.

Багато керівництв рекомендують перевіряти статус індексування, ввівши в рядок Google текст “site:your-domain.com”. Його також можна використовувати, але це не найнадійніше джерело інформації.

У пошуковій системі Bing перевірити індексацію сайт можна з інструментом Site Explorer. Тут можна відфільтрувати проіндексовані URL-адреси і перевірити, чи всі потрібні сторінки потрапили в індекс.

Як виправити проблеми з індексацією

Помилка індексації – це проблема, яка впливає на здатність пошукових систем відстежувати і включати одну або кілька сторінок вебсайту в індекс. Проблеми з індексацією можуть виникати з різних причин. Що швидше ви усунете їх, то швидше пошукові роботи повторно просканують сайт.

• Помилка сервера (5xx) виникає, коли доступ до сайту неможливий через неправильну роботу сервера. Перевірте, який код стану 5хх повертається. Деякі помилки 5xx є тимчасовими і не потребують жодних дій. Переконайтеся, що сервер не перевантажений і налаштований правильно. Як правило, такі проблеми не виникають, якщо ви користуєтеся послугами надійного хостинг-провайдера. Якщо помилка 5хх все ж виникла, зв’яжіться з техпідтримкою хостингу або адміністратором виділеного сервера.
• Заборона індексації у файлі robots.txt. Google завжди намагається дотримуватися директив, наведених у файлі robots.txt. Блокування може стосуватися всього сайту або окремих сторінок. Щоб прибрати її, видаліть із файлу robots.txt текст:

User-agent: Googlebot
Disallow: /
User-agent: *
Disallow: /

• Заборона індексації тегом noindex. Цей тег розташовується в секції head веб-сторінки і забороняє індексацію. Якщо сторінку потрібно проіндексувати, видаліть тег.
• Дубль сторінки без тега canonical. Ця сторінка не вказує на канонічну сторінку, тому Google сам шукає її і додає в індекс канонічний варіант. Якщо ви хочете індексувати цю сторінку, вам доведеться вказати для неї атрибут canonical.
• Сторінка з редиректом. Google не індексує сторінки з постійною переадресацією, тому редирект потрібно видалити, якщо веб-сторінка має потрапити в індекс.
• Сторінка повертає код стану помилки 404, коли Гугл робить запит. Googlebot не знайшов сторінку через карту сайту, але, ймовірно, посилання є на іншому веб-сайті. Також можливо, що цей URL існував у минулому і був видалений. Якщо відповідь 404 є навмисною, ви можете залишити її. Це не вплине на SEO. Однак якщо сторінка перемістилася, налаштуйте 301 редирект.

Іноді сторінки можуть бути виключені з індексу з юридичних причин, але це досить рідкісна ситуація.

Чому недостатньо просто додати свій сайт в індекс?

Більшу частину пошукового трафіку отримують сайти, що потрапили на першу сторінку результатів. Користувачі зазвичай знаходять відповідь на своє запитання в топ-3 результатів, тому вкрай важливо просувати сайт за цільовими ключовими запитами. У цьому допоможе SEO-оптимізація, що включає цілий список дій, включно з:

• внутрішню оптимізацію сайту;
• зовнішню оптимізацію – нарощування якісної посилальної маси;
• створення цікавого контенту з додаванням цільових ключових слів.

Алгоритми ранжування враховують найрізноманітніші показники, включно з:

• швидкість завантаження сторінок;
• поведінкові чинники – час відвідування, перехід за посиланнями;
• відповідність інформації ключовим запитам;
• кількість і якість зворотних посилань.

Щоб допомогти Гугл та іншим пошуковикам вище ранжувати ваш сайт, необхідний цілий комплекс заходів, спрямований на поліпшення всіх показників.

Висновки

Google та інші пошуковики вміють шукати веб-сторінки самостійно. Краулери постійно вдосконалюються, щоб знаходити цікавий і корисний контент. Створивши карту сайту або вручну запросивши індексування, ви допоможете пошуковим системам виявити оновлення на вашому веб-сайті. Рекомендуємо вручну додавати в Search Console нові сторінки, щоб прискорити індексацію. А якщо ви тільки створюєте сайт, зверніть увагу на конструктор від TutHost.