Как добавить сайт в поисковые системы
Органический поисковый трафик — основа развития любого сайта. Чтобы получать его, сначала нужно попасть в поисковый индекс. Это глобальная база данных, из которой Google «достает» результаты, когда пользователь вводит запрос. Если вас нет в этой базе, шансы получить поисковый трафик равны нулю. Предлагаем небольшое руководство, которое поможет добавить сайт в поисковики.
Зачем нужно добавлять сайт в поисковые системы?
Большая часть интернет-пользователей ищет информацию через поисковые системы. Особенно популярен Google. Поисковые роботы сканируют веб-сайты, собирая URL-адреса в огромную базу данных — индекс. Без этой индексации ваш сайт не будет отображаться в результатах поиска.
Crawler, или поисковый робот, — это программа, которая переходит по ссылкам на веб-сайте. Таким образом поисковик записывает все веб-страницы и расширяет свой индекс. Роботы периодически заходят на уже известные сайты, чтобы обнаружить новые страницы и проиндексировать их.
Поисковые роботы с высокой вероятностью сами найдут ваш сайт и обнаружат, что вы добавили новый контент. Но для этого может потребоваться время — сложно сказать, сколько именно. Вы можете помочь краулерам зайти на сайт и просканировать его как можно быстрее.
Как добавить сайт в поисковые системы
Существует несколько способов добавить страницы в поисковый индекс. Иногда можно использовать ручное добавление, но его поддерживают не все поисковики, а при большом количестве страниц процесс займет очень много времени.
Добавление вручную
Самый простой способ добавить страницу в Google — запросить индексацию вручную. Сделать это можно в Google Search Console, воспользовавшись инструментом проверки URL. Если веб-страницы еще нет в индексе, нажмите «Запросить индексирование», и поисковая система добавит ее, если нет ошибок. Этот метод хорош, если вам нужно добавить всего несколько страниц. Но если вы хотите добавить целый сайт, включающий сотни и тысячи страниц, есть более эффективный способ.
Карта сайта sitemap.xml
Если вам нужно просканировать большое количество страниц, используйте файл Sitemap. Карта Sitemap помогает поисковым системам находить страницы на вашем сайте. Если вы только запустили веб-сайт, отправить файл Sitemap стоит как можно скорее. В этом файле есть данные о страницах с товарами, текстом, видео, изображениями и новостями.
Найти файл с картой сайта можно по одному из адресов:
- your-domain.com/sitemap.xml
- your-domain.com/sitemap-index.xml
Если карты сайта еще нет, создайте ее. В различных CMS это можно сделать с помощью плагинов. Также подойдут онлайн-генераторы или специальные программы с автоматизированным процессом.
Как добавить сайт в Google?
В левой части Google Search Console вы найдете пункт Sitemaps. На открывшейся вкладке вы увидите поле, куда нужно скопировать URL карты сайта и отправить его. Если у вас несколько файлов sitemap, отправьте каждый из них.
Когда вы добавляете на сайт новый контент, рекомендуем запрашивать индексирование Google вручную через инструмент проверки URL. Так вы ускорите индексацию нового контента.
Как добавить сайт в другие поисковые системы?
С помощью инструментов Bing Webmaster вы можете улучшить производительность вашего веб-сайта в этой поисковой системе. В меню слева есть пункт Sitemaps (Карты сайта). Выберите его, нажмите «Submit» и укажите УРЛ карты.
С индексом Bing работает и поисковая система Yahoo, поэтому вам не нужно предпринимать дополнительные действия, чтобы попасть в этот поисковик.
Еще один поисковик — DuckDuckGo — самостоятельно ищет новый контент, в нем нет инструмента для добавления новых страниц или карты сайта. Система использует собственный краулер, а также работает с индексом Bing, использует краудсорсинговые ресурсы (например, Википедию), Sportradar и многие другие.
Как проверить, что сайт проиндексирован?
Самый надежный способ проверить, проиндексирован ли ваш сайт — использовать отчет «Покрытие» в Search Console. Здесь вы можете увидеть страницы с разными категориями:
- Valid — страницы были проиндексированы и могут быть показаны в результатах поиска, нет необходимости что-либо делать.
- Valid with warning — веб-страницы могут отображаться в результатах поиска Google, но есть проблемы.
- Error — эти страницы не могут быть индексированы и не будут отображаться в результатах поиска из-за ошибок.
- Excluded — страницы не были проиндексированы и не появятся в результатах поиска, так как Google считает, что контент не заслуживает индексации.
Выберите желаемое состояние (ошибка, предупреждение или исключение) и посмотрите на детали, представленные на странице. Вы найдете список ошибок и количество затронутых страниц.
Чтобы проверить наличие в индексе отдельных страниц, вы можете использовать инструмент проверки URL.
Многие руководства рекомендуют проверять статус индексирования, введя в строку Google текст «site:your-domain.com». Его также можно использовать, но это не самый надежный источник информации.
В поисковой системе Bing проверить индексацию сайт можно с инструментом Site Explorer. Здесь можно отфильтровать проиндексированные URL-адреса и проверить, все ли нужные страницы попали в индекс.
Как исправить проблемы с индексацией
Ошибка индексации — это проблема, которая влияет на способность поисковых систем отслеживать и включать одну или несколько страниц веб-сайта в индекс. Проблемы с индексацией могут возникать по разным причинам. Чем быстрее вы устраните их, тем скорее поисковые роботы повторно просканируют сайт.
- Ошибка сервера (5xx) возникает, когда доступ к сайту невозможен из-за неправильной работы сервера. Проверьте, какой код состояния 5хх возвращается. Некоторые ошибки 5xx являются временными и не требуют никаких действий. Убедитесь, что сервер не перегружен и настроен правильно. Как правило, такие проблемы не возникают, если вы пользуетесь услугами надежного хостинг-провайдера. Если ошибка 5хх все же возникла, свяжитесь с техподдержкой хостинга или администратором выделенного сервера.
- Запрет индексации в файле robots.txt. Google всегда старается следовать директивам, приведенным в файле robots.txt. Блокировка может касаться всего сайта или отдельных страниц. Чтобы убрать ее, удалите из файла robots.txt текст:
User-agent: Googlebot
Disallow: /
User-agent: *
Disallow: /
- Запрет индексации тегом noindex. Этот тег располагается в секции head веб-страницы и запрещает индексацию. Если страницу нужно проиндексировать, удалите тег.
- Дубль страницы без тега canonical. Эта страница не указывает на каноническую страницу, поэтому Google сам ищет ее и добавляет в индекс канонический вариант. Если вы хотите индексировать эту страницу, вам придется указать для нее атрибут canonical.
- Страница с редиректом. Google не индексирует страницы с постоянной переадресацией, поэтому редирект нужно удалить, если веб-страница должна попасть в индекс.
- Страница возвращает код состояния ошибки 404, когда Гугл делает запрос. Googlebot не нашел страницу через карту сайта, но, вероятно ссылка есть на другом веб-сайте. Также возможно, что этот URL существовал в прошлом и был удален. Если ответ 404 является намеренным, вы можете оставить его. Это не повлияет на SEO. Однако если страница переместилась, настройте 301 редирект.
Иногда страницы могут быть исключены из индекса по юридическим причинам, но это довольно редкая ситуация.
Почему недостаточно просто добавить свой сайт в индекс?
Большую часть поискового трафика получают сайты, попавшие на первую страницу результатов. Пользователи обычно находят ответ на свой вопрос в топ-3 результатов, поэтому крайне важно продвигать сайт по целевым ключевым запросам. В этом поможет SEO-оптимизация, включающая целый список действий, включая:
- внутреннюю оптимизацию сайта;
- внешнюю оптимизацию — наращивание качественной ссылочной массы;
- создание интересного контента с добавлением целевых ключевых слов.
Алгоритмы ранжирования учитывают самые разные показатели, включая:
- скорость загрузки страниц;
- поведенческие факторы — время посещения, переход по ссылкам;
- соответствие информации ключевым запросам;
- количество и качество обратных ссылок.
Чтобы помочь Гугл и другим поисковикам выше ранжировать ваш сайт, необходим целый комплекс мер, направленный на улучшение всех показателей.
Выводы
Google и другие поисковики умеют искать веб-страницы самостоятельно. Краулеры постоянно совершенствуются, чтобы находить интересный и полезный контент. Создав карту сайта или вручную запросив индексирование, вы поможете поисковым системам обнаружить обновления на вашем веб-сайте. Рекомендуем вручную добавлять в Search Console новые страницы, чтобы ускорить индексацию. А если вы только создает сайт, обратите внимание на конструктор от TutHost.
