Как сообщить Поиску об изменениях на сайте

Содержание многих сайтов меняется. Поэтому поисковые роботы регулярно их обходят. Правда, новые данные попадают в поиск не сразу после переиндексации, а примерно через неделю. Поэтому, если вы недавно открыли сайт или исправили опечатки в тексте, не беспокойтесь, что этих данных ещё нет в поиске.

Есть сайты, новый контент которых попадает в поиск очень быстро. К ним относятся крупные популярные ресурсы с часто обновляемой информацией, например сайты СМИ.

Как люди используют карту, чтобы посетить все интересующие их места, так и роботы предпочитают двигаться по сайту с помощью специальной карты — Sitemap. Она нужна для того, чтобы робот не пропустил какие-нибудь страницы сайта. Такая карта особенно важна для крупных ресурсов со сложной структурой.

Чтобы робот мог пользоваться вашей картой, она должна быть не больше 50 МБ в несжатом виде, содержать не более 50 тысяч страниц и располагаться в том же домене, что и включённые в неё страницы. Если карта не отвечает этим требованиям, можно разбить её на несколько файлов и указать их в файле индекса Sitemap.

Чаще всего карта сайта создается автоматически. Наиболее распространённые форматы карт — текстовый и XML. Яндекс поддерживает оба. Однако лучше использовать формат XML, потому что в нём есть дополнительные поля. Они позволяют указать значимость страницы, частоту её обновления и дату последних изменений.

Если карта сайта содержит ошибки, робот может воспринять её неправильно или вообще не прочитать. Проверить карту легко на сервисе Яндекс Вебмастер — с помощью инструмента «Анализ файлов Sitemap».

Загрузить карту в валидатор можно несколькими способами. Например, вы можете скопировать содержимое файла Sitemap и вставить в форму. Другой вариант — дать ссылку на файл или загрузить его с компьютера. Валидатор проверит файл и сообщит, есть ли в нём ошибки или нет. А если ошибки есть, вы увидите, где именно и какие.

Для работы с картой будет полезен также инструмент «Файлы Sitemap». Он позволяет отправить её на индексирование. Тогда поисковый робот точно узнает о вашем сайте и сможет легко на нём ориентироваться.

Теперь добавим карту в очередь на индексирование. Для этого нужно нажать кнопку «Добавить». После того как робот обойдет Sitemap, сервис сменит статус «В обработке» на «Готово».

Кроме того, ссылку на карту сайта желательно разместить в robots.txt — для поисковых роботов этот файл обязателен для прочтения. Когда робот обнаружит карту сайта в robots.txt, она отобразится в сервисе Яндекс Вебмастер. Вот как можно указать ссылку на Sitemap в robots.txt:

User-agent: *
Allow: /
Sitemap: https://siteforyandex.com/sitemap.xml

Информационные услуги оказываются ООО «Яндекс» и не являются образовательными → https://yandex.ru/adv/edu/materials