Как ускорить индексацию молодого сайта

Чтобы молодой сайт быстрее вошёл в индекс, нужно обеспечить поисковым роботам доступ к страницам, связать их внутренними ссылками, передать Sitemap и точечно отправить важные URL на переобход. Но ни один из этих способов не гарантирует включение страницы в индекс: они прежде всего ускоряют обнаружение и сканирование.

Сначала проверьте, можно ли вообще индексировать страницы

До любых попыток «ускорения» проверьте техническую часть. Нужная страница должна:

• отдавать HTTP 200 OK;
• не содержать meta robots noindex;
• не получать noindex через X-Robots-Tag;
• быть доступной поисковому роботу;
• не указывать через canonical на другую страницу без необходимости;
• содержать основной контент в версии, которую способен получить и отрисовать робот;
• иметь хотя бы одну обычную внутреннюю ссылку с другой доступной страницы сайта.

Последний пункт особенно важен для нового сайта. Если страница существует только в Sitemap, но на самом сайте на неё ничего не ссылается, поисковик может её обнаружить, однако такая архитектура сама по себе является плохим сигналом для обхода сайта. Важные документы не должны быть сиротами.

Добавьте Sitemap сразу после запуска

Для молодого сайта Sitemap особенно полезен: у нового домена обычно мало внешних ссылок, по которым поисковый робот мог бы самостоятельно обнаружить страницы.

В Sitemap стоит передавать только канонические URL, которые действительно должны присутствовать в поиске. Не нужно добавлять туда редиректы, служебные страницы, дубли, результаты фильтрации и другие URL, которые вы сами не хотите видеть в индексе.

Sitemap следует добавить как минимум в Google Search Console и Яндекс Вебмастер. Его наличие помогает поисковикам обнаруживать URL, но не означает, что перечисленные страницы обязательно будут просканированы и проиндексированы.

Повторно отправлять неизменившийся Sitemap по несколько раз в день смысла нет. Это не заставляет Google индексировать сайт быстрее.

Постройте нормальную внутреннюю перелинковку

Поисковые роботы находят новые документы не только через Sitemap, но и переходя по ссылкам.

На молодом сайте основные коммерческие и информационные страницы должны быть достижимы от главной и разделов сайта через обычные HTML-ссылки. Не стоит рассчитывать только на JavaScript-кнопки, формы поиска или элементы интерфейса, из которых робот не получает нормальный URL.

Приоритетные страницы полезно связывать с уже доступными поисковику разделами: главной, категориями, страницами услуг, тематически связанными статьями.

Глубоко спрятанная страница без внутренних ссылок и страница, на которую ведут несколько релевантных ссылок с основных разделов, для обхода сайта — разные ситуации.

Отправьте ключевые URL вручную

В Google Search Console для нескольких наиболее важных страниц можно использовать «Проверку URL» → «Запросить индексирование».

Это имеет смысл после запуска:

• главной;
• основных категорий;
• ключевых страниц услуг;
• нескольких наиболее важных новых материалов.

Отправлять таким способом подряд сотни страниц не нужно. У инструмента есть ограничения, а повторные запросы для одного URL не ускоряют его повторный обход.

В Яндекс Вебмастере есть отдельный инструмент «Переобход страниц». Он также позволяет передать приоритетные URL роботу.

Для большого количества страниц вместо ручной отправки рациональнее использовать Sitemap и автоматические механизмы уведомления.

Для Яндекса можно подключить IndexNow

Яндекс поддерживает IndexNow — протокол, через который сайт автоматически сообщает поисковой системе о появлении, изменении или удалении URL.

Это удобно для сайтов, где страницы регулярно создаются или обновляются. Многие CMS и SEO-плагины умеют отправлять такие уведомления автоматически.

IndexNow также поддерживается Bing и рядом других поисковых систем. Сам факт успешной передачи URL через IndexNow означает только получение уведомления поисковой системой, а не гарантированное индексирование страницы.

Для Google этот механизм использовать как замену Search Console и Sitemap не следует.

Не путайте обнаружение, обход и индексирование

Чтобы понять, что именно тормозит, смотрите статус конкретного URL.

Если поисковик URL ещё не обнаружил, проверяйте Sitemap и ссылки на страницу.

Если URL обнаружен, но долго не сканируется, проверяйте внутреннюю перелинковку, доступность сервера и не создаёт ли сайт большое количество бесполезных URL.

Если страница уже просканирована, но не попадает в индекс, новые заявки на переобход обычно проблему не решают. Нужно проверять canonical, noindex, дублирование, содержимое страницы и то, какую версию документа фактически получил поисковый робот.

Например, статус Google Search Console «Просканировано — в настоящее время не проиндексировано» означает принципиально другую проблему, чем ситуация, когда Google вообще не знает о существовании URL.

Что делать после запуска молодого сайта

Рабочая последовательность выглядит так:

1. Проверить HTTP-статусы, robots.txt, noindex, canonical и доступность контента.
2. Убедиться, что все нужные страницы связаны внутренними ссылками.
3. Сформировать Sitemap только из индексируемых канонических URL.
4. Добавить сайт и Sitemap в Google Search Console и Яндекс Вебмастер.
5. Отправить несколько наиболее важных страниц на ручной переобход.
6. Для Яндекса подключить IndexNow; при необходимости — обход по данным счётчика Метрики.
7. Следить за статусами страниц, а при необходимости — за обращениями поисковых роботов в серверных логах.

Главная ошибка — воспринимать отправку URL как команду «добавить в индекс». Поисковой системе можно быстрее сообщить о странице и помочь её просканировать, но решение о включении документа в индекс принимается отдельно. Поэтому после того, как робот уже получил страницу, дальнейшая работа должна быть направлена не на повторные заявки, а на причину отказа от индексирования.