Стоит ли удалять старые новости без трафика на сайте с 1 млн страниц?

Удалять или закрывать от индексации все новости, которые не получили трафика за последний год, не стоит. Для сайта примерно на 1 млн URL краулинговый бюджет уже может быть реальной технической проблемой, но отсутствие трафика само по себе не доказывает, что URL бесполезен или мешает обходу.

Google прямо относит сайты с 1 млн+ уникальных страниц к тем, для которых управление crawl budget может быть актуально. При этом эффект возникает не от самого уменьшения числа страниц, а только если Googlebot действительно тратит значимую часть обхода на URL, которые не нужно повторно обрабатывать, и из-за этого важные страницы обнаруживаются или переобходятся хуже.

Почему «0 трафика за год» не подходит для массового удаления

Нулевой трафик смешивает несколько разных ситуаций. Новость могла не получить кликов, но всё ещё иметь показы, внешние ссылки, внутренние ссылки, сезонный спрос, брендовый спрос, цитируемость или историческую ценность. Для новостного сайта это особенно существенно: архив может быть самостоятельным информационным продуктом, а не SEO-мусором.

Поэтому год без трафика стоит использовать только как первый фильтр аудита. Перед удалением необходимо проверить:

• показы и запросы в Google Search Console, а не только клики;
• внешние ссылки на URL;
• внутренние ссылки и роль страницы в архитектуре;
• наличие близкого или более полного материала, с которым страницу можно объединить;
• сезонность и вероятность повторного спроса;
• частоту обхода Googlebot и YandexBot по серверным логам;
• текущий статус URL в индексировании Google и Яндекса.

Профессиональные рекомендации по content pruning сходятся в том же месте: arbitrary threshold вроде «0 кликов = удалить» слишком груб. В анализ должны входить ссылки, иной трафик, релевантность, история страницы и её неSEO-ценность. В качестве отдельного примера прямо приводится историческая ценность газетной статьи.

Если URL год не получает кликов, но Googlebot за тот же период почти не обращается к нему, его удаление почти ничего не даст краулинговому бюджету.

Ускорится ли обход сайта после удаления старых новостей

Может ускориться, но не автоматически.

Google определяет crawl budget через сочетание доступной мощности обхода и потребности в обходе. В актуальной документации Google отдельно указывает, что большой инвентарь дублирующихся, удалённых, неважных и других нежелательных URL может расходовать время Googlebot. Но освободившийся ресурс не обязательно будет автоматически перенаправлен на остальные страницы: Google предупреждает, что этого может не произойти, если сайт не упирается в свой crawl capacity limit.

Поэтому сначала надо доказать наличие узкого места. Для новостника симптомом будет не само наличие миллиона URL, а сочетание двух вещей: свежие или важные материалы обходятся хуже необходимого, а заметная часть запросов Googlebot при этом приходится на старый малоценный инвентарь.

Проверять это нужно по серверным логам, Crawl Stats в Search Console, состояниям индексирования приоритетных URL и скорости первого обхода новых публикаций.

У Яндекса логика похожая: Вебмастер рекомендует сначала смотреть статистику обхода и серверные логи, а уже затем ограничивать ненужные URL. В документации в качестве типичных целей такой оптимизации приводятся прежде всего служебные страницы, дубли и URL с параметрами.

Поможет ли noindex

Как инструмент экономии crawl budget, noindex не является прямым решением.

Google должен скачать страницу, чтобы увидеть meta robots noindex или X-Robots-Tag: noindex. Поэтому директива исключает страницу из результатов поиска, но сама по себе не запрещает её обход. Google допускает, что после деиндексации такие URL косвенно могут потреблять меньше ресурсов в долгосрочной перспективе, но это не то же самое, что блокировка сканирования.

noindex подходит, если старая новость должна оставаться доступной посетителям или внутренним сервисам, но присутствие URL в поиске больше не нужно.

Если страница полностью удаляется и релевантной замены нет, корректнее отдавать 404 Not Found или 410 Gone. Google называет такой ответ сильным сигналом не продолжать обычный переобход URL; ответы 4xx, кроме 429, отдельно не считаются потерей crawl budget после получения статуса.

Если несколько материалов реально заменены одним новым материалом с тем же интентом, допустим 301. Массово перенаправлять тысячи старых новостей на главную, рубрику или лишь отдалённо похожую статью не стоит: нерелевантные массовые редиректы Google может интерпретировать как soft 404.

Перестанет ли «утекать вес» на старые новости

Так описывать механизм некорректно.

Google действительно использует ссылки для обнаружения URL, понимания страниц и оценки их относительной важности внутри структуры сайта. Но из этого не следует, что после удаления 300 000 старых новостей существует фиксированная пачка «веса», которая просто поделится между оставшимися URL.

На прямой вопрос о том, разбавляет ли большое количество внутренних и внешних ссылок PageRank, представитель Google рекомендовал не строить стратегию вокруг такой механической модели и отметил, что ограничение внутренних ссылок способно скорее навредить обнаружению и пониманию сайта.

Практическая задача здесь другая: важные свежие и вечнозелёные материалы должны получать более сильную внутреннюю поддержку, а старый архив не обязан иметь ту же видимость в навигации и перелинковке только потому, что URL существует.

Как чистить архив на 1 млн страниц

Не стоит применять одно правило ко всему архиву. URL лучше разделить на четыре типа.

Оставить индексируемой: уникальная новость, есть показы, ссылки, историческая ценность, повторяющийся спрос либо редакционная причина хранить материал в поиске.

Обновить или объединить: тема остаётся востребованной, но материал устарел, слаб или конкурирует с более полноценным URL. После реального объединения допустим релевантный 301.

Оставить доступной, но закрыть через noindex: материал нужен посетителям или архиву сайта, однако участвовать в поиске ему больше незачем.

Удалить с 404/410: материал окончательно потерял актуальность, не имеет ссылок, показов, внутренней ценности, релевантной замены и редакционной причины храниться публично.

Изменения разумнее выкатывать по однородным сегментам, а не выносить сотни тысяч URL одной командой. После каждого этапа сравниваются распределение обращений поисковых роботов в логах, скорость обхода новых публикаций, индексирование приоритетных страниц и поисковый трафик оставшегося массива. Отраслевые кейсы показывают положительные результаты крупных чисток, но одновременно содержат другие изменения сайта, поэтому доказательством универсального роста они не являются.

Для Яндекса сам факт существования малоценных или маловостребованных страниц не считается нарушением или ограничением ранжирования сайта. Поэтому и здесь логика «нулевой трафик значит URL портит весь домен» доказательств не имеет.

Google отдельно предостерегает и от другой разновидности той же идеи: массового удаления старого контента просто ради того, чтобы сайт выглядел более «свежим». Само по себе такое удаление преимущества в ранжировании не создаёт.