Нужно ли закрывать пагинацию информационного сайта в noindex из-за Google Fred?

Обычные страницы пагинации информационного сайта не следует автоматически закрывать в noindex: для Google безопаснее оставить их доступными для сканирования и индексирования, если через них робот находит старые статьи. Связь между пагинацией и санкциями или отдельным негативным эффектом Google Fred не подтверждена.

Как настраивать обычную пагинацию

Каждая страница последовательности должна иметь отдельный URL, доступные HTML-ссылки на соседние страницы и self-referencing canonical — каноническую ссылку на саму себя. Google прямо указывает, что URL пагинации рассматриваются как отдельные страницы, и не рекомендует канонизировать вторую, третью и последующие страницы на первую.

Базовая схема:

<!-- /blog/page/2/ -->
<link rel="canonical" href="https://example.com/blog/page/2/">

<a href="/blog/">1</a>
<a href="/blog/page/3/">3</a>

Ссылки должны быть обычными элементами <a href="…">. Кнопка «Показать ещё» или бесконечная прокрутка без доступных URL не гарантируют, что Googlebot обнаружит все статьи: робот в первую очередь извлекает адреса из атрибута href и обычно не выполняет действия, требующие пользовательского клика.

rel="next" и rel="prev" можно оставить для систем, которые их используют, но Google больше не учитывает эти элементы при распознавании пагинации.

Для индексируемой пагинации отдельный meta robots не нужен. Значение all, то есть отсутствие ограничений на индексирование и обработку ссылок, используется Google по умолчанию. Запись index, follow допустима, но ничего не добавляет.

Почему noindex, follow — не универсальное решение

noindex исключает URL из результатов Google после повторного сканирования, но не запрещает Googlebot загружать страницу. Поэтому эта директива сама по себе не экономит краулинговый бюджет: робот запрашивает URL, обнаруживает noindex, после чего удаляет документ из результатов.

follow в конструкции noindex, follow избыточен. Если nofollow не указан, Google может использовать размещённые на странице ссылки для обнаружения других URL. При этом официальная документация не гарантирует, что исключённая из индекса страница будет постоянно и с прежней частотой сканироваться ради её ссылок. Архитектуру сайта нельзя строить так, чтобы важные статьи обнаруживались только через закрытую пагинацию.

Старые статьи должны получать ссылки и из других постоянных элементов сайта:

• индексируемых рубрик;

• тематических хабов;

• блоков связанных материалов;

• контекстной перелинковки;

• HTML-карты сайта, если она действительно нужна пользователям.

Google рекомендует, чтобы у каждой важной страницы была хотя бы одна внутренняя ссылка с другого URL сайта.

Нельзя одновременно закрывать пагинацию в robots.txt и рассчитывать на обработку noindex. Если Googlebot не может загрузить документ, он не увидит ни метатег robots, ни HTTP-заголовок X-Robots-Tag.

Имеет ли пагинация отношение к Google Fred

Доказанной причинной связи нет. Fred — не специальное правило Google для архивов, рубрик или страниц пагинации. Этим названием SEO-сообщество обозначило изменения выдачи в марте 2017 года.

Представитель Google Гэри Илш позднее описал Fred как близкое к стандартному обновление качества, связанное с общими рекомендациями для веб-мастеров. Пагинация, noindex и архивные страницы не были названы отдельными целями обновления.

Следовательно, закрывать /page/2/, /page/3/ и остальные URL только из опасения перед Fred неправильно. Пагинация может создавать проблемы не из-за своего типа, а из-за реализации:

• бесконечного количества URL;

• индексируемых вариантов сортировки и фильтрации;

• пустых страниц;

• дублирующихся наборов материалов;

• неправильной каноникализации на первую страницу;

• отсутствия обычных HTML-ссылок;

• шаблонного текста, повторяющегося на каждой странице.

Google отдельно рекомендует предотвращать индексирование ненужных вариантов сортировки и фильтров, но отличает их от основной последовательности страниц пагинации.

Когда noindex оправдан

Закрытие страниц 2+ возможно, если они действительно не нужны в поиске и не являются критическим маршрутом к статьям. Например, сайт уже имеет полноценные индексируемые рубрики и тематические хабы, каждая статья получает постоянные внутренние ссылки, а пагинация используется только как вспомогательный интерфейс.

В этом случае достаточно:

<meta name="robots" content="noindex">

Добавлять follow необязательно: обработка ссылок разрешена по умолчанию, пока не указана директива nofollow.

Отдельно следует ограничивать не основную пагинацию, а технические вариации списка:

• ?sort=popular;

• ?order=asc;

• фильтры по тегам и датам, создающие дубли;

• комбинации нескольких параметров;

• номера страниц за пределами существующего диапазона.

Для небольшого информационного сайта массовое закрытие пагинации обычно не даёт самостоятельной SEO-пользы. Google относит полноценное управление краулинговым бюджетом прежде всего к сайтам с миллионами URL, десятками тысяч быстро обновляемых страниц или большой долей URL со статусом «Обнаружено — пока не проиндексировано». Указанные значения приблизительны, а не являются жёсткими лимитами.

Практическая схема проверки

1. Оставьте основные страницы пагинации индексируемыми и задайте каждой self-canonical.

2. Проверьте, что переходы реализованы через <a href>, а не только через JavaScript-кнопку.

3. Не канонизируйте все страницы последовательности на первую.

4. Уберите повторяющийся SEO-текст со страниц 2+, если он дословно дублирует вводный блок рубрики.

5. Возвращайте 404 для номеров страниц за пределами существующего диапазона, а не пустой шаблон с кодом 200. Для окончательно отсутствующих URL Google рекомендует статусы 404 или 410.

6. Проверьте несколько URL в инструменте проверки URL и отчёте об индексировании Search Console.

7. Просканируйте сайт SEO-краулером и убедитесь, что после исключения пагинации важные статьи не становятся сиротами.

8. Отдельно найдите и ограничьте сортировки, фильтры и циклические комбинации параметров.

Отсутствие показов у /page/5/ само по себе не является основанием для noindex. Функция такой страницы может заключаться не в получении поискового трафика, а в навигации и обнаружении старых материалов.

Рабочий вариант по умолчанию для информационного сайта: индексируемая пагинация, self-canonical, последовательные HTML-ссылки и отдельная работа с параметрическими дублями. noindex применяют после проверки архитектуры, а не как защиту от Fred.