Как закрывать страницы фильтров: noindex, canonical или robots.txt?

Не используйте noindex и rel="canonical" одновременно как стандартную схему для фильтров: выбирайте инструмент по цели. Если URL не должен появляться в поиске, используйте noindex и оставьте его доступным для обхода. Если URL является дублем и нужно объединить его сигналы с другой страницей, используйте canonical без noindex.

Что произойдёт при одновременном noindex и canonical

У поискового робота нет опубликованной таблицы приоритетов между этими механизмами, поскольку они решают разные задачи.

noindex — правило индексирования. После обхода URL Google должен исключить его из результатов поиска. Для работы правила страницу нельзя блокировать в robots.txt: иначе робот не получит HTML или HTTP-заголовок и не увидит noindex.

rel="canonical" — указание предпочитаемой версии среди одинаковых или очень похожих страниц. Для Google это сигнал, а не обязательная директива: поисковая система может выбрать другой канонический URL.

Комбинация сообщает две разные вещи:

• не индексировать текущий URL;

• считать его дублем другой страницы.

Надёжно прогнозировать можно исключение URL по noindex. Будет ли Google одновременно учитывать canonical и консолидировать сигналы с родительской категорией, не гарантируется. Google прямо не рекомендует применять noindex для управления выбором канонической страницы; Джон Мюллер также советовал выбирать один механизм, а не рассчитывать на возможную обработку обоих сигналов.

Яндекс документирует noindex как запрет участия страницы в поиске, а canonical — как указание предпочтительного адреса для группы страниц с одинаковым содержанием. Официального порядка обработки их одновременного использования Яндекс не публикует, поэтому создавать такой конфликт также не следует.

Как выбрать способ обработки фильтров

Сначала разделите фильтры по функции.

Индексируемые SEO-фильтры

Оставляйте страницу индексируемой, если комбинация соответствует самостоятельному поисковому спросу, формирует стабильную товарную выборку и полезна как отдельная посадочная страница.

Для неё обычно нужны:

• ответ сервера 200 OK;

• self-referencing canonical;

• самостоятельные Title и H1;

• доступные внутренние ссылки;

• включение в Sitemap при стабильном URL.

Например, общая категория «ноутбуки» и страница «игровые ноутбуки» могут отвечать на разные запросы. Если содержимое фильтра существенно отличается от общей категории, canonical на родительскую страницу может быть проигнорирован: Google объединяет в каноническую группу только одинаковые или очень похожие страницы.

Неиндексируемые комбинации

Для служебных фильтров, малополезных сочетаний и комбинаций без самостоятельной поисковой ценности используйте:

<meta name="robots" content="noindex">

Страница должна возвращать 200 OK и оставаться доступной поисковому роботу. Указывать follow необязательно: переход по ссылкам разрешён по умолчанию, если не задан nofollow.

Не добавляйте одновременно canonical на родительскую категорию только ради предполагаемой «передачи веса». Обработка сигналов с URL, исключённого через noindex, не гарантирована. Кроме того, фильтр, заметно меняющий товарную выборку, может не считаться дублем категории.

Дубли, не меняющие содержание

Для параметров сортировки, трекинга или представления, которые не меняют основное содержимое страницы, допустим canonical на чистый URL без noindex:

<link rel="canonical" href="https://example.ru/catalog/">

Canonical должен вести на доступную индексируемую страницу с эквивалентным содержанием. Сам канонический URL должен содержать ссылку canonical на себя.

Для Яндекса можно применять Clean-param, но только к параметрам, которые не влияют на содержимое: например, к отдельным трекинговым параметрам. Цвет, бренд, размер и другие характеристики, меняющие товарную выборку, нельзя автоматически объявлять незначимыми параметрами.

Пустые и невозможные комбинации

Если комбинация фильтров не возвращает товары, содержит повторяющиеся параметры или технически невозможна, Google рекомендует отдавать 404 Not Found. Не следует перенаправлять все такие URL на общую категорию.

Когда применять robots.txt

robots.txt управляет сканированием, а не гарантированной деиндексацией.

Он полезен на крупных сайтах, где фасетная навигация создаёт огромное пространство URL и робот расходует ресурсы на перебор комбинаций. Google рекомендует блокировать обход таких шаблонов, если фильтры не должны появляться в поиске. Canonical и nofollow считаются менее эффективными инструментами долгосрочного управления обходом фасетных URL.

Но уже проиндексированные страницы сначала необходимо открыть для обхода и передать noindex. Если сразу добавить Disallow, робот не увидит метатег, а URL может сохраняться или появляться в результатах без содержимого.

После исключения URL из индекса решение о блокировке обхода принимается отдельно:

• noindex отвечает за отсутствие страницы в результатах;

• robots.txt отвечает за сокращение обращений робота;

• canonical отвечает за выбор представительной версии дубля.

Массовое правило Disallow должно содержать исключения для индексируемых SEO-фильтров. Иначе вместе с техническими комбинациями можно закрыть полезные посадочные страницы.

Как проверить внедрение

1. Проверьте, что неиндексируемый URL отдаёт 200 OK, доступен роботу и содержит один корректный noindex.

2. В Google Search Console используйте проверку URL и отчёт об индексировании. Для noindex-страниц ожидается исключение из-за noindex; для дублей отдельно сравнивайте заявленный и выбранный Google канонический URL.

3. В Яндекс Вебмастере проверяйте статусы исключённых страниц: META_NO_INDEX для запрета индексирования и NOT_CANONICAL для неканонического URL.

4. По серверным логам сравните частоту обхода параметрических URL до и после настройки. Это проверяет именно задачу управления сканированием, которую один noindex не обязан решать.