Как закрыть розничный раздел /roz/: редиректы или удаление страниц?

Не перенаправляйте весь раздел /roz/ на главную и не ограничивайтесь noindex. Оптимальная схема — распределить старые URL по трём группам: страницы с реальным аналогом перенаправить постоянным 301, страницы без замены удалить с ответом 404 или 410, а отдельные страницы с самостоятельной информационной ценностью при необходимости оставить доступными без функции розничного заказа.

По указанной структуре site.com/roz/ — это подкаталог, а не поддомен. Технически задача является частичным закрытием раздела и миграцией части URL внутри одного хоста. Отсутствие внутренней перелинковки между оптовой и розничной версиями упрощает очистку ссылок, но не отменяет работу со старыми адресами: они могут оставаться в индексе, получать переходы из поиска, иметь внешние ссылки, закладки и сохранённые рекламные URL.

Почему нельзя перенаправить весь /roz/ на главную

Массовый редирект всех товарных, категорийных и служебных URL на site.com/ создаёт несоответствие между старой страницей и целью. Пользователь, открывший конкретный товар, попадает на общую оптовую главную и должен заново искать нужную позицию. Google рекомендует не перенаправлять множество старых URL на один нерелевантный адрес: такие перенаправления могут распознаваться как soft 404, то есть фактически обрабатываться как отсутствие содержательной замены.

Редирект на главную допустим только для URL, для которого главная действительно является логическим преемником. Для корня site.com/roz/ более точной целью обычно будет корень оптового каталога, страница с условиями оптовой продажи или отдельная страница о прекращении розницы. Для конкретной карточки товара главная почти никогда не является эквивалентом.

Какой ответ назначить каждому типу URL

Google рекомендует 301, когда страница перемещена или имеет ясную замену, и 404/410, когда содержимое удалено и похожей замены нет. Яндекс также рекомендует серверный 301 на новый или тематически близкий раздел при сохранении тематики сайта.

Разница между 404 и 410 прежде всего семантическая. 410 означает, что ресурс намеренно удалён и его отсутствие, вероятно, постоянно. 404 не сообщает, временно или постоянно отсутствует ресурс. Google принимает оба статуса для страниц без замены; подтверждённого универсального SEO-преимущества 410 перед корректным 404 нет.

Оптовая карточка не всегда является полноценной заменой розничной. Если минимальная партия, цена, доставка и способ заказа принципиально отличаются, поисковый интент «купить в розницу» больше не обслуживается. В таком случае технический 301 может сохранить удобный маршрут к товару, но не гарантирует сохранение позиций по розничным запросам. Это обоснованный вывод из требования к релевантности цели редиректа, а не подтверждённая гарантия поисковой системы.

Как обработать более 1000 страниц без ручной простановки

Не нужно вручную открывать каждую карточку в двух админках. Сначала сформируйте таблицу соответствий и автоматизируйте очевидные совпадения по SKU, внутреннему ID, артикулу, бренду, модели или нормализованному slug.

Минимальная структура файла:

old_url,action,new_url,match_basis
/roz/product-a/,301,/catalog/product-a/,sku
/roz/category-b/,301,/catalog/category-b/,category_id
/roz/retail-only-product/,410,,no_replacement

Полный список старых URL собирается не только из текущего sitemap. Используйте выгрузку розничной CMS, старые XML-карты, Google Search Console, Яндекс Вебмастер, аналитику, серверные логи и данные о внешних ссылках. Это позволяет найти сиротские URL, которые уже не связаны внутренними ссылками, но продолжают получать запросы роботов или пользователей. Google рекомендует составлять перечень старых URL по sitemap, логам, CMS и данным о ссылках; отраслевые руководства по миграциям дополняют этот набор аналитикой, Search Console и результатами полного краулинга.

Порядок приоритета для ручной проверки:

1. URL с органическими кликами и показами;

2. страницы с заказами или значимыми переходами;

3. URL с внешними ссылками;

4. категории и брендовые страницы;

5. остальные карточки, которые можно сопоставить автоматически;

6. страницы без трафика, ссылок и аналога — 410 или 404.

Приоритизация по трафику, конверсиям и внешним ссылкам является профессиональной рекомендацией, а не требованием Google. Она сокращает ручную работу и снижает вероятность потери наиболее значимых URL.

Редиректы лучше реализовать на уровне веб-сервера, reverse proxy или единого маршрутизатора, а не внутри отключаемой розничной админки. Тогда старую CMS можно вывести из эксплуатации, сохранив корректные ответы старых URL.

Порядок внедрения

1. Выгрузите все URL под префиксом /roz/ и зафиксируйте их текущие статусы, canonical, трафик и целевые страницы.

2. Постройте карту старый URL → действие → новый URL.

3. Проверьте автоматические совпадения выборкой и отдельно просмотрите страницы с трафиком и внешними ссылками.

4. Отключите корзину, оплату, оформление заказа, API и иные розничные функции.

5. Одновременно включите 301 и 404/410. Не оставляйте период, когда старые URL возвращают пустой 200 OK.

6. Удалите /roz/ из навигации, внутренних ссылок, актуального XML sitemap, структурированных данных, рекламных кампаний и товарных фидов.

7. На целевых оптовых страницах оставьте self-referencing canonical и прямые внутренние ссылки без промежуточного редиректа.

8. Проверяйте редиректы сразу до конечного URL, без цепочек.

9. Сохраняйте постоянные редиректы не менее года; Google рекомендует по возможности держать их дольше.

10. После запуска отслеживайте индексацию, обход, переходы и серверные ошибки.

Google рекомендует подготовить URL mapping, обновить внутренние ссылки, canonical и sitemap, направлять редиректы сразу на конечную цель и сохранять их не менее года.

Проверка отдельных URL:

curl -I https://site.com/roz/product-a/
curl -I https://site.com/roz/retail-only-product/

Для первого URL ожидается 301 и заголовок Location на рабочую оптовую страницу, которая отвечает 200 OK. Для второго — реальный 404 или 410, а не страница с текстом «товар удалён» и кодом 200. Возврат успешного статуса для фактически отсутствующей страницы может привести к классификации soft 404.

Почему noindex не решает задачу закрытия

noindex запрещает показывать доступную страницу в поиске, но не удаляет сам ресурс, не перенаправляет пользователя и не сообщает, что URL перемещён или окончательно исчез. Google должен получить страницу, чтобы увидеть noindex; если одновременно закрыть /roz/ в robots.txt, директива может не быть обработана.

Использовать noindex можно только для страниц, которые сознательно остаются доступными с ответом 200 OK, но не должны участвовать в поиске. Для полностью закрываемой розницы это лишняя промежуточная модель: сервер продолжает обслуживать старые страницы, а поисковые и пользовательские сигналы не получают однозначного назначения. Для постоянного закрытия лучше 301 при наличии преемника и 404/410 при его отсутствии.

Не закрывайте весь /roz/ через Disallow до обработки старых URL. Роботы должны запросить адреса и увидеть редирект либо код удаления. В Яндекс Вебмастере инструмент массового удаления по префиксу имеет отдельное требование к Disallow, но он не заменяет корректные HTTP-ответы и создаёт конфликт с обработкой noindex и редиректов Google. Для обычной миграции безопаснее дать поисковикам переобойти старые URL.

Как оценить результат

После запуска проверьте весь список старых URL автоматическим краулером или скриптом. Успешная миграция означает:

• сопоставленные URL возвращают один постоянный редирект на релевантную страницу с 200 OK;

• несопоставленные URL возвращают 404 или 410;

• нет редиректов всех страниц на главную;

• нет цепочек, циклов и целей с ошибками;

• старые URL отсутствуют во внутренних ссылках и актуальном sitemap;

• в Google Search Console не растёт число неожиданных soft 404;

• в Яндекс Вебмастере старые адреса постепенно исключаются, а цели редиректов доступны роботу;

• серверные логи не показывают массовые ошибки на приоритетных URL.

Google рекомендует тестировать редиректы, отслеживать ошибки индексирования, sitemap, трафик и серверные логи. Яндекс указывает, что при внутрихостовом редиректе в поиске должна отображаться страница-цель, а старый адрес постепенно исключается после повторного обхода.

Временные колебания видимости при обработке большого числа URL возможны. При этом сравнивать нужно не только суммарный трафик: отдельно отслеживайте переходы на старые /roz/, новые оптовые страницы и запросы с розничным интентом. Если розничное предложение закрыто, сохранение всего прежнего органического трафика не является реалистичным критерием успеха. Корректный критерий — отсутствие технически потерянных релевантных URL и предсказуемое удаление страниц, для которых замены действительно нет.