Как тестировать несколько SEO-изменений одновременно

Не тестируйте несколько изменений на одной и той же группе URL, если хотите понять вклад каждого: в таком случае можно оценить только эффект всего пакета изменений.

Ждать после каждого изменения, откатывать его и только потом запускать следующее тоже необязательно. Для сайтов с большим количеством однотипных страниц быстрее проводить несколько экспериментов параллельно, но на разных группах URL.

Например, есть 100 сопоставимых страниц категорий:

• группа A — ничего не меняем, это контроль;
• группа B — добавляем текст под листингом;
• группа C — увеличиваем количество товаров на странице;
• группа D — добавляем тегирование над листингом;
• группа E — меняем Title.

Все четыре эксперимента идут одновременно, но изменения не пересекаются.

Это принципиально отличается от ситуации, когда вы на всех 100 страницах одновременно поменяли Title, добавили текст, теги и число товаров. Если после этого видимость выросла, установить причину уже нельзя: сработать могло одно изменение, комбинация нескольких изменений или вообще внешний фактор.

Как формировать группы

Недостаточно взять первые 20 категорий для эксперимента, а следующие 20 оставить контролем.

До изменений группы должны вести себя примерно одинаково. Желательно сопоставлять страницы по:

• органическим кликам и показам;
• динамике этих показателей;
• типу и шаблону страницы;
• характеру спроса;
• сезонности;
• уровню текущей видимости;
• товарному ассортименту или другому значимому для проекта признаку.

Если в эксперимент отправить самые слабые категории, а в контроль — самые сильные, сравнение изначально будет кривым.

Контроль нужен для понимания того, что происходило бы с тестовыми страницами без изменения. Например, одновременно с экспериментом мог начаться сезонный рост, измениться спрос, выйти апдейт поисковой системы или просесть конкурент.

Что фиксировать перед каждым тестом

Для каждого эксперимента заведите отдельную карточку:

Без такого журнала через несколько месяцев начинается путаница: разработчик поправил шаблон, SEO-специалист переписал Title, клиент поменял ассортимент, а потом никто уже не может восстановить, что именно произошло перед изменением трафика.

Не ориентируйтесь только на позиции

Для подобных экспериментов лучше смотреть не одну метрику, а несколько:

• клики;
• показы;
• CTR;
• набор запросов;
• количество URL, получивших рост;
• конверсии из органического трафика.

Средняя позиция полезна, но сама по себе плохо подходит для оценки эксперимента.

Например, изменение Title может практически не изменить позиции, но повлиять на CTR.

Увеличение числа товаров на странице может изменить сразу несколько вещей: объём доступного поисковику контента, внутреннюю перелинковку, набор товарных сущностей, пагинацию и количество запросов, по которым категория получает показы.

Поэтому для каждого теста заранее определяйте, какую именно метрику он теоретически должен изменить.

Когда несколько изменений можно объединять

Иногда пакет изменений — это нормальный эксперимент.

Например:

«Переделываем шаблон категории целиком: Title + H1 + текст + коммерческие блоки».

Если вопрос эксперимента звучит так:

«Новый шаблон категории работает лучше старого?»

— всё нормально.

Но после такого теста нельзя утверждать:

«Рост дал новый Title».

Можно утверждать только:

«После внедрения нового шаблона экспериментальная группа показала лучшую динамику относительно контроля».

То есть единицей тестирования должна быть гипотеза. Одна гипотеза может включать несколько изменений, если вам действительно важен эффект их комбинации.

Что делать на небольшом сайте

На сайте с пятью категориями нормальный параллельный эксперимент провести сложно: слишком мало сопоставимых URL.

Тогда остаётся более слабая схема:

1. Вносить одно крупное изменение за раз.
2. Фиксировать точную дату.
3. Оставлять максимально похожие страницы без изменений.
4. Сравнивать динамику тестовых страниц с общей динамикой сайта.
5. Проверять изменения спроса и сезонность.
6. Не делать сильных выводов по единичному скачку позиции.

Схема «внёс изменение → позиции выросли → изменение сработало» причинность не доказывает.

Особенно плохо бесконечно править одну страницу и после каждой переиндексации смотреть её позицию. Выдача сама по себе меняется, конкуренты тоже меняются, спрос меняется. Без контроля невозможно нормально отделить эффект вашей правки от обычного шума.

Практическая схема

Для среднего интернет-магазина я бы организовал эксперименты так:

• выделил постоянную контрольную выборку категорий;
• разбил оставшиеся сопоставимые страницы на несколько тестовых групп;
• на каждой группе проверял только одну гипотезу;
• вёл единый журнал изменений;
• заранее определял метрику успеха каждого теста;
• после теста раскатывал удачные изменения на оставшиеся страницы;
• спорные результаты повторял на другой выборке.

Так не приходится месяцами ждать проверки каждой идеи по очереди.

Главное правило простое: если два изменения одновременно внесены на одни и те же URL, их отдельный эффект после этого определить нельзя. Можно оценить только результат всей комбинации.