Неравномерное A/B тестирование — 90% на одну ветку, 10% на другую

A/B тест показывает 90% на одну ветку вместо 50/50 — почему это нормально и как работает равномерное распределение.

Обновлено 21 июня 2026 г.2 мин

Установили распределение 50/50 в A/B Router — случайное распределение или Assign Manager 50/50 на двух операторов — но видите 90% лидов идущих в одну сторону, 10% в другую. Это не баг и не неправильная настройка — это статистическая нормальность для малых выборок.

Почему так происходит

Любой случайный распределитель работает по подбрасыванию монетки на каждом лиде. На дистанции в тысячи бросков — соотношение выравнивается до 50/50. На дистанции в десяток — может оказаться 7/3, 8/2 или даже 10/0. Это не значит «монетка кривая» — это значит «бросков мало».

Цифры на пальцах: для надёжного отображения распределения 50/50 нужно минимум 200–500 лидов через шаг A/B. На 20 лидах вы можете увидеть 14/6 (соотношение «70/30»), и это будет в пределах нормы. На 1000 лидах разница 50/50 vs 51/49 уже информативна.

То же самое касается Assign Manager

Если в Assign Manager — распределение чатов установлено 50/50 на двух операторов, но один получил 8 чатов из 10 — на дистанции 10 это нормально. После 200 чатов разница выровняется. Если оператор жалуется на перегруз, дайте 100+ лидов через распределение прежде чем менять настройки.

Как проверить что всё в порядке

Откройте аналитику

Для A/B Router — Steps Conversion — воронка по шагам flow (видно сколько прошло через каждую ветку). Для Assign Manager — Chats — аналитика по диалогам (распределение чатов между операторами).

Дождитесь объёма

Дождитесь минимум 200 лидов через A/B Router. Если у вас в день идёт 30 лидов — это неделя ожидания. До этого момента не делайте выводов о «сломанном» распределении.

Сравните цифры

Если на 200+ лидах распределение значимо отклоняется от настроенного (например, поставили 50/50, а вышло 70/30) — тогда есть смысл смотреть конфиг внимательнее. До этого момента — статистика, не баг.

Чтобы быстрее набрать выборку для A/B

Тестируйте гипотезы там где трафика много. На холодных тестах с 5 лидами в день любой A/B будет «несбалансированным» — вы потратите неделю и не получите ответа. Если есть свежий запуск с большим потоком — гипотезы лучше проверять там.