Как улучшить качество AI
Как улучшить качество AI: проверить настройки, промпты, restrictions, routing, модели и качество исходных данных в боте.
Как улучшить качество AI
Итеративный тюнинг: промпты, A/B, выбор модели, замеры. Цикл «наблюдай → гипотеза → правка → измерение» — единственный способ не превратить настройку в случайный перебор.
Если AI уже включён, но ответы нестабильны или дорогие, случайные правки без метрик обычно ухудшают ситуацию.
Где искать проблемы
Messenger — реальные диалоги
Смотрите:
- где AI отвечает не по теме.
- где пользователь путается.
- где оператору приходится вмешиваться.
- где бот зацикливается.
- где AI пишет слишком длинно или формально.
Steps Conversion — просадки во flow
- на каких
AI Replyшагах лиды перестают отвечать.
- где резко падает конверсия.
- после каких Routings лиды чаще выходят из сценария.
- Если один AI-шаг даёт сильную просадку — проблема обычно либо в Goal / Requirements, либо в самом тексте ответа AI.
Billing — цена AI
- стоимость одного диалога.
- рост расходов после изменений.
- какие модели расходуют больше всего средств.
- нет ли лишних AI-вызовов.
Симптом → где искать
Симптом | Где обычно проблема |
|---|---|
AI выдумывает фичи, цены, гарантии | Restrictions, Reply Addition Info, Goal |
AI уходит не в ту ветку | AI Routings или Goal |
Ответы слишком сухие / длинные | Response Style, creativity, reply-модель |
AI игнорирует контекст шага | Reply Addition Info |
Ответы на неправильном языке | Response Style |
Слишком дорого | Дорогая модель, длинные промпты, лишние AI-вызовы |
Цикл тюнинга
Наблюдайте
Просмотрите реальные диалоги в Messenger. Найдите конкретный симптом: галлюцинации, неверный язык, плохой переход.Сформулируйте гипотезу
Например: «AI игнорирует Goal — нужно уточнить формулировку» или «Routings слишком похожи — нужно разграничить».Внесите одну правку
Меняйте только один параметр за итерацию: промпт, модель, настройки Routing. Иначе неясно, что помогло.Измерьте результат
После изменений: проверьте в Demo space, дождитесь реальных диалогов, сравните метрики до/после.
Когда менять модель
Усилить router-модель
Если:
- • AI Routings — глубокий разбор ошибаются.
- flow идёт не в те ветки.
Усилить reply-модель
Если:
- логика переходов уже хорошая.
- но сами ответы выглядят слабо.
- AI звучит слишком роботизированно.
- ответы плохо удерживают диалог.
Following instructions / creativity
Ползунок влияет на вариативность ответов:
- ближе к 0 → ответы более строгие и предсказуемые.
- ближе к 1 → ответы более разнообразные и свободные.
- Для большинства продакшн-сценариев обычно используют средние значения около 0.4–0.6.
Какие метрики смотреть
Эскалации на оператора
Сколько диалогов бот закрывает без человека.Конверсия AI-шагов
Проверяется через Steps Conversion: доля пользователей, выполнивших Goal.Стоимость
Смотрите в Billing и Использование ресурсов.Сигналы качества
Полезно учитывать внешние сигналы: отклики команды, обратная связь от лидов.
️ Важно: Универсальных «правильных процентов» для AI нет. Хорошие значения сильно зависят от:
- ниши.
- качества трафика.
- длины flow.
- сложности оффера.
- используемых моделей.
- Оценивайте улучшения относительно своих прошлых данных, а не чужих цифр.
Частые вопросы
Связанное
Эта статья была полезна?