Что делать если AI ошибается
Что делать если AI ошибается Типовые симптомы AI-проблем в Chatterfy и что проверять в первую очередь: галлюцинации, неверный язык, ошибки , высокий…
Что делать если AI ошибается
Типовые симптомы AI-проблем в Chatterfy и что проверять в первую очередь: галлюцинации, неверный язык, ошибки AI Routings — глубокий разбор, высокий расход, проблемы Recognition, Variables, задержки и зацикливание flow.
Системное улучшение AI — итерации и метрики: Как улучшить качество AI. Архитектура слоёв и взаимосвязи модулей: Как устроен AI в Chatterfy.
Каталог типичных проблем
AI выдумывает факты, цены, функции
Проверьте
Что сделать
- Добавить факты в Reply Addition Info шага
AI Reply.
- Снизить creativity.
- При необходимости поменять модель
AI Reply.
AI отвечает не на том языке
Проверьте
Что сделать
- Явно указать в промпте: ALWAYS answer only in … (нужный язык).
AI Routings — глубокий разбор ведёт не в ту ветку
Проверьте
Не пересекаются ли условия разных Routings.
Порядок маршрутов в списке.
Не слишком ли похожи формулировки условий.
Что сделать
- Сузить условия.
- Уменьшить число веток.
AI слишком дорогой
Проверьте
Сколько шагов
AI Reply подряд в flow.Объём и сложность промптов.
Что сделать
- Использовать более лёгкую модель для
AI Reply.
- Сократить и упростить промпты.
- Уменьшить число шагов
AI Replyвнутри flow.
AI игнорирует контекст шага
Проверьте
Заполнен ли Goal шага.
Есть ли ключевые данные в Reply Addition Info.
Не конфликтует ли Global Legend с локальными инструкциями.
Что сделать
- Продублировать критичный контекст локально внутри шага.
Recognition не читает фото или документы
Проверьте
Режим Photo = Recognition.
Tasks и Functions распознавания.
Что сделать
- Уточнить задачу распознавания.
- Для сложных кейсов переключить в
Manual.
Голосовые не распознаются
Проверьте
Voice = Recognition.
Качество аудио и язык речи.
В каком формате пользователь присылает голосовое.
Что сделать
- Временно включить
Manualдля голосовых.
Flow переходит дальше слишком рано
Проверьте
Не слишком ли общие Requirements.
Нет ли ложных срабатываний Routings.
Что сделать
- Ужесточить условия.
- Развести похожие маршруты.
Ломается tone of voice
Проверьте
Нет ли противоречий между Global Legend и примерами.
Что сделать
- Снизить creativity.
- Добавить пример желаемой реплики в шаг
AI Reply.
- Использовать локальную Legend на проблемном шаге.
Что смотреть при любой проблеме
Чаще всего причина находится в одном из этих мест:
- Что сломалось
- Где проверять
- Текст ответа
- Настройки
AI Settings/AI Reply
- Ветка flow
- Фото / голосовые
- Переменные
Связанное
Эта статья была полезна?