AI Recognition — обработка медиа
через AI AI Recognition — функция внутри Automation & AI, которая позволяет AI обрабатывать медиафайлы пользователя.
AI Recognition — обработка медиа через AI
AI Recognition — функция внутри Automation & AI, которая позволяет AI обрабатывать медиафайлы пользователя.
AI может работать с:
- голосовыми сообщениями;
- фотографиями;
- video note;
- изображениями;
- содержимым скриншотов.
После распознавания AI может:
- понимать содержимое медиа;
- отвечать пользователю;
- извлекать данные;
- записывать информацию в Custom Fields;
- использовать данные внутри CRM.
Зачем нужен AI Recognition
Без AI Recognition:
- AI видит только факт вложения;
- но не понимает содержимое файла или изображения.
Например:
- пользователь отправил скриншот;
- AI видит только photo;
- но не понимает текст, ID или данные на изображении.
AI Recognition преобразует медиа в:
- текстовый контекст;
- описание;
- структурированные данные.
После этого AI работает с ними как с обычным сообщением пользователя.
Какие типы медиа поддерживаются
Тип медиа | Доступные режимы |
Photo | Recognition / Manual / Skip |
Voice | Recognition / Manual / Skip |
Video Note | Recognition / Manual / Skip |
Video | Manual / Skip |
Document | Manual / Skip |
Три режима AI Recognition
Для каждого типа медиа можно выбрать один режим.
Режим | Что происходит |
Recognition | AI автоматически обрабатывает медиа |
Manual | Диалог переводится в manual для обработки оператором |
Skip | Вложение не используется AI при генерации ответа |
Recognition
Recognition включает автоматическую обработку медиа через AI.
AI:
- преобразует медиа в текстовый контекст;
- анализирует содержимое изображения, голосового сообщения или видеокружка;
- использует результат внутри диалога и flow.
Manual
Manual используется, если:
- медиа должен проверять оператор;
- нужны ручные действия;
- данные слишком чувствительные;
- AI не должен автоматически обрабатывать вложение.
После получения медиа диалог переводится в статус manual.
Skip
Skip полностью отключает обработку медиа.
AI:
- не анализирует файл;
- не извлекает данные;
- не использует вложение при генерации ответа.
Как работает Voice Recognition
При Voice Recognition:
- пользователь отправляет
voice message;
- AI преобразует голосовое сообщение в текст;
- текст добавляется в контекст диалога;
- AI использует этот текст при генерации ответа.
После этого AI работает с голосовым сообщением как с обычным текстом.
Что влияет на качество распознавания
На качество распознавания влияют:
- шум;
- качество микрофона;
- язык;
- акцент;
- скорость речи.
Как работает Photo Recognition
Photo Recognition позволяет AI:
- читать текст на изображении;
- анализировать скриншоты;
- понимать интерфейсы;
- извлекать данные;
- использовать найденную информацию внутри flow.
Что такое Tasks
Tasks — это задачи для AI:что именно нужно найти на изображении.
Tasks работают только для Photo Recognition.
Без Tasks AI обычно просто описывает изображение.С Tasks AI начинает искать конкретные данные.
Примеры Tasks
Find user ID from Exnova
Find transaction amount
Find payment status
Find country on screenshot
Как правильно писать Tasks
Хороший Task:
- короткий;
- конкретный;
- описывает одну задачу.
Плохой пример:
Analyze screenshot
Хороший пример:
Find user ID from PocketOption screenshot
Functions — запись данных в CRM
Post-processing Functions доступны только для Photo Recognition.
Functions позволяют:
- записывать найденные данные;
- сохранять значения в Custom Fields;
- использовать их внутри flow.
Как работают Functions
AI:
- находит данные на изображении;
- извлекает значение;
- при настроенных Functions записывает его в поле CRM.
Что можно сохранять
Через Functions можно сохранять:
- ID;
- country;
- amount;
- date;
- status;
- text;
- number;
- любые пользовательские данные.
Пример Functions
Поле | Значение |
Action | Write |
Field | trader_id |
Value | ID |
Prompt | User ID from registration screenshot |
Пример полной настройки
Tasks
Find user ID from Exnova
Find user's country
Functions
Поле | Значение |
Action | Write |
Field | exnova_id |
Value | ID |
Prompt | User ID from screenshot |
Write | country |
Country | User country from screenshot |
Где используются данные после Recognition
После записи в Custom Fields данные можно использовать:
- в Conditions;
- внутри AI Reply;
- в Filters;
- в обычных сообщениях;
- в AI Routings.
Как AI Recognition работает вместе с AI
После распознавания:
- AI Reply может отвечать на основе содержимого изображения, голосового сообщения или видеокружка;
- AI Routings может использовать данные после Recognition для маршрутизации пользователя внутри flow;
- Conditions могут проверять найденные данные.
Примеры использования
Арбитраж
Пользователь отправляет:
- скриншот регистрации.
AI:
- извлекает ID;
- при настроенных Functions записывает ID в CRM;
- flow продолжается автоматически.
Support
Пользователь отправляет:
- скрин ошибки.
AI:
- находит error message;
- запускается нужный сценарий поддержки.
Sales
Пользователь отправляет:
- чек оплаты.
AI:
- находит сумму и валюту;
- CRM подтверждает оплату.
Что важно знать
⚠️ Важно:
Recognition незначительно увеличивает расход AI.
Фото и voice обычно обрабатываются дольше текста.
Чем лучше Tasks — тем точнее результат.
Один тип медиа может работать только в одном режиме.
Для Video доступны только режимы Manual и Skip.
Для Document доступны только режимы Manual и Skip.
Ограничения AI Recognition
AI Recognition:
- не гарантирует 100% точность;
- может ошибаться на плохих изображениях;
- зависит от качества медиа;
- зависит от правильности Tasks.
Частые проблемы
AI не видит данные на фото
Проверьте:
- качество изображения;
- правильность Tasks;
- включён ли Recognition.
Voice не распознаётся
Проверьте:
- Voice = Recognition;
- качество аудио;
- язык.
Functions не записывают данные
Проверьте:
- существует ли Custom Field;
- правильный ли выбран Field;
- корректен ли Prompt.
Частые вопросы
Что должно получиться
После настройки AI Recognition:
- AI начинает понимать медиа;
- voice messages превращаются в текст;
- изображения анализируются;
- данные автоматически сохраняются в Custom Fields через Functions;
- flow может работать на основе содержимого медиа.
Связанное
Эта статья была полезна?