Тестирование качества сообщений и обучение модели

Также данные метрики можно применить к сообщениям, созданным человеком и провести сравнительный анализ.

Метрика	Как измеряется	Целевое значение
Open‑rate (Telegram/IG)	% полученных сообщений, где пользователь открыл чат (Telegram‑API message.read)	> 55 %
Reply‑rate	% сообщений, получивших ответ в течение 24 ч	> 30 %
Conversion‑rate	% лидов, согласившихся на диагностику (для Агента‑А) или совершившего оплату (для Агента‑Б) после AI‑сообщения	> 15 %
Sentiment (NLP‑анализ)	Положительная/нейтральная/отрицательная тональность ответа	≥ 70 % положительных
Human‑Score	Оценка 5‑балльной шкалы от оператора системы (соответствие бренду)	≥ 4.5

Обучение на новых данных

• Оператор системы должен в ручную проставить оценку (+ или –) сгенерированным текстам за прошедший день.
• Полученный за прошедшие 90 дней набор данных с оценками собирается в обучающую и валидирующую выборку.
• Обучение новой версии модели и сравнение показателей точности валидации с предыдущей версией.