售后场景里,「何时转人工、工单是否一次写清、满意度是否真实反映问题解决」会直接决定模型与知识库的迭代方向。仅统计会话条数或平均响应时长,容易得出片面结论;建议以业务结果为导向,看重复进线是否下降、工单处理是否加快、误判赔偿是否减少。
一、建议采集的事件与维度
- 意图分类(退换货、物流、质量、发票等)与首轮解决标记。
- 引用知识库条目 ID;未命中查询沉淀为「待补充文档」队列。
- 转人工原因(模型置信度低、用户明确要求、敏感词命中)。
- 会话摘要写入工单的字段质量(是否含订单号、SKU、物流单号)。
二、RAG 与提示词治理
若采用检索增强生成,应记录每次回答引用的片段版本;知识库更新时同步失效旧片段,避免「过期政策」被引用。提示词变更走版本管理,重大变更需灰度。
三、隐私与留存
日志脱敏、留存周期与访问权限应符合制度与法律要求;对外演示数据需匿名化。
落地顺序上,先保证工单与订单主数据准确,再扩展多轮对话与主动服务,整体成功率更高。