IBM Research 于 10 月 20 日公布 ALTK-Evolve 的客服实验,把此前用于编程 Agent 的经验学习方法扩展到订单、退款和航班变更任务。系统分析训练运行中的成功与失败,提炼身份验证、交易确认和退货处理等短规则,再加入后续任务的系统提示词,不更新基础模型权重。
实验使用 τ²-bench 原有 ReAct 流程,GPT-4.1 同时承担规则提炼与客服 Agent,另一个模型模拟用户。四次独立尝试全部成功的 Pass^4 指标,在零售测试中从 57.5% 升至 67.5%;航空领域使用较精简规则时从 35% 升至 45%。不同领域适合的规则数量不同,更多指导并不总能带来更高可靠性。
任务是否成功取决于最终数据库状态是否符合预期,而不只看对话听起来是否合理。IBM 将从训练任务学到的规则原样用于保留测试集,并公开框架和实验物料。