10月23日公开的 Trial by Trace 论文推出 TraceTrial-Bench，把智能体底层运行框架的可靠性与模型任务成绩分开评估。基准以95项专家设计、面向具体机制的任务，检查上下文、执行、治理、生命周期、可观测性、工具和验证七类能力。
研究通过轨迹追踪记录实际执行，同时从代理上下文、框架和运行环境获取证据，再沿明确机制链定位失败原因。任务使用可执行或状态型标准答案，在保留各框架原生行为的同时，比较语义上等价的工作。这使测试可以区分模型没做成事与运行框架没有执行应有约束。
团队评估了4种框架、9种模型的3420次运行，框架宏平均得分介于59.8%至72.0%。其中31.1%的运行虽取得任务成功，却至少未满足一项框架标准。该比例来自本次实验设置，所揭示的具体问题是：只统计最终答案或任务完成率，会遗漏执行过程中发生的可靠性缺陷。