开发工具

Microsoft ThinkingBox

微软开源的 Agent 测试沙箱，以业务记录的最终状态和副作用评估任务结果。

价格模式开源

中文支持以英文为主

适用平台Linux

资源介绍

ThinkingBox 是微软提供的 Agent 测试框架，用 MCP 服务器模拟业务工具，让模型在隔离环境中处理有状态任务。配套 ThinkingBox-Bench 包含零售、汽车保险、旅行、数字银行和咨询等领域的 507 个工作流。每个任务给定初始业务状态、用户目标、工具和领域政策，运行结束后检查记录究竟发生了什么变化。

它可以识别字段写错、必要操作遗漏和多余副作用，即使 Agent 正常结束并声称完成，也要通过可执行检查。公开评测对每个任务重复运行二十次，分别报告单次成功率、二十次至少成功一次和二十次全部成功，帮助团队区分偶尔做对与稳定完成。

开发者可从微软仓库安装 CLI，通过 Hugging Face OpenEnv 适配器运行评估。示例环境测试于 Linux 和 WSL，需要 Python 3.11、Docker、Typesense 及模型服务端点。框架代码采用 MIT 许可，基准数据另用 CDLA-Permissive-2.0；公开任务是合成业务场景，不包含真实客户记录。

适合什么人

开发会修改业务记录的 Agent、需要重复评估任务可靠性的工程与研究团队。

真实使用场景

测试退款、预订和工单操作是否留下正确业务状态

重复运行同一任务，比较不同模型的完成一致性

用可执行断言定位遗漏操作和额外副作用

价格说明

框架代码采用 MIT 许可，基准数据采用 CDLA-Permissive-2.0，OpenEnv 环境采用 BSD-3-Clause；自行运行需要计算资源、存储和模型调用费用。

核心特点

隔离的 MCP 工具会话

最终数据库状态与副作用检查

507 个有状态业务工作流

重复运行的一致性指标

OpenEnv 评估适配器

限制与注意事项

示例环境测试于 Linux 与 WSL，原生 Windows 和 macOS 部署需自行适配

需要自行运行 MCP 服务、Typesense 和模型端点

基准任务为合成场景，不能代替自身业务流程的验收

常见问题

ThinkingBox 和 ThinkingBox-Bench 有什么区别？

前者是运行 Agent 与工具的沙箱框架，后者是配套业务任务和可执行检查构成的基准数据。

Agent 回答完成就算成功吗？

不算。评分检查最终业务状态及实际副作用，错误字段、遗漏操作或额外修改都可能导致失败。

下载后能直接免费评测吗？

代码和数据按各自开放许可提供；运行还需模型端点、Docker、Typesense 等环境，模型调用和计算资源可能收费。