LightOn 发布 ColGrep-Agent-2B,用一个本地运行的 20 亿参数模型替大型编程 Agent 搜索代码。它接收问题后调用 ColGrep 多向量语义搜索,读取文件并追踪引用,最终返回文件路径、行号范围和相关源码。大型模型因此不必逐轮亲自搜索和读文件,可以直接利用定位结果继续处理任务。
团队把它接到运行 Sonnet 5.5 的 Claude Code 上,在 13 个 2026 年创建的公共仓库、52 道代码搜索问题中比较四种配置,每题每组重复三次,共 624 次会话。相对 grep,委托给本地 Agent 的方案减少 34% API token,考虑缓存后的 API 成本减少 40%,准确率未出现统计显著变化;这不是完整编程任务的成绩。
默认 Q8 GGUF 下载约 2.5GB,不需要单独的 Python 环境、外部推理服务器或 API 密钥。可用 GPU 时使用 Metal 或 Vulkan,也可回退到 CPU;官方 M3 Pro 示例峰值内存约 3—4GB。工具提供 Claude Code、Codex 与 OpenCode 集成,索引建立后会检测文件变化并自动更新,命令行还能输出 JSON 供其他程序使用。