Orca Security 与 AWS 介绍 Discovery AI 的实现:安全分析师用自然语言提问,系统把问题转换成 Orca Sonar 的结构化查询。Sonar 涉及超过 900 种云资源和应用模型、18 类运算符以及嵌套关系,原先需要用户熟悉具体字段和查询语法。
初期原型把完整 schema 和大量例子交给单个大模型,每个工作负载约消耗 200 万输入 token,耗时约 60 秒。新架构改用九阶段流程:先用确定性规则识别 IP、CVE 等明确标识,能直接匹配就返回预设查询;其余请求经过安全筛查,再检索相似的已验证示例。
系统用 Titan Text Embeddings 召回 20 个候选,由 Cohere Rerank 3.5 选出最相关的五个,再缩小需要提供给生成模型的 schema 范围。Orca 报告,相对最初基线,查询成本下降 90%、输入 token 减少 93%、延迟下降 75%,生产响应约 15 秒。这些是该团队特定查询系统的结果,不代表所有 RAG 应用都能获得同样幅度。