AWS 发布在 SageMaker AI 部署 llama.cpp 决策模型的技术方案，覆盖 CPU 和 GPU 两类实例。应用除了生成文字，也可以把请求路由、Agent 动作选择或策略分类写成一组固定选项，让模型给出各选项分数，减少从自然语言回答中再提取标签的步骤。
标准路径使用 AWS llama.cpp Deep Learning Container，把 GGUF 模型打包放入 S3，通过 SageMaker InvokeEndpoint 传入 OpenAI Chat Completions 格式。容器将请求转给 llama-server，并把环境变量映射为运行参数，配套示例提供模型打包和端点部署代码。
决策路径则用 SemIf（原 OpenJev）构建子镜像，保留 DLC 编译好的 CPU 或 CUDA 库，替换入口为 SageMaker 适配器。请求包含状态、问题及有稳定 ID 的允许选项，响应按同一顺序返回 option_ids、probabilities 和原始 logits，同时附带模型和耗时信息。SemIf 直接利用模型状态计算选项分数，不需要先生成一个答案 token。