llama.cpp 改掉 KV 缓存的全量扫描,长上下文生成速度提升三成
llama.cpp 于 8 月 31 日切出预览版 b10707,把 KV cell 的序列扫描改成提前终止,官方实测 55k 上下文生成速度从 56.3 t/s 涨到 74.3 t/s。
持续整理大模型、AI 工具和开源项目动态,按日期查看产品发布、功能更新和行业变化,并核对原始来源。
llama.cpp 于 8 月 31 日切出预览版 b10707,把 KV cell 的序列扫描改成提前终止,官方实测 55k 上下文生成速度从 56.3 t/s 涨到 74.3 t/s。
OpenAI 核心产品负责人 Thibault Sottiaux 暗示,Codex 可能在明天达到新的增长里程碑。他称正在看后台数据,「可能会有一个值得庆祝的新纪录」,并让大家「Hold on to your Codex」。
xAI 于 8 月 29 日宣布 Grok Bot 接入 X,连接账号后可以检索帖子、读时间线和查提及,付费用户获赠起步的 X API 额度,具体数量未公布。
OpenAI 于 8 月 29 日发布 Codex CLI 0.151.0,嵌套子代理的 token 消耗开始计入根目标预算,扩展也可以在结果送达模型前改写 MCP 工具返回值。
智谱于 8 月 28 日在 Hugging Face 放出 GLM-5.3 权重,模型卡标注 753B 参数、自定义 glm-5.3 许可证,十六项基准全部高于 GLM-5.2。
腾讯于 8 月 28 日在 Hugging Face 发布 Hy4 preview 权重,770B 总参数、49B 激活、100 万 token 上下文,许可证为 Apache 2.0。
a16z 于 8 月 28 日宣布规模 11 亿美元的 Machine Age Fund,投向芯片、内存、网络、存储与数据中心,文章给出机架功率从 5 至 10 千瓦涨到 100 至 250 千瓦的行业变化。
GitHub 于 8 月 28 日预告三项变更,9 月 1 日起新席位需先付费才能开通,9 月 28 日起聊天数据保留期从 28 天延长为账号存续期间,代码审查默认强度改为 Balanced。
加州 SB-1119 于 8 月 28 日完成三读并修正,法案要求陪伴型聊天机器人对儿童默认关闭长期记忆、单次会话不超过一小时,故意违规最高每名儿童罚 1.5 万美元。
GitHub 于 8 月 28 日发布 Visual Studio 2026 的 Copilot 八月更新,受支持模型新增 Low、Medium、High 三档思考强度,组织与企业所有者可发布跨仓库复用的自定义 agent。
NVIDIA 于 8 月 28 日推出 TensorRT Model Connect,用 trtmc build 打包再用 C++ 加载,生产运行时不需要 PyTorch 和 Python 解释器,覆盖 80 多个模型家族。
LangChain 于 8 月 28 日发布 1.4.0a2 预览版,新增 langchain.mcp 命名空间,MCPAdapter 把任意 MCP server 转成可直接喂给 create_agent 的工具。
Triton 于 8 月 28 日发布 3.8.0,新增浮点等价性检查 FpSan 与数据竞争检测 GSan,初步支持 NVIDIA Rubin(SM107)与 AMD gfx1250,并列出七处破坏性改动。
腾讯于 8 月 28 日在 Hugging Face 放出 ContextPilot-14B 权重,基于 Qwen3-14B 微调,配套论文已被 EMNLP 2026 接收,模型卡未给基准分数。
AWS 于 8 月 28 日披露迪卡侬用 Chronos-2 替换原有预测工具的结果,12 周补货周期的 WAPE 在东南亚从 39% 降到 28%,拉美从 53% 降到 38%。
AWS 于 8 月 28 日为 SageMaker Feature Store 新增 BatchWriteRecord 与 ListRecords 两个 API,单次请求最多写 25 条记录,官方称高吞吐场景的调用量最多能压到二十五分之一。
OpenAI 于 8 月 28 日发布 Python SDK 3.6.0,Responses 与 Chat Completions 的用量对象新增 compute_units 字段,另修复 X.509 工作负载身份集成。
智谱的强化学习训练框架 slime 8 月 28 日发布 v0.3.2,核心是 GLM-5 上 Megatron 训练与 SGLang rollout 的确定性对齐,release notes 写明该路径已在大规模 GLM-5.3 训练负载上验证。
SK 海力士 8 月 28 日宣布其印第安纳州西拉法叶的 AI 内存先进封装基地已动工,投资总额超过 40 亿美元,洁净室 2028 年 10 月开放,2029 年下半年开始下一代 HBM 量产。
OpenAI 8 月 27 日宣布在圣保罗设立商业团队正式进入巴西市场,官方数据显示巴西每天向 ChatGPT 发出约 2.15 亿条消息,按 API 开发者人数排全球第二。
OpenAI 8 月 27 日公布与博科尼大学合作的随机对照实验,1000 多名本科生分四组做同一份商业案例,拿到 ChatGPT 的学生五分制得分高出接近一整分,接受因果推理训练的学生想法更独特。
Anthropic 8 月 27 日放出 Model Hardware Standard 研究预览,这套让 AI 智能体操作物理设备的共享规范把数周到数月的集成压到数小时,QuEra 用它把激光重新锁定成功率从 58% 提到 99.3%。
Anthropic 8 月 27 日推出面向科学家的 Claude 团队方案,先开放 1 万个席位,标准席位免费、高级席位每月 15 美元,同时把 AI for Science 额度计划从生物科学扩到其他学科。
Google DeepMind 8 月 27 日公布一次双盲模型评测试点,用 Confidential Space 让评测方看不到 Gemini 权重、谷歌看不到测试提示词,参与方包括新加坡 AI 安全研究所和 MLCommons。
谷歌 8 月 27 日发布 Gemini Omni 1.1 Flash,场景续拍可读取前面最多 10 秒上下文、累计上限 40 秒,360p 草稿模式比 720p 快最多 60%、成本为三分之一。
Cohere 8 月 27 日正式发布视觉语言模型 Parse,把复杂文件转成 Markdown,官方 ParseBench 均分 79.2,8 卡 H100 节点上每秒 36 页,API 定价每千页 1.5 美元。
GitHub 8 月 27 日更新 Copilot 代码审查,去掉了单个 PR 超过 300 个文件或 2 万行就不再审的限制,并在每条评论旁加了已处理、不打算改、判断有误三种关闭原因。
SGLang Diffusion 团队 8 月 27 日发布 MiniMax-H3 在 8 张 H200 上的实测,无损路径比 Diffusers 快 1.85 到 1.95 倍,最激进的有损配置最高 6.24 倍但 SSIM 掉到 0.76。
FunASR 8 月 26 日和 27 日连发 v1.4.4 与 v1.4.5,torchaudio 改为可选依赖,单张 H100 十二并发下聚合吞吐从 8.431 倍实时提到 11.566 倍,p95 延迟从 19832.9 毫秒降到 414.4 毫秒。
GPU 云厂商 Lambda 8 月 27 日宣布完成 9.26 亿美元优先担保 B 类定期贷款,穆迪给出 Baa2 评级,定价 SOFR 加 300 个基点,2030 年 12 月到期。