返回快讯列表
大模型前沿

Google DeepMind 试点双盲评测,评测方看不到权重,谷歌看不到题目

Google DeepMind 8 月 27 日公布一次双盲模型评测试点,用 Confidential Space 让评测方看不到 Gemini 权重、谷歌看不到测试提示词,参与方包括新加坡 AI 安全研究所和 MLCommons。

Google DeepMind 8 月 27 日公布了一次双盲模型评测试点,作者是 William Isaac、Sol Messing 和 Kristian Lum。被测对象是一个 Gemini Flash Lite 模型,官方称这是全球第一次对专有的前沿级模型做双盲评测。

要解决的问题是基准污染。公开基准和数据集越铺越大,一个模型是不是在没见过的题目上被测,越来越难说清。以往的高风险外部评测只有两种妥协,评测方交出题目,或者模型方交出权重。零日志协议和合同约束早就有了,这次加的是技术和密码学层面的强制。

实现方式是 Google Cloud 机密计算里的 Confidential Space。官方给的保证是双向的,评测方看不到 Gemini 的模型权重,谷歌看不到评测方的测试提示词。配图标注的是一套七步流程,模型所有方和评测方通过一个 GPU 飞地交互。

参与的外部机构是新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons,文章没有说明哪家跑了哪一项测试。定量结果不在这篇里,被放到另一份技术报告中。机密基准的身份和内容按设计不公开。这套做法会不会推广到其他模型或更大的 Gemini 版本,官方没有说,也没有给标准化路径和时间表。

更多快讯