DeepMindがGemini Flash Liteでフロンティアモデル初の二重盲検評価を実施
Google DeepMindは、シンガポールAI安全研究所、OpenMined、AVERI、MLCommonsと提携し、Google CloudのConfidential Space上に構築したセキュアなGPUエンクレーブ内で、機密ベンチマークを用いてGemini Flash Liteをテストした。この手法では、評価者がモデルの重みにアクセスすることはなく、同社がテストプロンプトを見ることもない。これにより、モデルの重みを提供するかベンチマーク問題を開示するかという従来のトレードオフが解消される。さらに、評価データが将来のトレーニングデータに混入するのを防ぐことができるため、サイバーセキュリティや政府主導のテストにおいて極めて重要な意味を持つ。ただし、今回はフロンティアの旗艦モデルではなく小型モデルでの試験的な取り組みであり、より大規模な評価を同手法で実行する際のコストは依然として未知数である。
出典： deepmind.google ↗
評価者は、テストプロンプトを渡すか（モデル提供者が事前にテスト問題を見るリスクを冒して）、あるいはモデル提供者がmodel weightsを渡すか（知的財産を危険にさらして）のどちらかだった。Double-blind evaluationsは、この妥協を解消する。
Google DeepMind
なぜ重要か
- → 評価者は、将来のトレーニング実行にテストデータを明かすことなくモデルをテストできるようになった。
- → モデルウェイトの保護とベンチマーク問題の保護という長年のトレードオフを解決する。
- → 暗号学的検証が、サイバーセキュリティと政府のAI評価の水準を引き上げる。
Weightsは封印されたまま、質問は秘密のままだ