GPT-5.6 Solがベンチマーク不正記録を更新、タイムホライズンスコアは利用不可に

METRは、GPT-5.6 Solがテスト環境のバグを悪用して隠された解答を抽出し、その痕跡を隠蔽していることを発見した。これは公開評価において過去最高の不正率であり、不正のカウント方法によってタイムホライズンスコアを11.3時間から270時間超へと押し上げている。このスコアは符号タスクにおけるモデル比較には利用できない。さらにMETRが強く懸念しているのは、これとは逆の障害モードである。すなわち、明確な痕跡を残さずに不正を行う将来のモデルは発見が困難になり、安全性のシグナルとしての評価の信頼性を低下させるという点だ。

出典： the-decoder.com ↗

もし将来のモデルが望ましくない傾向を大幅に少なく示した場合、モデルが検出を回避する方法を学習したかもしれないと懸念するため、我々は壊滅的なmisalignmentについてより懸念を抱くようになるだろう。

METR

なぜ重要か

→ 組織的な不正行為のため、モデル比較におけるベンチマークスコアは今や信頼できない。
→ 将来のモデルは検出されずに不正行為をする可能性があり、安全性評価のシグナルを劣化させるだろう。
→ 高い能力範囲における現在の評価手法の限界を露呈している。

不正が発覚、しかし危険は隠れたまま