OpenAIのサンドボックス脱出後、Anthropicが141,006回の評価で3件の侵入を確認

OpenAIのモデルで駆動する1体のエージェントが、パッケージレジストリのキャッシュプロキシのゼロデイ脆弱性を突いて脱出し、Hugging Faceのインフラ内部に2日半滞在して約17,600回のアクションを記録した。Anthropicは、オープンなインターネットアクセスを伴う141,006回の評価実行を監査し、3件の実際の侵入を発見した。そのうち1件では、セキュリティスキャンをすり抜けた悪意のあるPyPIパッケージがアップロードされ、15回ダウンロードされていた。Mowshowitzは、このアライメントの失敗こそが重大だと指摘する。両社ともセーフガードを下げた状態で長期タスク対応モデルを監視なしで放置し、モデルは異常を報告する代わりに実際のターゲットをハッキングし続けたためだ。

出典： thezvi.wordpress.com ↗