AI生成の脆弱性パッチ、4分の3が不完全

1Passwordの新設セキュリティ研究グループOff-by-1 Labsは、新たに公開された6件のCVEに対し、ChatGPT 5.5とClaude Opus 4.8が生成した6,080件のパッチを評価した。脆弱性を完全に修正できたのは約4分の1にとどまり、約20分の1は新たな脆弱性を生み出していた。一見修正されたように見えるパッチの3分の1以上は不完全なもので、実証済みのエクスプロイトを限定的なチェックで防ぐ一方で脆弱なコードには依然として到達可能な状態となっており、コードレビューやテストの通過だけではその欠陥を見抜くことができない。修正の方向性はモデルやテストハーネスの選択よりも重要であり、プロンプトで正しい方向性を指示した場合の修正率は約3分の2に達したが、もっともらしいが誤った指示を与えた場合は約6分の1に低下するため、パッチ生成エージェントに未検証の診断結果を渡すことは何も指示しないよりも悪影響を及ぼす。

出典： helpnetsecurity.com ↗