GoogleのSynthID、300回の圧縮に耐えるも20%の切り抜きで無効化

Ryan Whitwamは、AI生成および編集された画像に対し、ランダムな圧縮とリサイズを300回以上繰り返す検証を行った。画像がほぼ判別不能な状態に劣化してもSynthIDの検出は機能し、スクリーンショットにも耐えたが、画像の端を20%切り抜くだけで無効化された。その堅牢性は確かだが、偽情報対策としては依然として不十分である。Googleの検出ツールはOpenAIのウォーターマークを読み取れず、オープンモデルはマークのない出力を無制限に生成し続けるうえ、マークの欠如が人間の手による作品である証明として解釈されてしまうからだ。こうした理由から、Arsは検出技術よりもC2PAの来歴メタデータを支持している。

出典： arstechnica.com ↗

人類が15億枚の画像を生成するのに、カメラの発明から149年後の1975年までかかった。Generative AIは、同じことをするのにわずか18ヶ月しかかからなかったのだ。

Starling Lab (スタンフォード大学/南カリフォルニア大学)

なぜ重要か

→ SynthID watermarksは大幅な編集にも耐えるが、20%のトリミングで完全に無効になる
→ Generative AIは18ヶ月ごとに15億枚の画像を生成する — 検出は規模を拡大するか、壊滅的に失敗するかのどちらかだ
→ 目に見えないwatermarksだけでは、cryptographic provenance metadataなしにAIによる偽情報を阻止することはできない

Watermarks対規模