Mistral、ポリシーを質問として処理する3B安全性分類器ShieldstralをOSS化

Mistralは、1基の16GB GPUで動作し、推論時にポリシーを自然言語のYes/No形式の質問として受け取る3Bマルチモーダル安全性分類器「Shieldstral-1.0-3B」をApache 2.0ライセンスでリリースした。同社によると、テキストの安全性、拒否の検出、およびマルチモーダルベンチマークにおいて、最大7倍の規模を持つオープンなガードモデルと同等以上の性能を発揮する。これにより、新しい製品コンテキストにモデレーションを再適応させる作業は、再学習を実行するのではなく、質問を書き換えるだけで済むようになった。また、1回のフォワードパスから返される較正された確率は、閾値処理や信頼度によるランク付けが可能である。

出典： mistral.ai ↗

同じコンテンツでも、サイバーセキュリティの研究ツールとしては問題ないが、メンタルヘルスプラットフォームでは有害になりうる。

Mistral

なぜ重要か

→ モデレーションは重みに組み込まれるのではなく、コンテキスト適応型となる。再学習なしでデプロイ時に新しいポリシーを設定できる。
→ 3Bモデルは7倍大きなガードレールに匹敵し、16GB GPU 1枚で動作する。オンデバイスおよびコスト制約のある環境で効率向上につながる。
→ 自然言語ポリシーにより、テキスト、画像、マルチモーダルの安全性が1つのインターフェースで統合される。製品の安全性管理を簡素化する。

問いとしてのモデレーション