MITライセンスのDeepSeek「V4-Flash-0731」、エージェントベンチマークで上位版V4-Proプレビュー超え
DeepSeekは「V4-Flash-0731」をMITライセンスでリリースした。同モデルは130億のアクティブパラメータと100万トークンのコンテキストを備えるスパースMoEモデルであり、Terminal-Bench 2.1で82.7、Cybergymで76.7を記録し、より大規模なV4-Proプレビューを上回っている。この性能向上は事後学習のみで達成された。入力100万トークンあたり0.14ドル、出力100万トークンあたり0.28ドルで利用できるほか、最強のプロプライエタリモデルに匹敵する重みが、投機的デコーディングモジュール同梱でダウンロード可能となっている。
出典： huggingface.co ↗
DeepSeek-V4-Flash-0731は、活性化パラメータ数がはるかに少ないにもかかわらず、下記のベンチマークでDeepSeek-V4-Pro (Preview)を上回る。また、利用可能な最も強力なプロプライエタリモデルと広く競合する。
DeepSeek
なぜ重要か
- → より小さいモデルがエージェントのベンチマークでより大きいプレビュー版を上回る — トレーニングのみによる効率向上
- → MITライセンスのウェイトが100万トークンあたり$0.14/$0.28でダウンロード可能 — プロプライエタリな主要モデルと競合する
- → 1Mトークンのコンテキストとspeculative decodingにより、大規模なローカル推論が可能になる
効率が規模を上回る