415.tech
シリコンバレー発、AIとテックの最前線
DeepSeekのV4.1-Flash、KVキャッシュを1/4に削減し旗艦モデルV4-Pro超え

DeepSeekのV4.1-Flash、KVキャッシュを1/4に削減し旗艦モデルV4-Pro超え

DeepSeekは、MITライセンスの下で5520億パラメータのMoEモデル「V4.1-Flash」をリリースした。入力時に80億、生成時に160億パラメータをアクティブ化し、DeepSWE v1.1で74.2のスコアを記録してV4-Flashの54.4を上回った。最大のポイントは経済性だ。KVキャッシュはV4-Flashの4分の1、V1の437分の1に縮小され、HBM消費量を4分の1に削減している。同社は9月14日にトラフィックをより安価なFlashモデルへ移行し、V4-Proを退役させる予定だ。ただし、SimpleQA-Verifiedなどの知識ベンチマークでは42.3対55.2と依然としてV4-Proに及ばないため、深い知識の想起よりもコストとスピードを優先した形だ。

出典: deepseek.com

Xでポストメール

V4.1-Flashは、ネイティブなマルチモーダルサポートを搭載し、DeepSeek APIで現在稼働中だ。

DeepSeek

なぜ重要か

  • → DeepSeekはフラッグシップをより安価なモデルに置き換え、積極的な費用対効果の最適化を示唆する
  • → 4分の1サイズのKVキャッシュが推論コストとHBM要件を大幅に削減する
  • → アーキテクチャ上のブレークスルー(因果エンコーダー・デコーダー)により、より小さなモデルがより大きなモデルを上回る性能を発揮する
1セントのフラッグシップ
このエディションの他の記事