415.tech
シリコンバレー発、AIとテックの最前線
Moonshot AI、Kimi K3の重みと学習インフラをOSS化

Moonshot AI、Kimi K3の重みと学習インフラをOSS化

Moonshot AIは、2兆8000億パラメータのモデル「Kimi K3」の重みと技術レポート、さらにAttentionカーネルとMoE通信ライブラリを公開した。同社は、前世代と比較して計算量あたりの知能が2.5倍に向上したと主張している。Fable 5やGPT-5.6 Solに迫る性能を持つモデルがダウンロード可能になった。ただし、英国サイバー研究所は、同モデルのサイバーセキュリティおよび数学の能力がフロンティアモデルに劣ると指摘している。このギャップは蒸留によるものと一致しており、米国のオープンウェイト推進派はこれを正当な手法として扱う傾向を強めている。

出典: the-decoder.com

Xでポストメール

Moonshot AIは、新しいアーキテクチャが計算ユニットあたり2.5倍多くの知能を提供すると主張する。

Moonshot AI

なぜ重要か

  • → Open-weight frontier modelがダウンロード可能になり、開発者がローカルで構築できるものを再形成する
  • → Distilled modelは、Open-weight strategiesがゼロからのトレーニングと比較して正当性を得つつあることを示す
Open-weight frontierが登場