ByteDanceが10兆パラメータのモデルを事前学習中とFT報道

Financial Timesの報道によると、ByteDanceは最大10兆パラメータのモデルを事前学習している。これは中国でリリースされた最大のモデルであるMoonshotの「Kimi K3」（2.8兆パラメータ）の約3倍に相当し、同紙がAnthropicの「Mythos 5」の規模と推定する約8兆パラメータをも上回る。この報道は未確認であり、Reutersも裏付けを取れていない。ByteDanceはコメントを拒否しており、最終的なモデルサイズやfine-tuning、リリースの有無は未定である。3〜6か月にわたる事前学習の完了後もこの規模が維持されれば、最大規模のフロンティアモデルの学習を米国の研究機関ではなく中国の消費者向けアプリ企業が担うことになる。

出典： mobileworldlive.com ↗