Anandkumarのニューラルオペレーター、コンシューマーGPUで気象予測
CaltechのAnima Anandkumarは、物理学には基盤モデルが存在しないと主張している。その理由はデータが存在しないためだ。産業規模のグリッドは数千億規模のコンテキスト長を意味し、いかなるTransformerも処理できない。代わりに、同氏のニューラルオペレーターは地球の形状に合わせた球面調和関数を用い、物理的構造をエンコードしている。FourCastNetはコンシューマー向けGPU上で物理ベースの気象シミュレーションに匹敵する性能を発揮し、数千件の核融合サンプルを用いて従来のシミュレーションの100万倍の速度でプラズマディスラプションを予測する。気象、核融合、流体といった連続的な物理システムは、データセットの拡大ではなくアーキテクチャの事前知識を通じて進化するというのが同氏の狙いであり、これはAIの他の分野を牽引する「苦い教訓」に抗うアプローチである。
出典： latent.space ↗
各次元が数百のグリッド点に達すると、そこからが産業規模の始まりだが、その場合、数百億から最大1兆のコンテキスト長を扱うことになる。
Anima Anandkumar
なぜ重要か
- → スーパーコンピューターなしにコンシューマー向けGPUで物理問題を解決し、アクセス性を向上させる。
- → データスケーリングではなく、アーキテクチャの事前知識が連続システムを進化させ、ファウンデーションモデルへの新たな道を開く。
- → 気象、核融合、流体流動のモデリングが限られたデータで実行可能になり、"bitter-lesson"スケーリングに抗する。
トークンではなく物理