Ai2、地球規模のOlmoEarth推論を支えるインフラ詳細を公開
Ai2は、Sentinel-1、Sentinel-2、Landsat、NISARの約10TBのデータで事前学習した地球観測モデル「OlmoEarth」を支えるエンジニアリングの詳細を公開した。その数値は宣伝文句ではなく具体的であり、大陸規模の推論を約1日で、1平方キロメートルあたり1ペニーの数分の一のコストで完了できるという。北米の山火事リスク予測の実行では、並列処理で最大約19,600基のCPUと994基のGPUを使用し、直列計算で推定4,737時間かかる処理を実時間で30.5時間に短縮して155倍の高速化を実現した。他社が模倣できる部分は至ってシンプルだ。データの取得と再投影にCPUを、順伝播にのみGPUを、画像のつなぎ合わせに再びCPUを使用している。さらに、大規模なジョブが外部カタログを圧迫しないよう、自社で保守するSTACメタデータインデックスを活用している。なお、ライセンス条件については明記されていない。
出典： huggingface.co ↗
この規模での推論には、固有の課題が存在する…そのプラットフォームは、大陸規模のエリアで約1日かけて推論を実行でき、数十テラバイトの画像を1平方キロメートルあたり数分の1ペニーというコストで処理する。
Ai2 (OlmoEarth Platform post)
なぜ重要か
- → 惑星規模の地理空間推論が現在、1km²あたりわずか数分の1ペニーのコストで可能になり、気候および災害監視を促進する。
- → 北米の山火事マッピングにおいて155倍のwall-clock speedupを達成し、きめ細かなハードウェア割り当て（I/O用のCPUなど）の有効性を証明する。
- → オープンソースのOlmoEarthモデルとreference infrastructureがエンジニアリングにおけるgatekeepingを排除し、NGOや政府機関の利用を促進する。
インフラストラクチャが惑星規模のセンシングを可能にする