ORBIT: Oak Ridge Base Foundation Model for Earth System Predictability

要約

地球システムの予測可能性は、環境力学の複雑さと関係する多数の変数によって挑戦されています。
現在の AI 基盤モデルは、大規模で異種データを活用することで高度化されていますが、多くの場合、そのサイズとデータ統合によって制約を受け、地球システムの予測課題の全範囲に対処する有効性が制限されています。
これらの制限を克服するために、Oak Ridge Base Foundation Model for Earth System Predictability (ORBIT) を導入します。これは、新しいハイブリッド テンソル データ直交並列技術を使用して最大 1,130 億のパラメーターにスケールアップする高度なビジョン トランスフォーマー モデルです。
この種のモデルとしては最大の ORBIT は、現在の気候 AI 基盤モデルのサイズを 1,000 倍も上回っています。
Frontier スーパーコンピューターで実施されたパフォーマンス スケーリング テストでは、ORBIT が 49,152 個の AMD GPU 全体でスケーリング効率を 41% ～ 85% に維持しながら、684 ペタ FLOPS ～ 1.6 エクサ FLOPS の持続スループットを達成することが実証されました。
これらのブレークスルーは、AI 主導の気候モデリングにおける新たな進歩を確立し、地球システムの予測可能性が大幅に向上する可能性を実証します。

要約(オリジナル)

Earth system predictability is challenged by the complexity of environmental dynamics and the multitude of variables involved. Current AI foundation models, although advanced by leveraging large and heterogeneous data, are often constrained by their size and data integration, limiting their effectiveness in addressing the full range of Earth system prediction challenges. To overcome these limitations, we introduce the Oak Ridge Base Foundation Model for Earth System Predictability (ORBIT), an advanced vision transformer model that scales up to 113 billion parameters using a novel hybrid tensor-data orthogonal parallelism technique. As the largest model of its kind, ORBIT surpasses the current climate AI foundation model size by a thousandfold. Performance scaling tests conducted on the Frontier supercomputer have demonstrated that ORBIT achieves 684 petaFLOPS to 1.6 exaFLOPS sustained throughput, with scaling efficiency maintained at 41% to 85% across 49,152 AMD GPUs. These breakthroughs establish new advances in AI-driven climate modeling and demonstrate promise to significantly improve the Earth system predictability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google