Reducing the Barriers to Entry for Foundation Model Training

要約

世界では最近、機械学習および人工知能アプリケーションに対する需要が前例のないほど加速しています。
この需要の急増により、サプライ チェーンの基盤となるテクノロジー スタック、GPU アクセラレーションのハードウェア、ソフトウェア、データセンターの電力密度、エネルギー消費に多大な負担がかかりました。
現在の技術軌道に沿ったままにしておくと、将来の需要は克服できない支出傾向を示し、市場参加者がさらに制限され、イノベーションが抑制され、技術格差が拡大します。
これらの課題に対処するために、私たちはテクノロジー エコシステム全体にわたる AI トレーニング インフラストラクチャの根本的な変更を提案します。
この変化には、ハイエンド ソフトウェアから低レベルのハードウェア、マイクロプロセッサ、チップ設計に至るまで、スーパーコンピューティングと新しい AI トレーニング アプローチの進歩が必要であると同時に、持続可能なインフラストラクチャに必要なエネルギー効率も向上する必要があります。
このペーパーでは、課題を定量的に浮き彫りにし、大規模な言語モデルのトレーニングへの参入障壁を軽減する機会を指摘する分析フレームワークを紹介します。

要約(オリジナル)

The world has recently witnessed an unprecedented acceleration in demands for Machine Learning and Artificial Intelligence applications. This spike in demand has imposed tremendous strain on the underlying technology stack in supply chain, GPU-accelerated hardware, software, datacenter power density, and energy consumption. If left on the current technological trajectory, future demands show insurmountable spending trends, further limiting market players, stifling innovation, and widening the technology gap. To address these challenges, we propose a fundamental change in the AI training infrastructure throughout the technology ecosystem. The changes require advancements in supercomputing and novel AI training approaches, from high-end software to low-level hardware, microprocessor, and chip design, while advancing the energy efficiency required by a sustainable infrastructure. This paper presents the analytical framework that quantitatively highlights the challenges and points to the opportunities to reduce the barriers to entry for training large language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google