Energy Estimates Across Layers of Computing: From Devices to Large-Scale Applications in Machine Learning for Natural Language Processing, Scientific Computing, and Cryptocurrency Mining

要約

デバイスからアルゴリズムに至るコンピューティング層におけるエネルギー使用量の推定値が決定され、分析されています。
以前の分析 [3] に基づいて、自然言語処理のための人工知能 (AI)/機械学習、科学シミュレーション、暗号通貨マイニングなどの 3 つの大規模コンピューティング アプリケーションを含む単一のデバイスとシステムから必要なエネルギーが推定されました。
幾何学的なスケーリングによりトランジスタがエネルギー効率を達成するビットレベルのスイッチングとは対照的に、アプリケーションの命令レベルとシミュレーションレベルの両方でより高いエネルギーが消費されます。
さらに、AI/ML アクセラレータに基づく分析では、古い半導体テクノロジー ノードを使用したアーキテクチャの変更は、新しいテクノロジーを使用した別のアーキテクチャと同等のエネルギー効率を有することが示されています。
コンピューティング システムのエネルギーを熱力学および生物学的限界とさらに比較すると、アプリケーションの全体的なシミュレーションには 27 ~ 36 桁高いエネルギー要件があることがわかります。
これらのエネルギー推定値は、エネルギーを設計パラメータとして含めることにより、コンピューティングにおけるエネルギー効率を真剣に考慮する必要性を強調しており、デジタル世界でのコンピューティング集約型アプリケーションのニーズの増大を可能にします。

要約(オリジナル)

Estimates of energy usage in layers of computing from devices to algorithms have been determined and analyzed. Building on the previous analysis [3], energy needed from single devices and systems including three large-scale computing applications such as Artificial Intelligence (AI)/Machine Learning for Natural Language Processing, Scientific Simulations, and Cryptocurrency Mining have been estimated. In contrast to the bit-level switching, in which transistors achieved energy efficiency due to geometrical scaling, higher energy is expended both at the at the instructions and simulations levels of an application. Additionally, the analysis based on AI/ML Accelerators indicate that changes in architectures using an older semiconductor technology node have comparable energy efficiency with a different architecture using a newer technology. Further comparisons of the energy in computing systems with the thermodynamic and biological limits, indicate that there is a 27-36 orders of magnitude higher energy requirements for total simulation of an application. These energy estimates underscore the need for serious considerations of energy efficiency in computing by including energy as a design parameter, enabling growing needs of compute-intensive applications in a digital world.

arxiv情報

著者 Sadasivan Shankar
発行日 2023-10-11 14:14:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: C.4, cs.AI, cs.CY パーマリンク