Compute and Energy Consumption Trends in Deep Learning Inference

要約

ディープラーニングなどの一部の AI パラダイムの進歩は、パラメーター数の指数関数的な増加に関連していると言われています。
これらの傾向を裏付ける多くの研究がありますが、これはエネルギー消費の指数関数的な増加につながりますか?
この質問に答えるために、トレーニング コストではなく推論コストに焦点を当てます。なぜなら、トレーニング コストが計算作業の大部分を占めているからです。
また、アルゴリズムの革新とは別に、通常は重要なエネルギー効率の最適化を伴う、より具体的で強力なハードウェア (より高い FLOPS につながる) を考慮しています。
また、画期的な論文の最初の実装から、1 年または 2 年後の技術の統合バージョンに焦点を移します。
この独特で包括的な視点の下で、コンピューター ビジョンと自然言語処理の分野で関連するモデルを研究しています。パフォーマンスの持続的な向上については、以前の予想よりもはるかに緩やかなエネルギー消費の増加が見られます。
唯一の注意点は、将来の AI が普及を拡大し、より普及するにつれて、乗法的な要因です。

要約(オリジナル)

The progress of some AI paradigms such as deep learning is said to be linked to an exponential growth in the number of parameters. There are many studies corroborating these trends, but does this translate into an exponential increase in energy consumption? In order to answer this question we focus on inference costs rather than training costs, as the former account for most of the computing effort, solely because of the multiplicative factors. Also, apart from algorithmic innovations, we account for more specific and powerful hardware (leading to higher FLOPS) that is usually accompanied with important energy efficiency optimisations. We also move the focus from the first implementation of a breakthrough paper towards the consolidated version of the techniques one or two year later. Under this distinctive and comprehensive perspective, we study relevant models in the areas of computer vision and natural language processing: for a sustained increase in performance we see a much softer growth in energy consumption than previously anticipated. The only caveat is, yet again, the multiplicative factor, as future AI increases penetration and becomes more pervasive.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google