Power Hungry Processing: Watts Driving the Cost of AI Deployment?

要約

近年、機械学習 (ML) モデルをテクノロジーに組み込むための統一されたアプローチを約束する、生成的で多目的な AI システムに基づく商用 AI 製品の人気が急増しています。
しかし、この「汎用性」という目標は、これらのシステムが必要とするエネルギー量と排出される炭素の量を考慮すると、環境に多大なコストをもたらします。
この研究では、タスク固有のモデル (つまり、単一のタスクを実行する微調整されたモデル) と「汎用」モデル (つまり、トレーニングされたモデル) の両方をカバーする、ML システムのさまざまなカテゴリの進行中の推論コストの最初の系統的な比較を提案します。
複数のタスクの場合)。
導入コストは、これらのモデルを使用して代表的なベンチマーク データセットに対して 1,000 回の推論を実行するのに必要なエネルギーと炭素の量として測定されます。
多目的の生成アーキテクチャは、モデル パラメーターの数を制御する場合でも、さまざまなタスクに対してタスク固有のシステムよりも桁違いに高価であることがわかりました。
最後に、多目的の生成 ML システムを導入する現在の傾向に関する議論を締めくくり、その有用性は、エネルギーと排出量の観点からコストの増加とより意図的に比較検討されるべきであると警告します。
私たちの研究から得られたすべてのデータは、インタラクティブなデモを介してアクセスして、さらなる調査と分析を実行できます。

要約(オリジナル)

Recent years have seen a surge in the popularity of commercial AI products based on generative, multi-purpose AI systems promising a unified approach to building machine learning (ML) models into technology. However, this ambition of ‘generality’ comes at a steep cost to the environment, given the amount of energy these systems require and the amount of carbon that they emit. In this work, we propose the first systematic comparison of the ongoing inference cost of various categories of ML systems, covering both task-specific (i.e. finetuned models that carry out a single task) and `general-purpose’ models, (i.e. those trained for multiple tasks). We measure deployment cost as the amount of energy and carbon required to perform 1,000 inferences on representative benchmark dataset using these models. We find that multi-purpose, generative architectures are orders of magnitude more expensive than task-specific systems for a variety of tasks, even when controlling for the number of model parameters. We conclude with a discussion around the current trend of deploying multi-purpose generative ML systems, and caution that their utility should be more intentionally weighed against increased costs in terms of energy and emissions. All the data from our study can be accessed via an interactive demo to carry out further exploration and analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google