OpenCarbonEval: A Unified Carbon Emission Estimation Framework in Large-Scale AI Models

要約

近年、大規模な自己回帰モデルは、テキストやビデオの生成など、さまざまなタスクにおいて大幅な進歩を遂げています。
しかし、これらのモデルの二酸化炭素排出量の評価と分析が不足しているため、これらのモデルが環境に与える影響はほとんど無視されてきました。
このギャップに対処するために、私たちは、炭素排出量を予測するためにさまざまなモダリティにわたる大規模モデルを統合するための統一フレームワークである OpenCarbonEval を導入します。これにより、AI サービス プロバイダーとユーザーに事前に排出量を見積もる手段が提供され、炭素排出量に関連する環境圧力の軽減に役立ちます。
モデル。
OpenCarbonEval では、より正確な排出量推定のために、トレーニング プロセスにおけるワークロードとハードウェアの変動をキャプチャできる動的なスループット モデリング アプローチを提案します。
私たちの評価結果は、OpenCarbonEval が以前の方法よりもトレーニング排出量をより正確に予測でき、さまざまなモーダル タスクにシームレスに適用できることを示しています。
具体的には、OpenCarbonEval が視覚モデルと言語モデルの両方で炭素排出量の予測において優れたパフォーマンスを達成することを示します。
OpenCarbonEval は、持続可能な AI の開発と展開を促進することで、大規模モデルの環境への影響を軽減し、AI コミュニティの環境に責任のある未来に貢献できます。

要約(オリジナル)

In recent years, large-scale auto-regressive models have made significant progress in various tasks, such as text or video generation. However, the environmental impact of these models has been largely overlooked, with a lack of assessment and analysis of their carbon footprint. To address this gap, we introduce OpenCarbonEval, a unified framework for integrating large-scale models across diverse modalities to predict carbon emissions, which could provide AI service providers and users with a means to estimate emissions beforehand and help mitigate the environmental pressure associated with these models. In OpenCarbonEval, we propose a dynamic throughput modeling approach that could capture workload and hardware fluctuations in the training process for more precise emissions estimates. Our evaluation results demonstrate that OpenCarbonEval can more accurately predict training emissions than previous methods, and can be seamlessly applied to different modal tasks. Specifically, we show that OpenCarbonEval achieves superior performance in predicting carbon emissions for both visual models and language models. By promoting sustainable AI development and deployment, OpenCarbonEval can help reduce the environmental impact of large-scale models and contribute to a more environmentally responsible future for the AI community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google