Toward Sustainable GenAI using Generation Directives for Carbon-Friendly Large Language Model Inference

要約

さまざまな分野にわたる生成人工知能 (GenAI) の急速な進歩により、特にクラウドおよびハイ パフォーマンス コンピューティング (HPC) インフラストラクチャからの炭素排出など、重大な環境上の懸念が生じています。
このペーパーでは、生成大規模言語モデル (LLM) 推論サービスの二酸化炭素排出量を削減することで、これらの懸念に対処するように設計された革新的なフレームワークである Sprout について説明します。
Sprout は、「生成ディレクティブ」という革新的な概念を活用して自己回帰生成プロセスをガイドし、それによって炭素効率を高めます。
私たちが提案する方法は、生態学的持続可能性の必要性と高品質の発電成果への要求のバランスを細心の注意を払って実現しています。
Sprout は、ユーザー プロンプトに生成ディレクティブを戦略的に割り当てるためのディレクティブ オプティマイザーと独自のオフライン品質評価機能を採用し、Llama2 LLM と世界の電力網データを使用した実世界の評価で炭素排出量が 40% 以上大幅に削減されることを実証しています。
この研究は、AI テクノロジーを持続可能な実践と調整するための重要な一歩を示し、急速に拡大している生成人工知能の領域における環境への影響を軽減する可能性を強調しています。

要約(オリジナル)

The rapid advancement of Generative Artificial Intelligence (GenAI) across diverse sectors raises significant environmental concerns, notably the carbon emissions from their cloud and high performance computing (HPC) infrastructure. This paper presents Sprout, an innovative framework designed to address these concerns by reducing the carbon footprint of generative Large Language Model (LLM) inference services. Sprout leverages the innovative concept of ‘generation directives’ to guide the autoregressive generation process, thereby enhancing carbon efficiency. Our proposed method meticulously balances the need for ecological sustainability with the demand for high-quality generation outcomes. Employing a directive optimizer for the strategic assignment of generation directives to user prompts and an original offline quality evaluator, Sprout demonstrates a significant reduction in carbon emissions by over 40% in real-world evaluations using the Llama2 LLM and global electricity grid data. This research marks a critical step toward aligning AI technology with sustainable practices, highlighting the potential for mitigating environmental impacts in the rapidly expanding domain of generative artificial intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google