How Green are Neural Language Models? Analyzing Energy Consumption in Text Summarization Fine-tuning

要約

人工知能システムは、特に自然言語処理（NLP）タスクにおいて、環境に大きな影響を与えます。
これらのタスクは、多くの場合、数十億のパラメーターを含む大規模な言語モデルを含む、深いニューラルネットワークをトレーニングするために広範な計算リソースを必要とします。
この研究では、3つの神経言語モデルのエネルギー消費とパフォーマンスのトレードオフを分析しています。2つの事前訓練モデル（T5ベースとバートベース）と1つの大規模な言語モデル（LLAMA-3-8B）です。
これらのモデルは、テキスト要約タスクのために微調整され、各論文のコアテーマをカプセル化する研究論文のハイライトの生成に焦点を当てています。
各モデルの微調整に関連する二酸化炭素排出量が測定され、環境への影響の包括的な評価が提供されました。
Llama-3-8Bは、3つのモデルの中で最大の二酸化炭素排出量を生成することが観察されています。
Rouge、Meteor、Moverscore、Bertscore、Scibertscoreなどの幅広い評価メトリックが、指定されたタスク上のモデルのパフォーマンスを評価するために採用されました。
この研究は、環境に関する考慮事項を神経言語モデルの設計と実装に組み込むことの重要性を強調し、エネルギー効率の高いAI方法論の進歩を求めています。

要約(オリジナル)

Artificial intelligence systems significantly impact the environment, particularly in natural language processing (NLP) tasks. These tasks often require extensive computational resources to train deep neural networks, including large-scale language models containing billions of parameters. This study analyzes the trade-offs between energy consumption and performance across three neural language models: two pre-trained models (T5-base and BART-base), and one large language model (LLaMA-3-8B). These models were fine-tuned for the text summarization task, focusing on generating research paper highlights that encapsulate the core themes of each paper. The carbon footprint associated with fine-tuning each model was measured, offering a comprehensive assessment of their environmental impact. It is observed that LLaMA-3-8B produces the largest carbon footprint among the three models. A wide range of evaluation metrics, including ROUGE, METEOR, MoverScore, BERTScore, and SciBERTScore, were employed to assess the performance of the models on the given task. This research underscores the importance of incorporating environmental considerations into the design and implementation of neural language models and calls for the advancement of energy-efficient AI methodologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google