How Green are Neural Language Models? Analyzing Energy Consumption in Text Summarization Fine-tuning

要約

人工知能システムは、特に自然言語処理（NLP）タスクにおいて、環境に大きな影響を与えます。
これらのタスクは、多くの場合、数十億のパラメーターを含む大規模な言語モデルを含む、深いニューラルネットワークをトレーニングするために広範な計算リソースを必要とします。
この研究では、3つの神経言語モデルのエネルギー消費とパフォーマンスの間のトレードオフを分析します：2つの事前訓練モデル（T5ベースとBARTベース）と1つの大きな言語モデル（Llama 3-8b）。
これらのモデルは、テキスト要約タスクのために微調整され、各論文のコアテーマをカプセル化する研究論文のハイライトの生成に焦点を当てています。
ルージュ、Meteor、Moverscore、Bertscore、Scibertscoreなどの幅広い評価指標が、そのパフォーマンスを評価するために採用されました。
さらに、各モデルの微調整に関連する二酸化炭素排出量が測定され、環境への影響の包括的な評価が提供されました。
この研究は、環境に関する考慮事項を神経言語モデルの設計と実装に組み込むことの重要性を強調し、エネルギー効率の高いAI方法論の進歩を求めています。

要約(オリジナル)

Artificial intelligence systems significantly impact the environment, particularly in natural language processing (NLP) tasks. These tasks often require extensive computational resources to train deep neural networks, including large-scale language models containing billions of parameters. This study analyzes the trade-offs between energy consumption and performance across three neural language models: two pre-trained models (T5-base and BART-base), and one large language model (LLaMA 3-8B). These models were fine-tuned for the text summarization task, focusing on generating research paper highlights that encapsulate the core themes of each paper. A wide range of evaluation metrics, including ROUGE, METEOR, MoverScore, BERTScore, and SciBERTScore, were employed to assess their performance. Furthermore, the carbon footprint associated with fine-tuning each model was measured, offering a comprehensive assessment of their environmental impact. This research underscores the importance of incorporating environmental considerations into the design and implementation of neural language models and calls for the advancement of energy-efficient AI methodologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google