CEGI: Measuring the trade-off between efficiency and carbon emissions for SLMs and VLMs

要約

本稿では、小型言語モデル（SLM）と視覚言語モデル（VLM）の性能を分析し、4つの重要なタスクにおけるモデルの性能と二酸化炭素排出量のトレードオフを評価する：画像キャプション付け、視覚的質問応答（VQA）、対話要約、テキストからSQLへの変換である。QwenおよびLLaMAアーキテクチャファミリーに属する様々なSLMおよびVLMが選択され、パラメータ数、量子化レベル、微調整パラメータなどのモデルサイズに基づくバリアントが評価される。このモデルの性能と二酸化炭素排出量を計算します。モデルの性能と炭素排出量のトレードオフを定量化するために、CEGI（Carbon Efficient Gain Index）という新しい指標を導入する。この指標は、訓練可能なパラメータ100万個あたりの単位ゲインパーセンテージあたりの炭素排出量を表す。この指標は、環境コストに対する性能向上という観点から、モデルの効率を比較するための正規化された尺度を提供する。実験の結果、SLMとVLMを微調整することで、大規模言語モデル（LLM）に匹敵する性能レベルを達成しながら、二酸化炭素排出量を大幅に削減できることが実証された。この結果は、より大きなモデルによる精度のわずかな向上は、炭素排出量の大幅な増加を正当化しないことを示唆している。より低いビット量子化レベルを活用することで、提案するメトリックは性能を損なうことなくエネルギー効率をさらに向上させる。本研究は、高い性能と環境の持続可能性のバランスを強調している。環境に優しいAI開発に適したモデルを選択するための価値ある指標を提供する。

要約(オリジナル)

This paper analyzes the performance of Small Language Models (SLMs) and Vision Language Models (VLMs) and evaluates the trade-off between model performance and carbon emissions across 4 essential tasks: Image Captioning, Visual Question Answering (VQA), Dialogue Summarization and Text-to-SQL conversion. Various SLMs and VLMs belonging to the Qwen and LLaMA architecture family are chosen and variants based on model size in terms of the number of parameters, quantization level and fine-tuning parameters are evaluated. The model variant’s performance and carbon emissions are calculated. To quantify the trade-off between model performance and carbon emissions, we introduce a novel metric called CEGI (Carbon Efficient Gain Index). This metric represents the carbon emission per unit percentage gain per million trainable parameters . This metric provides a normalized measure to compare model’s efficiency in terms of performance improvement relative to their environmental cost. The experiment’s outcome demonstrates that fine-tuning SLMs and VLMs can achieve performance levels comparable to Large Language Models (LLMs) while producing significantly less carbon emissions. Our findings suggest that the marginal gains in accuracy from larger models do not justify the substantial increase in carbon emissions. Leveraging lower-bit quantization levels, the proposed metric further enhances energy efficiency without compromising performance. This study highlights balancing high performance and environmental sustainability. It offers a valuable metric for selecting models suitable for environmentally-friendly AI development.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL