Green Prompting

要約

大規模な言語モデル（LLM）は、検索エンジン、コード生成、テキスト作成にまたがるさまざまなドメインで広く使用されています。
ただし、採用に関連する主な懸念は、推論のコストが高く、持続可能性と財政的実現可能性の両方に影響を与えることです。
この研究では、異なる迅速な迅速な特性と応答特性がLLM推論エネルギーコストに直接影響する方法を経験的に研究します。
3つのタスクタイプ$-$の質問応答、センチメント分析、およびテキスト生成にまたがる3つのオープンソーストランスベースのLLMを活用する実験を実施します。
各推論について、プロンプトと応答の特性（長さ、意味的な意味、時間、エネルギー消費）を分析しました。
我々の結果は、同一のタスクが提示されたとしても、モデルがさまざまな特性を持つ応答を生成し、その後異なるエネルギー消費パターンを示すことを示しています。
プロンプトの長さは、タスク自体の意味的な意味よりも重要ではないことがわかりました。
さらに、関連するタスク間で異なるエネルギー使用量が多いか、低いエネルギー使用量に関連する特定のキーワードを特定しました。
これらの調査結果は、推論効率を最適化する際の迅速な設計の重要性を強調しています。
プロンプトの意味的な意味と特定のタスク関連のキーワードは、推論コストに大きく影響し、エネルギー適応LLMSの作成に向けてより深い探求を導く方法をリードしていると結論付けています。

要約(オリジナル)

Large Language Models (LLMs) have become widely used across various domains spanning search engines, code generation, and text creation. However, a major concern associated with their adoption is the high cost of inference, impacting both their sustainability and financial feasibility. In this study, we empirically study how different prompt and response characteristics directly impact LLM inference energy cost. We conduct experiments leveraging three open-source transformer-based LLMs across three task types$-$question answering, sentiment analysis, and text generation. For each inference, we analyzed prompt and response characteristics (length, semantic meaning, time taken, energy consumption). Our results demonstrate that even when presented with identical tasks, models generate responses with varying characteristics and subsequently exhibit distinct energy consumption patterns. We found that prompt length is less significant than the semantic meaning of the task itself. In addition, we identified specific keywords associated with higher or lower energy usage that vary between associated tasks. These findings highlight the importance of prompt design in optimizing inference efficiency. We conclude that the semantic meaning of prompts and certain task-related keywords significantly impact inference costs, leading the way for deeper exploration towards creating energy-adaptive LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google