Cost-Effective Hyperparameter Optimization for Large Language Model Generation Inference

要約

大規模言語モデル (LLM) は、その生成機能に対する大きな関心を引き起こし、さまざまな商用アプリケーションの開発につながりました。
モデルの使用コストが高いため、アプリケーションビルダーは限られた推論予算の下で生成の価値を最大化する必要があります。
この論文では、テキスト生成のユーティリティ/コストに大きな影響を与える、応答数、温度、最大トークンなどの推論ハイパーパラメータの最適化に関する研究について説明します。
私たちは、経済的なハイパーパラメータの最適化とコストベースの枝刈りを活用する EcoOptiGen という名前のフレームワークを設計します。
さまざまなタスクで GPT-3.5/GPT-4 モデルを使用した実験により、その有効性が検証されています。
EcoOptiGen は、FLAML ライブラリの「autogen」パッケージ \url{https://aka.ms/autogen} に実装されています。

要約(オリジナル)

Large Language Models (LLMs) have sparked significant interest in their generative capabilities, leading to the development of various commercial applications. The high cost of using the models drives application builders to maximize the value of generation under a limited inference budget. This paper presents a study of optimizing inference hyperparameters such as the number of responses, temperature and max tokens, which significantly affects the utility/cost of text generation. We design a framework named EcoOptiGen which leverages economical hyperparameter optimization and cost-based pruning. Experiments with the GPT-3.5/GPT-4 models on a variety of tasks verify its effectiveness. EcoOptiGen is implemented in the `autogen’ package of the FLAML library: \url{https://aka.ms/autogen}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google