Cost-Effective Hyperparameter Optimization for Large Language Model Generation Inference

要約

GPT-3 のような大規模言語モデル (LLM) は、その生成機能に大きな関心を集め、さまざまな商用アプリケーションの開発につながっています。
モデルを使用するコストが高いため、アプリケーション ビルダーは限られた推論予算の下で生成の価値を最大化する必要があります。
このホワイト ペーパーでは、テキスト生成のユーティリティ/コストに大きな影響を与える、応答数、温度、最大トークン数などの推論ハイパーパラメータの最適化に関する研究を紹介します。
経済的なハイパーパラメーターの最適化とコストベースの枝刈りを活用する EcoOptiGen という名前のフレームワークを設計します。
さまざまなタスクで最新の GPT-3.5 モデルを使用した実験により、その有効性が検証されます。
EcoOptiGen は FLAML ライブラリ (https://github.com/microsoft/FLAML) に実装されており、https://microsoft.github.io/FLAML/docs/Examples/Integrate%20- で使用例を 1 つ提供しています。
%20OpenAI.

要約(オリジナル)

Large Language Models (LLMs) like GPT-3 have sparked significant interest in their generative capabilities, leading to the development of various commercial applications. The high cost of using the models drives application builders to maximize the value of generation under a limited inference budget. This paper presents a study of optimizing inference hyperparameters like the number of responses, temperature and max tokens, which significantly affects the utility/cost of text generation. We design a framework named EcoOptiGen which leverages economical hyperparameter optimization and cost-based pruning. Experiments with the latest GPT-3.5 models on a variety of tasks verify its effectiveness. EcoOptiGen is implemented in the FLAML library: https://github.com/microsoft/FLAML, and we provide one example of using it at: https://microsoft.github.io/FLAML/docs/Examples/Integrate%20-%20OpenAI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google