Faster, Cheaper, Better: Multi-Objective Hyperparameter Optimization for LLM and RAG Systems

要約

検索拡張生成（RAG）は、大規模な言語モデル（LLM）システムを改善するための一般的な手法として浮上していますが、多くの選択肢、パラメーター、およびハイパーパラメーターを導入して、作成または調整する必要があります。
これには、LLM、埋め込み、ランカーモデル自体、および個々のRAGコンポーネントを管理するハイパーパラメーターが含まれます。
しかし、RAGまたはLLMシステムの構成全体をまとめて最適化することで、特に多目的設定では、顕著な大規模なソリューションスペース、騒々しい客観的評価、および評価の高コストにより、依存していないままです。
この作業では、LLMおよびRAGシステム全体にわたるコスト、潜時、安全性、およびアライメントの多目的パラメーター最適化の最初のアプローチを紹介します。
ベイジアンの最適化方法は、ベースラインアプローチを大幅に上回り、2つの新しいラグベンチマークタスクで優れたパレートフロントを取得することがわかります。
私たちは、多目的RAGシステムを設計している開業医にとって重要な考慮事項で作業を締めくくり、タスクや目的全体に最適な構成が一般化されないようなニュアンスを強調しています。

要約(オリジナル)

While Retrieval Augmented Generation (RAG) has emerged as a popular technique for improving Large Language Model (LLM) systems, it introduces a large number of choices, parameters and hyperparameters that must be made or tuned. This includes the LLM, embedding, and ranker models themselves, as well as hyperparameters governing individual RAG components. Yet, collectively optimizing the entire configuration in a RAG or LLM system remains under-explored – especially in multi-objective settings – due to intractably large solution spaces, noisy objective evaluations, and the high cost of evaluations. In this work, we introduce the first approach for multi-objective parameter optimization of cost, latency, safety and alignment over entire LLM and RAG systems. We find that Bayesian optimization methods significantly outperform baseline approaches, obtaining a superior Pareto front on two new RAG benchmark tasks. We conclude our work with important considerations for practitioners who are designing multi-objective RAG systems, highlighting nuances such as how optimal configurations may not generalize across tasks and objectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google