An Analysis of Hyper-Parameter Optimization Methods for Retrieval Augmented Generation

要約

特定のユースケースの最適な検索高等発電（RAG）構成を見つけることは、複雑で高価な場合があります。
この課題に動機付けられたRAGハイパーパラメーター最適化（HPO）のフレームワークは最近登場しましたが、それらの有効性は厳密にベンチマークされていません。
このギャップに対処するために、多様なドメインから5つのデータセットを超える5つのHPOアルゴリズムを含む包括的な研究を提示します。
私たちの研究では、2つの最適化された評価メトリックを備えた、これまでに考慮された最大のHPO検索スペースを探ります。
結果の分析により、RAG HPOは、貪欲または反復的なランダム検索で効率的に実行できること、およびすべてのデータセットのRAGパフォーマンスを大幅に向上させることが示されています。
貪欲なHPOアプローチの場合、最初にモデルを最適化することが、RAGパイプラインの順序に従って順次最適化する一般的な実践よりも好ましいことを示します。

要約(オリジナル)

Finding the optimal Retrieval-Augmented Generation (RAG) configuration for a given use case can be complex and expensive. Motivated by this challenge, frameworks for RAG hyper-parameter optimization (HPO) have recently emerged, yet their effectiveness has not been rigorously benchmarked. To address this gap, we present a comprehensive study involving 5 HPO algorithms over 5 datasets from diverse domains, including a new one collected for this work on real-world product documentation. Our study explores the largest HPO search space considered to date, with two optimized evaluation metrics. Analysis of the results shows that RAG HPO can be done efficiently, either greedily or with iterative random search, and that it significantly boosts RAG performance for all datasets. For greedy HPO approaches, we show that optimizing models first is preferable to the prevalent practice of optimizing sequentially according to the RAG pipeline order.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google