AutoRAG-HP: Automatic Online Hyper-Parameter Tuning for Retrieval-Augmented Generation

要約

大規模言語モデルの最近の進歩により、ML/AI 開発が変革され、検索拡張生成 (RAG) システムの AutoML 原則の再評価が必要になりました。
RAG におけるハイパーパラメータの最適化とオンライン適応の課題に対処するために、AutoRAG-HP フレームワークを提案します。このフレームワークは、ハイパーパラメータ調整をオンラインのマルチアーム バンディット (MAB) 問題として定式化し、新しい 2 レベルの階層 MAB を導入します。
大規模な検索スペースを効率的に探索するための (Hier-MAB) メソッド。
私たちは、ALCE-ASQA データセットと Naturalquestions データセットを使用して、top-k 検索ドキュメント、プロンプト圧縮率、埋め込み方法などのハイパーパラメーターの調整に関する広範な実験を実施しています。
3 つのハイパーパラメータすべてを共同最適化した結果、MAB ベースのオンライン学習方法では、LLM API 呼び出しの $\sim20\%$ のみを使用して、検索空間で顕著な勾配があるシナリオで Recall@5 $\約 0.8$ を達成できることが実証されました。
グリッド検索アプローチで必要となります。
さらに、提案された Hier-MAB アプローチは、より困難な最適化シナリオにおいて他のベースラインよりも優れたパフォーマンスを発揮します。
コードは https://aka.ms/autorag で利用可能になります。

要約(オリジナル)

Recent advancements in Large Language Models have transformed ML/AI development, necessitating a reevaluation of AutoML principles for the Retrieval-Augmented Generation (RAG) systems. To address the challenges of hyper-parameter optimization and online adaptation in RAG, we propose the AutoRAG-HP framework, which formulates the hyper-parameter tuning as an online multi-armed bandit (MAB) problem and introduces a novel two-level Hierarchical MAB (Hier-MAB) method for efficient exploration of large search spaces. We conduct extensive experiments on tuning hyper-parameters, such as top-k retrieved documents, prompt compression ratio, and embedding methods, using the ALCE-ASQA and Natural Questions datasets. Our evaluation from jointly optimization all three hyper-parameters demonstrate that MAB-based online learning methods can achieve Recall@5 $\approx 0.8$ for scenarios with prominent gradients in search space, using only $\sim20\%$ of the LLM API calls required by the Grid Search approach. Additionally, the proposed Hier-MAB approach outperforms other baselines in more challenging optimization scenarios. The code will be made available at https://aka.ms/autorag.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google