Optimizing Retrieval-Augmented Generation: Analysis of Hyperparameter Impact on Performance and Efficiency

要約

大規模な言語モデルは高いタスクのパフォーマンスを実現しますが、多くの場合、時代遅れの知識に幻覚または依存しています。
検索された生成（RAG）は、カップリング生成と外部検索によりこれらのギャップに対処します。
ハイパーパラメーターがRAGシステムの速度と品質にどのように影響するかを分析し、クロマとFAISSベクターのストア、チャンキングポリシー、クロスエンコーダーの再ランキング、および温度をカバーし、6つのメトリックを評価します。
Chroma Processesは13％より速くクエリを処理しますが、FAISSはより高い回収精度を生成し、明確な速度acccuracyのトレードオフが明らかになります。
小さなウィンドウと最小限のオーバーラップを備えた素朴な固定長チャンキングは、最も迅速なオプションを残しながらセマンティックセグメンテーションを上回ります。
再ランキングは検索品質のわずかな利益を提供しますが、ランタイムが約5倍に増加するため、その有用性はレイテンシの制約に依存します。
これらの結果は、透明で最新の応答のためにRAGシステムを調整する際に、開業医のバランスをとるのに役立ちます。
最後に、是正ぼろのワークフローで上部構成を再評価し、モデルが追加の証拠を繰り返し要求できるときにそれらの利点が持続することを示します。
ほぼ完璧なコンテキスト精度（99％）を取得します。これは、ハイパーパラメーターの適切な組み合わせでRAGシステムが非常に高い検索精度を達成できることを示しています。

要約(オリジナル)

Large language models achieve high task performance yet often hallucinate or rely on outdated knowledge. Retrieval-augmented generation (RAG) addresses these gaps by coupling generation with external search. We analyse how hyperparameters influence speed and quality in RAG systems, covering Chroma and Faiss vector stores, chunking policies, cross-encoder re-ranking, and temperature, and we evaluate six metrics: faithfulness, answer correctness, answer relevancy, context precision, context recall, and answer similarity. Chroma processes queries 13% faster, whereas Faiss yields higher retrieval precision, revealing a clear speed-accuracy trade-off. Naive fixed-length chunking with small windows and minimal overlap outperforms semantic segmentation while remaining the quickest option. Re-ranking provides modest gains in retrieval quality yet increases runtime by roughly a factor of 5, so its usefulness depends on latency constraints. These results help practitioners balance computational cost and accuracy when tuning RAG systems for transparent, up-to-date responses. Finally, we re-evaluate the top configurations with a corrective RAG workflow and show that their advantages persist when the model can iteratively request additional evidence. We obtain a near-perfect context precision (99%), which demonstrates that RAG systems can achieve extremely high retrieval accuracy with the right combination of hyperparameters, with significant implications for applications where retrieval quality directly impacts downstream task performance, such as clinical decision support in healthcare.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google