Adaptive Retrieval-Augmented Generation for Conversational Systems

要約

大規模な言語モデルを会話システムの開発に統合することは成功しましたが、有益な応答を得るために外部の知識を取得して強化することの有効性が多くの研究で示されています。
したがって、多くの既存の研究は一般に、明示的な制御のない会話システムでは検索拡張生成 (RAG) が常に必要であると想定しています。
このことから、そのような必要性についての研究上の疑問が生じます。
この研究では、システム応答の各ターンを外部の知識で強化する必要性を調査することを提案します。
特に、適応拡張の二者択一に関する人間の判断を活用することで、会話コンテキストと関連入力をモデル化し、会話システムの応答改善に RAG が必要かどうかを予測するゲーティング モデルである RAGate を開発します。
私たちは、RAGate を考案して会話モデルに適用し、さまざまな会話シナリオの総合的な分析について広範な実験を行っています。
私たちの実験結果と分析は、高品質の応答と高い生成信頼度を備えた適切な RAG に対するシステム応答を特定する際に、RAG ベースの会話システムに RAGate を効果的に適用することを示しています。
この研究では、世代の信頼レベルと増強された知識の関連性との間の相関関係も特定されています。

要約(オリジナル)

Despite the success of integrating large language models into the development of conversational systems, many studies have shown the effectiveness of retrieving and augmenting external knowledge for informative responses. Hence, many existing studies commonly assume the always need for Retrieval Augmented Generation (RAG) in a conversational system without explicit control. This raises a research question about such a necessity. In this study, we propose to investigate the need for each turn of system response to be augmented with external knowledge. In particular, by leveraging human judgements on the binary choice of adaptive augmentation, we develop RAGate, a gating model, which models conversation context and relevant inputs to predict if a conversational system requires RAG for improved responses. We conduct extensive experiments on devising and applying RAGate to conversational models and well-rounded analyses of different conversational scenarios. Our experimental results and analysis indicate the effective application of RAGate in RAG-based conversational systems in identifying system responses for appropriate RAG with high-quality responses and a high generation confidence. This study also identifies the correlation between the generation’s confidence level and the relevance of the augmented knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google