Adapting to Non-Stationary Environments: Multi-Armed Bandit Enhanced Retrieval-Augmented Generation on Knowledge Graphs

要約

大規模言語モデルは多くの NLP タスクで優れたパフォーマンスを発揮しますが、広範な世界の知識を記憶する際には依然として大きな制限に直面しています。
最近の研究では、検索拡張生成 (RAG) フレームワークを、広範な事実データを構造化形式でカプセル化するナレッジ グラフと組み合わせて活用することで、LLM の推論能力が強力に強化されることが実証されました。
ただし、このようなシステムを現実のシナリオに導入するには課題が伴います。非定常環境の継続的な進化はパフォーマンスの低下につながる可能性があり、ユーザーの満足度を高めるには、パフォーマンスと応答性の慎重なバランスが必要です。
これらの課題に対処するために、実際の豊富で進化する検索コンテキストの下で、多様な機能を備えた複数の検索方法によってサポートされる、多目的マルチアームバンディット拡張 RAG フレームワークを導入します。
このフレームワーク内では、各検索メソッドは別個の「アーム」として扱われます。
このシステムは、入力クエリと各アームの過去の多目的パフォーマンスに基づいて適切な検索方法を選択することにより、リアルタイムのユーザー フィードバックを利用して動的な環境に適応します。
2 つのベンチマーク KGQA データセットに対して行われた広範な実験により、私たちの手法が非定常環境ではベースライン手法を大幅に上回り、定常環境では最先端のパフォーマンスを達成できることが実証されました。
コードとデータは https://github.com/FUTUREEEEEE/Dynamic-RAG.git で入手できます。

要約(オリジナル)

Despite the superior performance of Large language models on many NLP tasks, they still face significant limitations in memorizing extensive world knowledge. Recent studies have demonstrated that leveraging the Retrieval-Augmented Generation (RAG) framework, combined with Knowledge Graphs that encapsulate extensive factual data in a structured format, robustly enhances the reasoning capabilities of LLMs. However, deploying such systems in real-world scenarios presents challenges: the continuous evolution of non-stationary environments may lead to performance degradation and user satisfaction requires a careful balance of performance and responsiveness. To address these challenges, we introduce a Multi-objective Multi-Armed Bandit enhanced RAG framework, supported by multiple retrieval methods with diverse capabilities under rich and evolving retrieval contexts in practice. Within this framework, each retrieval method is treated as a distinct “arm”. The system utilizes real-time user feedback to adapt to dynamic environments, by selecting the appropriate retrieval method based on input queries and the historical multi-objective performance of each arm. Extensive experiments conducted on two benchmark KGQA datasets demonstrate that our method significantly outperforms baseline methods in non-stationary settings while achieving state-of-the-art performance in stationary environments. Code and data are available at https://github.com/FUTUREEEEEE/Dynamic-RAG.git

arxiv情報

著者 Xiaqiang Tang,Jian Li,Nan Du,Sihong Xie
発行日 2024-12-10 15:56:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL パーマリンク