Not All Contexts Are Equal: Teaching LLMs Credibility-aware Generation

要約

大規模な言語モデルの急速な開発により、外部知識を統合して知識のボトルネックを軽減し、幻覚を軽減する検索拡張生成 (RAG) が広く採用されるようになりました。
しかし、既存の RAG パラダイムは、検索フレーズ中に導入された欠陥情報の影響を受けることは避けられず、それによって生成された結果の信頼性と正確性が低下します。
このペーパーでは、RAG 内の欠陥情報の影響を軽減するために設計された、普遍的に適用可能なフレームワークである CAG (Credibility-aware Generation) を提案します。
CAG の核心は、情報の信頼性に基づいて情報を識別し、処理する能力をモデルに装備することです。
この目的を達成するために、信頼性に基づいてデータを生成し、それによってモデルに CAG の機能を効果的に与える革新的なデータ変換フレームワークを提案します。
さらに、CAG のモデルの機能を正確に評価するために、3 つの重要な現実世界のシナリオをカバーする包括的なベンチマークを構築しました。
実験結果は、私たちのモデルが生成の信頼性を効果的に理解して利用できること、検索拡張で他のモデルを大幅に上回っていること、ノイズの多いドキュメントによって引き起こされる中断に対する回復力を示し、それによって堅牢なパフォーマンスを維持できることを示しています。
さらに、当社のモデルはカスタマイズされた信頼性をサポートし、幅広い潜在的なアプリケーションを提供します。

要約(オリジナル)

The rapid development of large language models has led to the widespread adoption of Retrieval-Augmented Generation (RAG), which integrates external knowledge to alleviate knowledge bottlenecks and mitigate hallucinations. However, the existing RAG paradigm inevitably suffers from the impact of flawed information introduced during the retrieval phrase, thereby diminishing the reliability and correctness of the generated outcomes. In this paper, we propose Credibility-aware Generation (CAG), a universally applicable framework designed to mitigate the impact of flawed information in RAG. At its core, CAG aims to equip models with the ability to discern and process information based on its credibility. To this end, we propose an innovative data transformation framework that generates data based on credibility, thereby effectively endowing models with the capability of CAG. Furthermore, to accurately evaluate the models’ capabilities of CAG, we construct a comprehensive benchmark covering three critical real-world scenarios. Experimental results demonstrate that our model can effectively understand and utilize credibility for generation, significantly outperform other models with retrieval augmentation, and exhibit resilience against the disruption caused by noisy documents, thereby maintaining robust performance. Moreover, our model supports customized credibility, offering a wide range of potential applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google