Micro-Act: Mitigate Knowledge Conflict in Question Answering via Actionable Self-Reasoning

要約

検索された生成（RAG）システムは、一般に知識の対立に苦しみます。
質問応答（QA）などの下流タスクのパフォーマンスに悪影響を及ぼします。
既存のアプローチは、2つの知識ソースを並べて直接比較することで競合を軽減しようとすることがよくありますが、これは外部または長いコンテキストでLLMを圧倒し、最終的に矛盾を特定して軽減する能力を妨げます。
この問題に対処するために、コンテキストの複雑さを自動的に知覚し、各知識ソースを細粒の比較のシーケンスに適応的に分解する階層アクション空間を備えたマイクロアクトを提案します。
これらの比較は、実用的なステップとして表され、表面的な文脈を超えて推論を可能にします。
5つのベンチマークデータセットでの広範な実験を通じて、Micro-ACTは、5つのデータセットすべてと3つの競合タイプにわたる最先端のベースラインで、特にすべてのベースラインが大幅に故障した3つの競合タイプにわたってQA精度を一貫して達成します。
さらに重要なことは、Micro-ACTは、非紛争の質問で同時に堅牢なパフォーマンスを示し、実際のRAGアプリケーションでの実用的な価値を強調することです。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) systems commonly suffer from Knowledge Conflicts, where retrieved external knowledge contradicts the inherent, parametric knowledge of large language models (LLMs). It adversely affects performance on downstream tasks such as question answering (QA). Existing approaches often attempt to mitigate conflicts by directly comparing two knowledge sources in a side-by-side manner, but this can overwhelm LLMs with extraneous or lengthy contexts, ultimately hindering their ability to identify and mitigate inconsistencies. To address this issue, we propose Micro-Act a framework with a hierarchical action space that automatically perceives context complexity and adaptively decomposes each knowledge source into a sequence of fine-grained comparisons. These comparisons are represented as actionable steps, enabling reasoning beyond the superficial context. Through extensive experiments on five benchmark datasets, Micro-Act consistently achieves significant increase in QA accuracy over state-of-the-art baselines across all 5 datasets and 3 conflict types, especially in temporal and semantic types where all baselines fail significantly. More importantly, Micro-Act exhibits robust performance on non-conflict questions simultaneously, highlighting its practical value in real-world RAG applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google