Agentic Verification for Ambiguous Query Disambiguation

要約

この作業では、検索された世代（RAG）におけるクエリを曖昧にしているという課題に、多様でありながら答えのある解釈に取り組んでいます。
最先端は、Diversify-Then-Verify（DTV）パイプラインに続きます。ここでは、LLMによって多様な解釈が生成され、後にサポートパッセージを取得するための検索クエリとして使用されます。
このようなプロセスは、特に静的データで訓練されたLLMがドメイン固有の乱数に苦しむ可能性があるエンタープライズ設定で、解釈または検索のいずれかでノイズを導入する場合があります。
したがって、プルーンノイズのために事後検証フェーズが導入されます。
私たちの区別は、レトリバーとジェネレーターからのフィードバックを早期に組み込むことにより、検証で多様化を統合することです。
この共同アプローチは、複数の検索と推論ステップへの依存を減らすことにより、効率と堅牢性の両方を改善します。これは、カスケードエラーの影響を受けやすくなります。
私たちは、多様でありながら検証可能な解釈を実現するために、広く採用されているASQAベンチマークで、統合による検証済みの統合（評決）の効率と有効性を検証します。
経験的結果は、異なるバックボーンLLMの最も強力なベースラインよりも、判定が接地認識F1スコアを平均23％改善することを示しています。

要約(オリジナル)

In this work, we tackle the challenge of disambiguating queries in retrieval-augmented generation (RAG) to diverse yet answerable interpretations. State-of-the-arts follow a Diversify-then-Verify (DtV) pipeline, where diverse interpretations are generated by an LLM, later used as search queries to retrieve supporting passages. Such a process may introduce noise in either interpretations or retrieval, particularly in enterprise settings, where LLMs — trained on static data — may struggle with domain-specific disambiguations. Thus, a post-hoc verification phase is introduced to prune noises. Our distinction is to unify diversification with verification by incorporating feedback from retriever and generator early on. This joint approach improves both efficiency and robustness by reducing reliance on multiple retrieval and inference steps, which are susceptible to cascading errors. We validate the efficiency and effectiveness of our method, Verified-Diversification with Consolidation (VERDICT), on the widely adopted ASQA benchmark to achieve diverse yet verifiable interpretations. Empirical results show that VERDICT improves grounding-aware F1 score by an average of 23% over the strongest baseline across different backbone LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google