From Retrieval to Generation: Comparing Different Approaches

要約

知識集約型のタスク、特にオープンドメインの質問応答（ODQA）、ドキュメントの再ランキング、および検索された高級言語モデリングには、検索の精度と生成的柔軟性のバランスが必要です。
BM25や密度の高いパッセージ検索（DPR）などの従来の検索モデルは、大きなコーパスから効率的に回収されますが、多くの場合、意味の深さがありません。
GPT-4-Oのような生成モデルは、より豊かな文脈的理解を提供しますが、事実上の一貫性を維持する上で課題に直面しています。
この作業では、ODQAおよび関連する検索された活動タスクでのパフォーマンスに主に焦点を当てた、検索ベース、生成ベース、およびハイブリッドモデルの体系的な評価を実施します。
我々の結果は、密集したレトリバー、特にDPRがNQで50.17 \％の上位1精度でODQAで強力なパフォーマンスを達成し、ハイブリッドモデルが43.42（BM25）から52.59にNDCG@10スコアを改善し、ドキュメントの再ランキングの強度を示していることを示しています。
さらに、Wikitext-103を使用して言語モデリングタスクを分析し、BM25のような検索ベースのアプローチは、生成的およびハイブリッドメソッドと比較して低い困惑を達成し、検索された生成の有用性を強調することを示しています。
各アプローチが優れている条件に関する詳細な比較と実用的な洞察を提供することにより、ODQAおよび関連する知識集約型アプリケーションの検索、再ランキング、および生成モデルの将来の最適化を促進することを目指しています。

要約(オリジナル)

Knowledge-intensive tasks, particularly open-domain question answering (ODQA), document reranking, and retrieval-augmented language modeling, require a balance between retrieval accuracy and generative flexibility. Traditional retrieval models such as BM25 and Dense Passage Retrieval (DPR), efficiently retrieve from large corpora but often lack semantic depth. Generative models like GPT-4-o provide richer contextual understanding but face challenges in maintaining factual consistency. In this work, we conduct a systematic evaluation of retrieval-based, generation-based, and hybrid models, with a primary focus on their performance in ODQA and related retrieval-augmented tasks. Our results show that dense retrievers, particularly DPR, achieve strong performance in ODQA with a top-1 accuracy of 50.17\% on NQ, while hybrid models improve nDCG@10 scores on BEIR from 43.42 (BM25) to 52.59, demonstrating their strength in document reranking. Additionally, we analyze language modeling tasks using WikiText-103, showing that retrieval-based approaches like BM25 achieve lower perplexity compared to generative and hybrid methods, highlighting their utility in retrieval-augmented generation. By providing detailed comparisons and practical insights into the conditions where each approach excels, we aim to facilitate future optimizations in retrieval, reranking, and generative models for ODQA and related knowledge-intensive applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google