Retrieve, Summarize, Plan: Advancing Multi-hop Question Answering with an Iterative Approach

要約

マルチホップの質問応答は、明確な産業の関連性を備えた挑戦的なタスクであり、大規模な言語モデル（LLM）に基づく検索された高級世代（RAG）メソッドは、このタスクに取り組むための一般的なアプローチとなっています。
必要なすべての情報を1回の反復で取得できない可能性があるため、一連の反復RAGメソッドが最近開発され、パフォーマンスの大幅な改善が示されています。
ただし、既存の方法は依然として2つの重要な課題に直面しています。記録された検索軌道がないため、複数のラウンドの検索と繰り返しの計画と繰り返しの計画から生じるコンテキスト過負荷。
この論文では、デュアル機能の要約を装備したRESPと呼ばれる新しい反復ラグ法を提案します。
この要約は、取得した文書から情報を圧縮し、包括的な質問と現在のサブ質問の両方を同時に標的にします。
マルチホップの質問アンウェーデータセットHotPotQAと2WikimultiHopqaの実験結果は、この方法が最先端の状況を大幅に上回り、コンテキストの長さに関する優れた堅牢性を示すことを示しています。

要約(オリジナル)

Multi-hop question answering is a challenging task with distinct industrial relevance, and Retrieval-Augmented Generation (RAG) methods based on large language models (LLMs) have become a popular approach to tackle this task. Owing to the potential inability to retrieve all necessary information in a single iteration, a series of iterative RAG methods has been recently developed, showing significant performance improvements. However, existing methods still face two critical challenges: context overload resulting from multiple rounds of retrieval, and over-planning and repetitive planning due to the lack of a recorded retrieval trajectory. In this paper, we propose a novel iterative RAG method called ReSP, equipped with a dual-function summarizer. This summarizer compresses information from retrieved documents, targeting both the overarching question and the current sub-question concurrently. Experimental results on the multi-hop question-answering datasets HotpotQA and 2WikiMultihopQA demonstrate that our method significantly outperforms the state-of-the-art, and exhibits excellent robustness concerning context length.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google