Review-Then-Refine: A Dynamic Framework for Multi-Hop Question Answering with Temporal Adaptability

要約

取得拡張生成 (RAG) フレームワークは、大規模言語モデル (LLM) に外部知識を組み込み、固有の知識不足を軽減できるため、マルチホップ質問応答 (QA) タスクに対する有望なソリューションとして浮上しています。
このような進歩にもかかわらず、通常は取得してから読み取るパラダイムに従っている既存の RAG フレームワークは、正確な時間関連情報の取得と合成が難しいため、時間情報を使用するマルチホップ QA に苦戦することがよくあります。
この課題に対処するために、この文書では review-then-refine と呼ばれる新しいフレームワークを提案します。これは、時間情報を使用してマルチホップ QA シナリオにおける LLM パフォーマンスを向上させることを目的としています。
私たちのアプローチはレビューフェーズから始まります。レビューフェーズでは、分解されたサブクエリが時間情報で動的に書き換えられ、その後の適応的な検索と推論プロセスが可能になります。
さらに、適応型検索メカニズムを実装して不必要な検索を最小限に抑え、幻覚の可能性を減らします。
続く調整フェーズでは、LLM は各サブクエリから取得した情報とその内部知識を合成して、一貫した回答を作成します。
複数のデータセットにわたる広範な実験結果は、私たちが提案したフレームワークの有効性を実証し、LLM のマルチホップ QA 機能を大幅に向上させる可能性を強調しています。

要約(オリジナル)

Retrieve-augmented generation (RAG) frameworks have emerged as a promising solution to multi-hop question answering(QA) tasks since it enables large language models (LLMs) to incorporate external knowledge and mitigate their inherent knowledge deficiencies. Despite this progress, existing RAG frameworks, which usually follows the retrieve-then-read paradigm, often struggle with multi-hop QA with temporal information since it has difficulty retrieving and synthesizing accurate time-related information. To address the challenge, this paper proposes a novel framework called review-then-refine, which aims to enhance LLM performance in multi-hop QA scenarios with temporal information. Our approach begins with a review phase, where decomposed sub-queries are dynamically rewritten with temporal information, allowing for subsequent adaptive retrieval and reasoning process. In addition, we implement adaptive retrieval mechanism to minimize unnecessary retrievals, thus reducing the potential for hallucinations. In the subsequent refine phase, the LLM synthesizes the retrieved information from each sub-query along with its internal knowledge to formulate a coherent answer. Extensive experimental results across multiple datasets demonstrate the effectiveness of our proposed framework, highlighting its potential to significantly improve multi-hop QA capabilities in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google