Generate-then-Ground in Retrieval-Augmented Generation for Multi-hop Question Answering

要約

マルチホップ質問応答 (MHQA) タスクは、集中的な知識が必要なため、大規模言語モデル (LLM) にとって大きな課題となります。
検索拡張生成などの現在のソリューションは、通常、外部コーパスから潜在的な文書を取得して答えを読み取ります。
ただし、この検索してから読み取るパラダイムのパフォーマンスは、検索機能と、検索されたドキュメントに含まれる避けられないノイズによって制限されます。
これらの課題を軽減するために、LLM と外部ドキュメントのパラメトリック知識を相乗してマルチホップの問題を解決する、新しい Generate-Then-ground (GenGround) フレームワークを導入します。
GenGround により、LLM は最終的な答えが導き出されるまで 2 つのフェーズを交互に実行できるようになります。(1) より単純なシングルホップの質問を定式化し、答えを直接生成します。
(2) 取得した文書内の質問と回答のペアを根拠にして、回答内の誤った予測を修正します。
また、私たちの方法をより小さなモデルに一般化するための教育的グラウンディング蒸留方法も提案します。
4 つのデータセットに対して行われた広範な実験は、私たちの方法の優位性を示しています。

要約(オリジナル)

Multi-Hop Question Answering (MHQA) tasks present a significant challenge for large language models (LLMs) due to the intensive knowledge required. Current solutions, like Retrieval-Augmented Generation, typically retrieve potential documents from an external corpus to read an answer. However, the performance of this retrieve-then-read paradigm is constrained by the retriever and the inevitable noise in the retrieved documents. To mitigate these challenges, we introduce a novel generate-then-ground (GenGround) framework, synergizing the parametric knowledge of LLMs and external documents to solve a multi-hop question. GenGround empowers LLMs to alternate two phases until the final answer is derived: (1) formulate a simpler, single-hop question and directly generate the answer; (2) ground the question-answer pair in retrieved documents, amending any wrong predictions in the answer. We also propose an instructional grounding distillation method to generalize our method into smaller models. Extensive experiments conducted on four datasets illustrate the superiority of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google