Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy

要約

大規模な言語モデルは強力なテキスト プロセッサおよび推論機能を備えていますが、依然として古い知識や幻覚などの制限があり、言語モデルを世界と接続する必要があります。
検索拡張された大規模言語モデルは、外部知識に基づくモデル生成の基盤として幅広い注目を集めています。
ただし、レトリバーは、特に複雑な情報ニーズを伴うクエリの場合、関連性を取得するのに苦労します。
最近の研究では、大規模な言語モデルを検索に積極的に関与させることによって関連性モデリングを改善すること、つまり、生成に伴う検索を改善することが提案されています。
この論文では、反復的な方法で取得と生成を相乗させる Iter-RetGen と呼ばれるメソッドによって強力なパフォーマンスが達成できることを示します。
モデル出力は、タスクを完了するために何が必要かを示し、より関連性の高い知識を取得するための有益なコンテキストを提供し、次の反復でより良い出力を生成するのに役立ちます。
出力を生成するときに検索と生成をインターリーブする最近の研究と比較して、Iter-RetGen は取得されたすべての知識を全体として処理し、構造上の制約なしに生成の柔軟性を大幅に維持します。
我々は、マルチホップ質問応答、事実検証、常識的推論に関して Iter-RetGen を評価し、パラメトリック知識とノンパラメトリック知識を柔軟に活用でき、最先端の検索よりも優れているか、競合できることを示します。
取得と生成のオーバーヘッドを減らしながら、ベースラインを強化します。
世代拡張検索適応により、パフォーマンスをさらに向上させることができます。

要約(オリジナル)

Large language models are powerful text processors and reasoners, but are still subject to limitations including outdated knowledge and hallucinations, which necessitates connecting them to the world. Retrieval-augmented large language models have raised extensive attention for grounding model generation on external knowledge. However, retrievers struggle to capture relevance, especially for queries with complex information needs. Recent work has proposed to improve relevance modeling by having large language models actively involved in retrieval, i.e., to improve retrieval with generation. In this paper, we show that strong performance can be achieved by a method we call Iter-RetGen, which synergizes retrieval and generation in an iterative manner. A model output shows what might be needed to finish a task, and thus provides an informative context for retrieving more relevant knowledge which in turn helps generate a better output in the next iteration. Compared with recent work which interleaves retrieval with generation when producing an output, Iter-RetGen processes all retrieved knowledge as a whole and largely preserves the flexibility in generation without structural constraints. We evaluate Iter-RetGen on multi-hop question answering, fact verification, and commonsense reasoning, and show that it can flexibly leverage parametric knowledge and non-parametric knowledge, and is superior to or competitive with state-of-the-art retrieval-augmented baselines while causing fewer overheads of retrieval and generation. We can further improve performance via generation-augmented retrieval adaptation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google