RA-ISF: Learning to Answer and Understand from Retrieval Augmentation via Iterative Self-Feedback

要約

大規模言語モデル (LLM) は、多数のタスクで優れたパフォーマンスを示しますが、パラメーターに格納されている知識に大きく依存しています。
さらに、この知識を更新するには多額のトレーニング コストがかかります。
検索拡張生成 (RAG) 手法は、外部の知識を統合することでこの問題に対処します。
このモデルは、クエリに関連する知識を取得することで、以前は答えられなかった質問に答えることができます。
このアプローチにより、特定のタスクの特定のシナリオでパフォーマンスが向上します。
ただし、無関係なテキストが取得されると、モデルのパフォーマンスが低下する可能性があります。
この論文では、モデルの問題解決能力を強化するためにタスクを反復的に分解し、3 つのサブモジュールで処理するフレームワークである検索拡張反復自己フィードバック (RA-ISF) を提案します。
実験では、私たちの方法が既存のベンチマークを上回り、GPT3.5、Llama2などのモデルで良好なパフォーマンスを示し、事実推論能力を大幅に強化し、幻覚を軽減することが示されています。

要約(オリジナル)

Large language models (LLMs) demonstrate exceptional performance in numerous tasks but still heavily rely on knowledge stored in their parameters. Moreover, updating this knowledge incurs high training costs. Retrieval-augmented generation (RAG) methods address this issue by integrating external knowledge. The model can answer questions it couldn’t previously by retrieving knowledge relevant to the query. This approach improves performance in certain scenarios for specific tasks. However, if irrelevant texts are retrieved, it may impair model performance. In this paper, we propose Retrieval Augmented Iterative Self-Feedback (RA-ISF), a framework that iteratively decomposes tasks and processes them in three submodules to enhance the model’s problem-solving capabilities. Experiments show that our method outperforms existing benchmarks, performing well on models like GPT3.5, Llama2, significantly enhancing factual reasoning capabilities and reducing hallucinations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google