DRAGIN: Dynamic Retrieval Augmented Generation based on the Real-time Information Needs of Large Language Models

要約

動的検索拡張生成 (RAG) パラダイムは、大規模言語モデル (LLM) のテキスト生成プロセス中に、いつ、何を取得するかを積極的に決定します。
このパラダイムには 2 つの重要な要素があります。取得モジュールをアクティブにする最適なタイミングを特定する (いつ取得するかを決定する) ことと、取得がトリガーされた後に適切なクエリを作成する (何を取得するかを決定する) ことです。
ただし、現在の動的 RAG 手法は両方の点で不十分です。
まず、いつ取得するかを決定する戦略は、静的なルールに依存することがよくあります。
さらに、何を取得するかを決定する戦略は通常、LLM の最新の文または最後のいくつかのトークンに限定されますが、LLM のリアルタイム情報のニーズはコンテキスト全体に及ぶ場合があります。
これらの制限を克服するために、新しいフレームワーク DRAGIN、つまり LLM のリアルタイム情報ニーズに基づく動的検索拡張生成を導入します。
私たちのフレームワークは、テキスト生成プロセス中の LLM のリアルタイム情報ニーズに基づいて、いつ何を取得するかを決定するように特別に設計されています。
DRAGIN を既存の手法と合わせて、4 つの知識集約型生成データセットにわたって包括的に評価します。
実験結果は、DRAGIN がすべてのタスクで優れたパフォーマンスを達成することを示し、私たちの方法の有効性を実証しています。
すべてのコード、データ、モデルを GitHub でオープンソース化しました: https://github.com/oneal2000/DRAGIN/tree/main

要約(オリジナル)

Dynamic retrieval augmented generation (RAG) paradigm actively decides when and what to retrieve during the text generation process of Large Language Models (LLMs). There are two key elements of this paradigm: identifying the optimal moment to activate the retrieval module (deciding when to retrieve) and crafting the appropriate query once retrieval is triggered (determining what to retrieve). However, current dynamic RAG methods fall short in both aspects. Firstly, the strategies for deciding when to retrieve often rely on static rules. Moreover, the strategies for deciding what to retrieve typically limit themselves to the LLM’s most recent sentence or the last few tokens, while the LLM’s real-time information needs may span across the entire context. To overcome these limitations, we introduce a new framework, DRAGIN, i.e., Dynamic Retrieval Augmented Generation based on the real-time Information Needs of LLMs. Our framework is specifically designed to make decisions on when and what to retrieve based on the LLM’s real-time information needs during the text generation process. We evaluate DRAGIN along with existing methods comprehensively over 4 knowledge-intensive generation datasets. Experimental results show that DRAGIN achieves superior performance on all tasks, demonstrating the effectiveness of our method. We have open-sourced all the code, data, and models in GitHub: https://github.com/oneal2000/DRAGIN/tree/main

arxiv情報

提供元, 利用サービス

arxiv.jp, Google