IterKey: Iterative Keyword Generation with LLMs for Enhanced Retrieval Augmented Generation

要約

検索された生成（RAG）は、外部ドキュメントを統合することにより、大規模な言語モデル（LLM）のコンテキスト内の知識を補完する方法として浮上しています。
ただし、実際のアプリケーションは、精度だけでなく解釈可能性も必要とします。
密な検索方法は高い精度を提供しますが、解釈可能性がありません。
逆に、まばらな検索方法は透明性を提供しますが、キーワードのマッチングに依存しているため、クエリの完全な意図をキャプチャできないことがよくあります。
これらの問題に対処するために、LLM駆動型の反復キーワード生成フレームワークであるIterkeyを紹介します。
Iterkeyは、3つのLLM駆動型のステージで構成されています。取得のためのキーワードの生成、取得したドキュメントに基づいて回答の生成、および回答の検証です。
検証が失敗した場合、プロセスは洗練されたキーワードで繰り返し繰り返されます。
4つのQAタスクにわたって、実験結果は、IterkeyがBM25ベースのRAGおよび単純なベースラインで5％から20％の精度の改善を達成することを示しています。
そのパフォーマンスは、密な検索ベースのRAGおよび密なモデルを使用した以前の反復クエリ改良方法に匹敵します。
要約すると、Iterkeyは、LLMを活用してRAGを繰り返し洗練させ、精度と解釈可能性のバランスをとる新しいBM25ベースのアプローチです。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has emerged as a way to complement the in-context knowledge of Large Language Models (LLMs) by integrating external documents. However, real-world applications demand not only accuracy but also interpretability. While dense retrieval methods provide high accuracy, they lack interpretability; conversely, sparse retrieval methods offer transparency but often fail to capture the full intent of queries due to their reliance on keyword matching. To address these issues, we introduce IterKey, an LLM-driven iterative keyword generation framework that enhances RAG via sparse retrieval. IterKey consists of three LLM-driven stages: generating keywords for retrieval, generating answers based on retrieved documents, and validating the answers. If validation fails, the process iteratively repeats with refined keywords. Across four QA tasks, experimental results show that IterKey achieves 5% to 20% accuracy improvements over BM25-based RAG and simple baselines. Its performance is comparable to dense retrieval-based RAG and prior iterative query refinement methods using dense models. In summary, IterKey is a novel BM25-based approach leveraging LLMs to iteratively refine RAG, effectively balancing accuracy with interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google