Improving Retrieval for RAG based Question Answering Models on Financial Documents

要約

正確な応答を生成する際の大規模言語モデル (LLM) の有効性は、特に検索拡張生成 (RAG) 技術を使用する場合に、提供される入力の品質に大きく依存します。
RAG は、クエリのベースとなる最も関連性の高いテキスト チャンクを取得することにより、LLM を強化します。
近年、LLM の応答品質は大幅に進歩しているにもかかわらず、ユーザーは依然として不正確な応答や無関係な応答に遭遇する可能性があります。
これらの問題は、多くの場合、LLM の固有の機能ではなく、RAG による最適ではないテキスト チャンクの取得に起因します。
LLM の有効性を高めるには、RAG プロセスを改良することが重要です。
このペーパーでは、RAG パイプラインの既存の制約を調査し、テキスト検索を強化するための方法論を紹介します。
高度なチャンキング技術、クエリ拡張、メタデータ注釈の組み込み、再ランキング アルゴリズムの適用、埋め込みアルゴリズムの微調整などの戦略を詳しく掘り下げています。
これらのアプローチを実装すると、検索品質が大幅に向上し、クエリの処理と応答における LLM の全体的なパフォーマンスと信頼性が向上します。

要約(オリジナル)

The effectiveness of Large Language Models (LLMs) in generating accurate responses relies heavily on the quality of input provided, particularly when employing Retrieval Augmented Generation (RAG) techniques. RAG enhances LLMs by sourcing the most relevant text chunk(s) to base queries upon. Despite the significant advancements in LLMs’ response quality in recent years, users may still encounter inaccuracies or irrelevant answers; these issues often stem from suboptimal text chunk retrieval by RAG rather than the inherent capabilities of LLMs. To augment the efficacy of LLMs, it is crucial to refine the RAG process. This paper explores the existing constraints of RAG pipelines and introduces methodologies for enhancing text retrieval. It delves into strategies such as sophisticated chunking techniques, query expansion, the incorporation of metadata annotations, the application of re-ranking algorithms, and the fine-tuning of embedding algorithms. Implementing these approaches can substantially improve the retrieval quality, thereby elevating the overall performance and reliability of LLMs in processing and responding to queries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google