How Much Can RAG Help the Reasoning of LLM?

要約

検索補強生成(RAG)は、新しい知識を導入し、幻覚を減らすのに有効であるため、最新の大規模言語モデル(LLM)で大きな人気を得ている。しかしながら、RAGの深い理解はまだ限定的であり、RAGがどのように推論プロセスを支援するのか、またRAGは推論能力を向上させることができるのか、疑問が残る。外部文書は、一般的にドメイン固有の情報を取り込む方法として考えられているが、クエリに関連する中間的な推論結果も含んでいる。このことは、文書がLLMの推論能力を向上させる可能性を示唆しているが、これはこれまで検討されてこなかった。本論文では、この問題を深く調査し、RAGが推論を支援することはできるが、その支援は限定的であることを発見した。推論プロセスを一定の深さを持つツリーとして概念化すると、RAGはLLMがより深い推論を行うのを支援するのに苦労する。さらに、文書中の情報はノイズを除去するための前処理を必要とする。この前処理はLLMの微調整だけでは困難であり、問題を解決するために多くの変換層を追加する必要がある。この問題を単純化するために、我々はDPromptチューニングを提案する。DPromptチューニングは、限られた変換層で効果的に問題を解決し、性能の向上につながる。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has gained significant popularity in modern Large Language Models (LLMs) due to its effectiveness in introducing new knowledge and reducing hallucinations. However, the deep understanding of RAG remains limited, how does RAG help the reasoning process and can RAG help improve the reasoning capability remains question. While external documents are typically considered as a method to incorporate domain-specific information, they also contain intermediate reasoning results related to the query, this suggests that documents could enhance the reasoning capability of LLMs, which has not been previously explored. In this paper, we investigate this issue in depth and find that while RAG can assist with reasoning, the help is limited. If we conceptualize the reasoning process as a tree with fixed depth, then RAG struggles to assist LLMs in performing deeper reasoning. Additionally, the information in the documents requires preprocessing to filter out noise. We demonstrate that this preprocessing is difficult to achieve simply fine-tuning of the LLM, it often necessitates numerous additional transformer layers to solve the problem. To simplify the problem, we propose DPrompt tuning, which effectively resolves the issue within just limited transformer layers, leading to improved performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL