FIT-RAG: Black-Box RAG with Factual Information and Token Reduction

要約

パラメーターの数が非常に多いため、大規模言語モデル (LLM) を微調整してロングテールまたは古い知識を更新することは、多くのアプリケーションでは非現実的です。
微調整を避けるために、LLM をブラックボックスとして扱い (つまり、LLM のパラメーターをフリーズし)、取得拡張生成 (RAG) システム、つまりブラックボックス RAG でそれを拡張することもできます。
最近、ブラックボックス RAG は知識集約型タスクで成功を収め、大きな注目を集めています。
既存のブラックボックス RAG 手法は通常、LLM の好みに合わせて取得者を微調整し、取得したすべてのドキュメントを入力として連結します。これには、(1) 事実情報の無知という 2 つの問題があります。
LLM の推奨文書には、特定の質問に対する事実情報が含まれていない可能性があり、検索者に誤解を与え、ブラックボックス RAG の有効性を損なう可能性があります。
(2) トークンの無駄。
取得したすべてのドキュメントを単純に連結すると、LLM に大量の不要なトークンが発生し、ブラック ボックス RAG の効率が低下します。
これらの問題に対処するために、この論文では、検索に事実情報を利用し、拡張のためのトークンの数を削減する、FIT-RAG と呼ばれる新しいブラックボックス RAG フレームワークを提案します。
FIT-RAG は、バイラベル ドキュメント スコアラーを構築することで事実情報を利用します。
さらに、自己知識認識機能とサブ文書レベルのトークン削減機能を導入することでトークンを削減します。
FIT-RAG は優れた有効性と効率性の両方を達成しており、これは TriviaQA、NQ、PopQA の 3 つのオープンドメイン質問応答データセットにわたる広範な実験によって検証されています。
FIT-RAG は、Llama2-13B-Chat の回答精度を、TriviaQA で 14.3\%、NQ で 19.9\%、PopQA で 27.5\% それぞれ向上させることができます。
さらに、3 つのデータセット全体で平均してトークンの約半分を節約できます。

要約(オリジナル)

Due to the extraordinarily large number of parameters, fine-tuning Large Language Models (LLMs) to update long-tail or out-of-date knowledge is impractical in lots of applications. To avoid fine-tuning, we can alternatively treat a LLM as a black-box (i.e., freeze the parameters of the LLM) and augment it with a Retrieval-Augmented Generation (RAG) system, namely black-box RAG. Recently, black-box RAG has achieved success in knowledge-intensive tasks and has gained much attention. Existing black-box RAG methods typically fine-tune the retriever to cater to LLMs’ preferences and concatenate all the retrieved documents as the input, which suffers from two issues: (1) Ignorance of Factual Information. The LLM preferred documents may not contain the factual information for the given question, which can mislead the retriever and hurt the effectiveness of black-box RAG; (2) Waste of Tokens. Simply concatenating all the retrieved documents brings large amounts of unnecessary tokens for LLMs, which degenerates the efficiency of black-box RAG. To address these issues, this paper proposes a novel black-box RAG framework which utilizes the factual information in the retrieval and reduces the number of tokens for augmentation, dubbed FIT-RAG. FIT-RAG utilizes the factual information by constructing a bi-label document scorer. Besides, it reduces the tokens by introducing a self-knowledge recognizer and a sub-document-level token reducer. FIT-RAG achieves both superior effectiveness and efficiency, which is validated by extensive experiments across three open-domain question-answering datasets: TriviaQA, NQ and PopQA. FIT-RAG can improve the answering accuracy of Llama2-13B-Chat by 14.3\% on TriviaQA, 19.9\% on NQ and 27.5\% on PopQA, respectively. Furthermore, it can save approximately half of the tokens on average across the three datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google