Tuning LLMs by RAG Principles: Towards LLM-native Memory

要約

メモリ、大規模な言語モデル（LLMS）のトレーニングを超えた追加情報は、パーソナルアシスタントなどのさまざまな現実世界のアプリケーションにとって重要です。
メモリを生成プロセスに組み込むための2つの主流のソリューションは、長いコンテキストLLMと検索された生成（RAG）です。
この論文では、最初にこれら2つのタイプのソリューションを3つの改装/新しいデータセットで体系的に比較し、（1）長いコンテキストソリューションは、より高価ですが、メモリ全体を考慮する必要がある全体像とより良い回答クエリをキャプチャするのが簡単であることを示します。
（2）クエリが特定の情報に関係する場合、特にキーワードを明示的に一致させることができる場合、RAGソリューションはより競争力があります。
したがって、RAGの原則に従って生成されたデータを使用して、相対的な小さな（例：7b）LLMを微調整するrag-tuned-llmを提案するため、両方のソリューションの利点を組み合わせることができます。
3つのデータセットでの広範な実験では、RAG調整llmが幅広いクエリタイプで長いコンテキストLLMとRAGメソッドに勝つ可能性があることが示されています。

要約(オリジナル)

Memory, additional information beyond the training of large language models (LLMs), is crucial to various real-world applications, such as personal assistant. The two mainstream solutions to incorporate memory into the generation process are long-context LLMs and retrieval-augmented generation (RAG). In this paper, we first systematically compare these two types of solutions on three renovated/new datasets and show that (1) long-context solutions, although more expensive, shall be easier to capture the big picture and better answer queries which require considering the memory as a whole; and (2) when the queries concern specific information, RAG solutions shall be more competitive especially when the keywords can be explicitly matched. Therefore, we propose a novel method RAG-Tuned-LLM which fine-tunes a relative small (e.g., 7B) LLM using the data generated following the RAG principles, so it can combine the advantages of both solutions. Extensive experiments on three datasets demonstrate that RAG-Tuned-LLM can beat long-context LLMs and RAG methods across a wide range of query types.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google