CL-RAG: Bridging the Gap in Retrieval-Augmented Generation with Curriculum Learning

要約

検索された生成（RAG）は、大規模な言語モデル（LLM）の機能を強化する効果的な方法です。
既存の方法は、TOP-K取得ドキュメントを直接利用することにより、RAGシステムのレトリバーまたはジェネレーターの最適化に焦点を当てています。
ただし、ドキュメントの有効性はユーザークエリ全体でさまざまに大幅に重要です。つまり、一部のドキュメントは貴重な知識を提供しますが、他のドキュメントには重要な情報が完全に欠けています。
トレーニング中のレトリバーとジェネレーターの適応を妨げます。
人間の認知学習に触発されたカリキュラム学習は、簡単なものから困難へと進むサンプルを使用してモデルを訓練し、そのため一般化能力を向上させ、この効果的なパラダイムをRAGシステムのトレーニングに統合します。
この論文では、CL-RAGという名前のマルチステージカリキュラム学習ベースのRAGシステムトレーニングフレームワークを提案します。
最初に、サンプルの進化を通じて、レトリバーとジェネレーターの複数の難易度レベルでトレーニングデータを構築します。
次に、カリキュラム学習アプローチに基づいてモデルを段階的にトレーニングし、それによりRAGシステムの全体的なパフォーマンスと一般化をより効果的に最適化します。
CL-RAGフレームワークは、4つのオープンドメインQAデータセットにわたって一貫した効果を示し、複数の高度な方法で2％〜4％のパフォーマンスの向上を達成しています。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) is an effective method to enhance the capabilities of large language models (LLMs). Existing methods focus on optimizing the retriever or generator in the RAG system by directly utilizing the top-k retrieved documents. However, the documents effectiveness are various significantly across user queries, i.e. some documents provide valuable knowledge while others totally lack critical information. It hinders the retriever and generator’s adaptation during training. Inspired by human cognitive learning, curriculum learning trains models using samples progressing from easy to difficult, thus enhancing their generalization ability, and we integrate this effective paradigm to the training of the RAG system. In this paper, we propose a multi-stage Curriculum Learning based RAG system training framework, named CL-RAG. We first construct training data with multiple difficulty levels for the retriever and generator separately through sample evolution. Then, we train the model in stages based on the curriculum learning approach, thereby optimizing the overall performance and generalization of the RAG system more effectively. Our CL-RAG framework demonstrates consistent effectiveness across four open-domain QA datasets, achieving performance gains of 2% to 4% over multiple advanced methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google