Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models

要約

検索拡張生成 (RAG) は、大規模言語モデル (LLM) の事実の精度を高めることが示されていますが、既存の方法では、特にオープンソース LLM を使用する場合、取得した証拠を効果的に使用する際の推論機能が制限されることがよくあります。
このギャップを軽減するために、オープンソース LLM を使用して RAG の推論機能を強化するように設計された新しいフレームワーク Open-RAG を導入します。
私たちのフレームワークは、任意の高密度 LLM を、シングルホップ クエリとマルチホップ クエリの両方を含む複雑な推論タスクを処理できる、パラメータ効率の高い専門家混合の疎な (MoE) モデルに変換します。
Open-RAG は、関連性があるように見えても誤解を招く、困難な注意をそらす要因をナビゲートするためにモデルを独自にトレーニングします。
その結果、Open-RAG は潜在学習を活用し、関連する専門家を動的に選択し、外部の知識を効果的に統合して、より正確で状況に応じた対応を実現します。
さらに、検索の必要性を判断し、性能向上と推論速度のトレードオフのバランスをとるハイブリッド適応検索手法を提案します。
実験結果は、Llama2-7B ベースの Open-RAG が、さまざまな知識集約型タスクにおいて、ChatGPT、Self-RAG、Command R+ などの最先端の LLM および RAG モデルよりも優れたパフォーマンスを発揮することを示しています。
コードとモデルは https://openragmoe.github.io/ でオープンソース化されています。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has been shown to enhance the factual accuracy of Large Language Models (LLMs), but existing methods often suffer from limited reasoning capabilities in effectively using the retrieved evidence, particularly when using open-source LLMs. To mitigate this gap, we introduce a novel framework, Open-RAG, designed to enhance reasoning capabilities in RAG with open-source LLMs. Our framework transforms an arbitrary dense LLM into a parameter-efficient sparse mixture of experts (MoE) model capable of handling complex reasoning tasks, including both single- and multi-hop queries. Open-RAG uniquely trains the model to navigate challenging distractors that appear relevant but are misleading. As a result, Open-RAG leverages latent learning, dynamically selecting relevant experts and integrating external knowledge effectively for more accurate and contextually relevant responses. In addition, we propose a hybrid adaptive retrieval method to determine retrieval necessity and balance the trade-off between performance gain and inference speed. Experimental results show that the Llama2-7B-based Open-RAG outperforms state-of-the-art LLMs and RAG models such as ChatGPT, Self-RAG, and Command R+ in various knowledge-intensive tasks. We open-source our code and models at https://openragmoe.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google