Pistis-RAG: A Scalable Cascading Framework Towards Trustworthy Retrieval-Augmented Generation

要約

ギリシャ神話では、ピスティスは誠実、信頼、信頼性を象徴していました。
これらの原則からインスピレーションを得た Pistis-RAG は、大規模な検索拡張生成 (RAG) システムの課題に対処するために設計されたスケーラブルなマルチステージ フレームワークです。
このフレームワークは、マッチング、事前ランキング、ランキング、推論、集計という個別の段階で構成されています。
各段階は、検索スペースの絞り込み、意味的に関連するドキュメントの優先順位付け、大規模言語モデル (LLM) の設定との調整、複雑な思考連鎖 (CoT) メソッドのサポート、および複数のソースからの情報の結合に貢献します。
以前の研究で指摘されているように、少数ショットのプロンプト順序の感度により、意味論的な関連性だけでは生成品質の向上につながらない可能性があることを認識することで、私たちのランキング段階では重要な革新が導入されました。
この重要な側面は、現在の RAG フレームワークではしばしば見落とされます。
私たちは、LLM と外部知識ランキング手法の間の整合性の問題は、RAG システムで支配的なモデル中心のパラダイムに関係していると主張します。
私たちはコンテンツ中心のアプローチを提案し、LLM と外部情報ソース間のシームレスな統合を重視して、特定のタスクに合わせてコンテンツ変換を最適化します。
当社の新しいランキング ステージは、RAG システム専用に設計されており、LLM の好みやユーザーのフィードバックに反映される独自のビジネス シナリオを考慮しながら、情報検索の原則を組み込んでいます。
MMLU ベンチマークでフィードバック信号をシミュレートしたところ、9.3% のパフォーマンス向上が得られました。
私たちのモデルとコードは GitHub でオープンソース化されます。
さらに、現実世界の大規模データでの実験により、フレームワークのスケーラビリティが検証されます。

要約(オリジナル)

In Greek mythology, Pistis symbolized good faith, trust, and reliability. Drawing inspiration from these principles, Pistis-RAG is a scalable multi-stage framework designed to address the challenges of large-scale retrieval-augmented generation (RAG) systems. This framework consists of distinct stages: matching, pre-ranking, ranking, reasoning, and aggregating. Each stage contributes to narrowing the search space, prioritizing semantically relevant documents, aligning with the large language model’s (LLM) preferences, supporting complex chain-of-thought (CoT) methods, and combining information from multiple sources. Our ranking stage introduces a significant innovation by recognizing that semantic relevance alone may not lead to improved generation quality, due to the sensitivity of the few-shot prompt order, as noted in previous research. This critical aspect is often overlooked in current RAG frameworks. We argue that the alignment issue between LLMs and external knowledge ranking methods is tied to the model-centric paradigm dominant in RAG systems. We propose a content-centric approach, emphasizing seamless integration between LLMs and external information sources to optimize content transformation for specific tasks. Our novel ranking stage is designed specifically for RAG systems, incorporating principles of information retrieval while considering the unique business scenarios reflected in LLM preferences and user feedback. We simulated feedback signals on the MMLU benchmark, resulting in a 9.3% performance improvement. Our model and code will be open-sourced on GitHub. Additionally, experiments on real-world, large-scale data validate the scalability of our framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google