Multi-Head RAG: Solving Multi-Aspect Problems with LLMs

要約

検索拡張生成 (RAG) は、LLM コンテキストへのドキュメントの検索を可能にし、より正確で関連性の高い応答を提供できるようにすることで、大規模言語モデル (LLM) の機能を強化します。
既存の RAG ソリューションは、実質的に異なる内容を持つ複数のドキュメントをフェッチする必要があるクエリに焦点を当てていません。
このようなクエリは頻繁に発生しますが、これらのドキュメントの埋め込みが埋め込み空間内で遠くにある場合があり、すべてを取得するのが難しいため、困難です。
この論文では、マルチヘッド RAG (MRAG) を紹介します。これは、シンプルかつ強力なアイデアでこのギャップに対処するように設計された新しいスキームです。デコーダー層の代わりに、Transformer のマルチヘッド アテンション層のアクティブ化を、マルチアスペクト ドキュメントをフェッチするためのキーとして利用します。
。
その原動力は、さまざまな注意を払う人がさまざまなデータの側面を捉える方法を学習できることです。
対応するアクティベーションを利用すると、データ項目とクエリのさまざまな側面を表す埋め込みが行われ、複雑なクエリの取得精度が向上します。
MRAG の有効性を実証するための評価手法と指標、合成データセット、および実際の使用例を提供し、標準的な RAG ベースラインと比較して関連性が最大 20% 向上していることを示しています。
MRAG は、既存の RAG フレームワークや RAGAS などのベンチマーク ツール、さらにはさまざまなクラスのデータ ストアとシームレスに統合できます。

要約(オリジナル)

Retrieval Augmented Generation (RAG) enhances the abilities of Large Language Models (LLMs) by enabling the retrieval of documents into the LLM context to provide more accurate and relevant responses. Existing RAG solutions do not focus on queries that may require fetching multiple documents with substantially different contents. Such queries occur frequently, but are challenging because the embeddings of these documents may be distant in the embedding space, making it hard to retrieve them all. This paper introduces Multi-Head RAG (MRAG), a novel scheme designed to address this gap with a simple yet powerful idea: leveraging activations of Transformer’s multi-head attention layer, instead of the decoder layer, as keys for fetching multi-aspect documents. The driving motivation is that different attention heads can learn to capture different data aspects. Harnessing the corresponding activations results in embeddings that represent various facets of data items and queries, improving the retrieval accuracy for complex queries. We provide an evaluation methodology and metrics, synthetic datasets, and real-world use cases to demonstrate MRAG’s effectiveness, showing improvements of up to 20% in relevance over standard RAG baselines. MRAG can be seamlessly integrated with existing RAG frameworks and benchmarking tools like RAGAS as well as different classes of data stores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google