UniversalRAG: Retrieval-Augmented Generation over Multiple Corpora with Diverse Modalities and Granularities

要約

検索された生成（RAG）は、クエリに関連する外部知識をモデルの応答に接地することにより、事実上の正確性を改善することに大きな約束を示しています。
ただし、ほとんどの既存のRAGアプローチはテキストのみのコーパスに限定されており、最近の取り組みにより、画像やビデオなどの他のモダリティにRAGが拡張されていますが、通常、単一のモダリティ固有のコーパスで動作します。
対照的に、実際のクエリは、必要な知識の種類が大きく異なり、単一のタイプの知識ソースが対処できません。
これに対処するために、多様なモダリティと粒度を備えた不均一なソースから知識を取得および統合するために設計された新しいRAGフレームワークであるUniversalRagを紹介します。
具体的には、すべてのモダリティを単一の結合コーパスから派生した統合表現空間に強制するという観察によって動機付けられていることに動機付けられます。モダリティギャップは、クエリと同じモダリティからアイテムを支持する傾向があるモダリティギャップを引き起こします。
また、モダリティを超えて、各モダリティを複数の粒度レベルに整理し、クエリの複雑さと範囲に合わせた微調整された検索を可能にします。
複数のモダリティにまたがる8つのベンチマークでUniversalRagを検証し、モダリティ固有の統一ベースラインに対する優位性を示しています。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has shown substantial promise in improving factual accuracy by grounding model responses with external knowledge relevant to queries. However, most existing RAG approaches are limited to a text-only corpus, and while recent efforts have extended RAG to other modalities such as images and videos, they typically operate over a single modality-specific corpus. In contrast, real-world queries vary widely in the type of knowledge they require, which a single type of knowledge source cannot address. To address this, we introduce UniversalRAG, a novel RAG framework designed to retrieve and integrate knowledge from heterogeneous sources with diverse modalities and granularities. Specifically, motivated by the observation that forcing all modalities into a unified representation space derived from a single combined corpus causes a modality gap, where the retrieval tends to favor items from the same modality as the query, we propose a modality-aware routing mechanism that dynamically identifies the most appropriate modality-specific corpus and performs targeted retrieval within it. Also, beyond modality, we organize each modality into multiple granularity levels, enabling fine-tuned retrieval tailored to the complexity and scope of the query. We validate UniversalRAG on 8 benchmarks spanning multiple modalities, showing its superiority over modality-specific and unified baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google