HIRO: Hierarchical Information Retrieval Optimization

要約

大規模言語モデル (LLM) は自然言語タスクに優れていますが、静的トレーニング データセットによる制限に直面しており、その結果、応答が時代遅れになったり、文脈が浅くなったりします。
検索拡張生成 (RAG) は、リアルタイムの外部知識を統合することでこの問題に対処し、特に知識集約型タスクにおいてモデルの精度と信頼性を高めます。
ただし、RAG で強化された LLM は長いコンテキストに苦戦し、情報過負荷で「窒息」し、応答品質が低下します。
最近の RAG アプリケーションは、さまざまなレベルの要約と情報密度で編成されたドキュメントの保存に階層データ構造を使用しています。
これに関連して、ドキュメントの保存に階層構造を使用する RAG アプリケーション向けの新しいクエリ アプローチである HIRO (階層情報検索最適化) を紹介します。
HIRO は、DFS ベースの再帰的類似性スコア計算と分岐枝刈りを採用して、情報を損失することなく LLM に返されるコンテキストを最小限に抑えます。
HIRO は、NarrativeQA データセットに対する既存のクエリ メカニズムよりも 10.85% の絶対パフォーマンス向上を実現します。

要約(オリジナル)

Large Language Models (LLMs) excel in natural language tasks but face limitations due to static training datasets, resulting in outdated or contextually shallow responses. Retrieval-Augmented Generation (RAG) addresses this by integrating real-time external knowledge, enhancing model accuracy and credibility, especially for knowledge-intensive tasks. However, RAG-enhanced LLMs struggle with long contexts, causing them to ‘choke’ on information overload, compromising response quality. Recent RAG applications use hierarchical data structures for storing documents, organized at various levels of summarization and information density. In this context, we introduce HIRO (Hierarchical Information Retrieval Optimization), a novel querying approach for RAG applications using hierarchical structures for storing documents. HIRO employs DFS-based recursive similarity score calculation and branch pruning to minimize the context returned to the LLM without informational loss. HIRO outperforms existing querying mechanisms on the NarrativeQA dataset by an absolute performance gain of 10.85%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google