HIRO: Hierarchical Information Retrieval Optimization

要約

検索拡張生成 (RAG) は、外部の知識を大規模言語モデル (LLM) に動的に統合し、静的トレーニング データセットの制限に対処することで、自然言語処理に革命をもたらしました。
RAG の最近の実装では、さまざまなレベルの要約と情報密度でドキュメントを編成する階層データ構造が活用されています。
ただし、この複雑さにより、LLM が情報の過負荷で「窒息」する可能性があり、より高度なクエリ メカニズムが必要になります。
これに関連して、深さ優先検索 (DFS) ベースの再帰的類似性スコア計算と分岐枝刈りを採用した新しいクエリ手法である階層情報検索最適化 (HIRO) を紹介します。
この方法は、情報を損失することなく LLM に配信されるコンテキストを独自に最小限に抑え、過剰なデータの課題を効果的に管理します。
HIRO の洗練されたアプローチは、NarrativeQA データセットのパフォーマンスが 10.85% 向上したことで実証されています。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has revolutionized natural language processing by dynamically integrating external knowledge into Large Language Models (LLMs), addressing their limitation of static training datasets. Recent implementations of RAG leverage hierarchical data structures, which organize documents at various levels of summarization and information density. This complexity, however, can cause LLMs to ‘choke’ on information overload, necessitating more sophisticated querying mechanisms. In this context, we introduce Hierarchical Information Retrieval Optimization (HIRO), a novel querying approach that employs a Depth-First Search (DFS)-based recursive similarity score calculation and branch pruning. This method uniquely minimizes the context delivered to the LLM without informational loss, effectively managing the challenge of excessive data. HIRO’s refined approach is validated by a 10.85% improvement in performance on the NarrativeQA dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google