FACT: Examining the Effectiveness of Iterative Context Rewriting for Multi-fact Retrieval

要約

大規模言語モデル (LLM) は、拡張コンテキストから単一のファクトを取得することには優れていますが、特に生成中に複数のファクトを同時に取得する必要があるタスクには苦労します。
この論文では、LLM が生成プロセス全体を通じて重要な情報を徐々に追跡しなくなり、不完全または不正確な取得が生じるという、新しい「中間喪失」現象を特定します。
この課題に対処するために、私たちは Find All Crucial Texts (FACT) を導入しました。これは、連続的な書き換えラウンドを通じてコン​​テキストを絞り込む反復検索手法です。
このアプローチにより、モデルはシングルパス検索では見落とされがちな重要な事実を段階的に取得できるようになります。
実験では、FACT がさまざまなタスクにわたってマルチファクト検索パフォーマンスを大幅に向上させることが実証されていますが、汎用 QA シナリオでは改善はそれほど顕著ではありません。
私たちの調査結果は、マルチファクト検索における LLM の限界を明らかにし、より回復力のあるロングコンテキスト検索戦略の必要性を強調しています。

要約(オリジナル)

Large Language Models (LLMs) are proficient at retrieving single facts from extended contexts, yet they struggle with tasks requiring the simultaneous retrieval of multiple facts, especially during generation. This paper identifies a novel ‘lost-in-the-middle’ phenomenon, where LLMs progressively lose track of critical information throughout the generation process, resulting in incomplete or inaccurate retrieval. To address this challenge, we introduce Find All Crucial Texts (FACT), an iterative retrieval method that refines context through successive rounds of rewriting. This approach enables models to capture essential facts incrementally, which are often overlooked in single-pass retrieval. Experiments demonstrate that FACT substantially enhances multi-fact retrieval performance across various tasks, though improvements are less notable in general-purpose QA scenarios. Our findings shed light on the limitations of LLMs in multi-fact retrieval and underscore the need for more resilient long-context retrieval strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google