Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

要約

推論後のテクニックの急速な進歩と推論と情報探索のために、大規模な言語モデル（LLM）は、複雑なタスクを解決するために大量の検索された知識を組み込むことができます。
ただし、LLMSの限られたコンテキストウィンドウは、特にかなりの量の外部知識を必要とするタスクの場合、外部の知識入力の量をスケーリングして、さらなる改善を禁止します。
既存のコンテキストウィンドウ拡張メソッドは、必然的に情報の損失を引き起こします。
LLMベースのマルチエージェントメソッドは、既存の知識の同期と推論プロセスで2つのコアボトルネックを特定する分布方法で大規模な入力を処理する新しいパラダイムとして登場します。
この作業では、ボトルネックを克服し、長いコンテキストトレーニングなしで推論時間統合のより良いスケーラビリティを可能にするために、マルチエージェントフレームワーク$ \ textBf {extagents} $を開発します。
強化されたマルチホップ質問回答テスト、$ \ textBf {$ \ boldsymbol {\ infty} $ bench+} $、および長い調査生成を含む他のパブリックテストセットでベンチマークされているため、内外では、$ \ textの入力に関係なく、同じ量の外部知識入力で既存の非トレーニング方法のパフォーマンスを大幅に向上させます。
さらに、この方法は、並列性が高いため、高い効率を維持します。
外部知識入力の増加に関するLLMエージェントの調整に関するさらなる研究は、実際のアプリケーションに利益をもたらす可能性があります。

要約(オリジナル)

With the rapid advancement of post-training techniques for reasoning and information seeking, large language models (LLMs) can incorporate a large quantity of retrieved knowledge to solve complex tasks. However, the limited context window of LLMs obstructs scaling the amount of external knowledge input, prohibiting further improvement, especially for tasks requiring significant amount of external knowledge. Existing context window extension methods inevitably cause information loss. LLM-based multi-agent methods emerge as a new paradigm to handle massive input in a distributional manner, where we identify two core bottlenecks in existing knowledge synchronization and reasoning processes. In this work, we develop a multi-agent framework, $\textbf{ExtAgents}$, to overcome the bottlenecks and enable better scalability in inference-time knowledge integration without longer-context training. Benchmarked with our enhanced multi-hop question answering test, $\textbf{$\boldsymbol{\infty}$Bench+}$, and other public test sets including long survey generation, ExtAgents significantly enhances the performance over existing non-training methods with the same amount of external knowledge input, regardless of whether it falls $\textit{within or exceeds the context window}$. Moreover, the method maintains high efficiency due to high parallelism. Further study in the coordination of LLM agents on increasing external knowledge input could benefit real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google