InfiniteICL: Breaking the Limit of Context Window Size via Long Short-term Memory Transformation

要約

コンテキスト内学習（ICL）は、大規模な言語モデル（LLM）にとって重要ですが、その有効性は、特に超長いコンテキストでは、有限のコンテキストウィンドウによって制約されます。
これを克服するために、Infiniteiclを紹介します。これは、LLMのコンテキストとパラメーターと、人間の認知システムの短期および長期のメモリを持つフレームワークを紹介し、一時的なコンテキストの知識を永続的なパラメーター更新に変換することに焦点を当てています。
このアプローチは、メモリの使用量を大幅に削減し、さまざまな入力長にわたって堅牢なパフォーマンスを維持し、理論的には、コンテキスト知識の誘発、選択、および統合の原則を通じて無限のコンテキスト統合を可能にします。
評価は、私たちの方法がコンテキストの長さを90％削減しながら、ファクトリコール、根拠のある推論、およびスキル獲得タスク全体でフルコンテキストプロンプトの103％の平均パフォーマンスを達成することを示しています。
複雑で現実世界のコンテキストで連続的なマルチターン変換を実行する場合（長さは最大2mトークン）、私たちのアプローチは、元のコンテキストの0.4％のみを使用しながら、フルコンテキストプロンプトを上回ります。
これらの調査結果は、従来のコンテキストウィンドウサイズの制限を破ることにより、LLMのスケーラビリティと効率を高めるInfiniteiclの可能性を強調しています。

要約(オリジナル)

In-context learning (ICL) is critical for large language models (LLMs), but its effectiveness is constrained by finite context windows, particularly in ultra-long contexts. To overcome this, we introduce InfiniteICL, a framework that parallels context and parameters in LLMs with short- and long-term memory in human cognitive systems, focusing on transforming temporary context knowledge into permanent parameter updates. This approach significantly reduces memory usage, maintains robust performance across varying input lengths, and theoretically enables infinite context integration through the principles of context knowledge elicitation, selection, and consolidation. Evaluations demonstrate that our method reduces context length by 90% while achieving 103% average performance of full-context prompting across fact recall, grounded reasoning, and skill acquisition tasks. When conducting sequential multi-turn transformations on complex, real-world contexts (with length up to 2M tokens), our approach surpasses full-context prompting while using only 0.4% of the original contexts. These findings highlight InfiniteICL’s potential to enhance the scalability and efficiency of LLMs by breaking the limitations of conventional context window sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google