UniMem: Towards a Unified View of Long-Context Large Language Models

要約

ロングコンテキスト処理は、大規模言語モデル (LLM) の適用性を制限する重要な機能です。
LLM のロングコンテキスト処理能力を強化するためのさまざまな方法が存在しますが、それらは孤立した方法で開発されており、その長所の体系的な分析と統合が欠如しており、さらなる開発の妨げとなっています。
このペーパーでは、LLM のメモリ拡張の観点から既存のロングコンテキスト手法を再定式化する統一フレームワークである UniMem を紹介します。
UniMem は、メモリ管理、メモリ書き込み、メモリ読み取り、メモリ インジェクションの 4 つの中核的な側面を特徴としており、研究者がロングコンテキスト手法の系統的な探索を行えるようにします。
UniMem に基づいて 16 の既存メソッドを再定式化し、Transformer-XL、Memorizing Transformer、RMT、Longformer の 4 つの代表的なメソッドを同等の UniMem 形式に分析して、その設計原則と強みを明らかにします。
これらの分析に基づいて、これらのアルゴリズムの長所を統合した革新的なアプローチである UniMix を提案します。
実験結果は、UniMix がベースラインよりも大幅に低い混乱度で長いコンテキストを処理する際に優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

Long-context processing is a critical ability that constrains the applicability of large language models (LLMs). Although there exist various methods devoted to enhancing the long-context processing ability of LLMs, they are developed in an isolated manner and lack systematic analysis and integration of their strengths, hindering further developments. In this paper, we introduce UniMem, a Unified framework that reformulates existing long-context methods from the view of Memory augmentation of LLMs. Distinguished by its four core dimensions-Memory Management, Memory Writing, Memory Reading, and Memory Injection, UniMem empowers researchers to conduct systematic exploration of long-context methods. We re-formulate 16 existing methods based on UniMem and analyze four representative methods: Transformer-XL, Memorizing Transformer, RMT, and Longformer into equivalent UniMem forms to reveal their design principles and strengths. Based on these analyses, we propose UniMix, an innovative approach that integrates the strengths of these algorithms. Experimental results show that UniMix achieves superior performance in handling long contexts with significantly lower perplexity than baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google