Extending Context Window of Large Language Models via Semantic Compression

要約

トランスフォーマーベースの大規模言語モデル (LLM) では、流暢で適切な応答を確実に生成するために、テキスト入力の長さに制限を課すことがよくあります。
この制約により、長いテキストを含むシナリオへの適用が制限されます。
私たちは、大幅な計算コストをかけたり、微調整を必要としたりすることなく、6 ～ 8 倍長いテキストへの一般化を可能にする新しい意味論的圧縮方法を提案します。
私たちが提案するフレームワークは、情報理論のソースコーディングからインスピレーションを得ており、事前トレーニングされたモデルを採用して、長い入力を下流のタスクのために LLM に渡す前にその意味上の冗長性を削減します。
実験結果は、私たちの方法が質問応答、要約、少数ショット学習、情報検索などのさまざまなタスクにわたって LLM のコンテキスト ウィンドウを効果的に拡張することを示しています。
さらに、提案されたセマンティック圧縮方法は、関連する計算オーバーヘッドを削減しながら、テキスト生成において一貫した流暢性を示します。

要約(オリジナル)

Transformer-based Large Language Models (LLMs) often impose limitations on the length of the text input to ensure the generation of fluent and relevant responses. This constraint restricts their applicability in scenarios involving long texts. We propose a novel semantic compression method that enables generalization to texts that are 6-8 times longer, without incurring significant computational costs or requiring fine-tuning. Our proposed framework draws inspiration from source coding in information theory and employs a pre-trained model to reduce the semantic redundancy of long inputs before passing them to the LLMs for downstream tasks. Experimental results demonstrate that our method effectively extends the context window of LLMs across a range of tasks including question answering, summarization, few-shot learning, and information retrieval. Furthermore, the proposed semantic compression method exhibits consistent fluency in text generation while reducing the associated computational overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google