In-context Autoencoder for Context Compression in a Large Language Model

要約

私たちは、大規模言語モデル (LLM) でのコンテキスト圧縮のためのインコンテキスト オートエンコーダー (ICAE) を提案します。
ICAE には 2 つのモジュールがあります。1 つは長いコンテキストを限られた数のメモリ スロットに圧縮するための LLM から LoRA を適用した学習可能なエンコーダ、もう 1 つはさまざまな目的でメモリ スロットを条件付けできるターゲット LLM である固定デコーダです。
まず、大量のテキスト データに対して自動エンコーディングと言語モデリングの両方を使用して ICAE を事前トレーニングし、元のコンテキストを正確かつ包括的に表すメモリ スロットを生成できるようにします。
次に、少量の指示データに基づいて事前トレーニングされた ICAE を微調整して、望ましい応答を生成するためのさまざまなプロンプトとの相互作用を強化します。
私たちの実験結果は、提案した事前トレーニングおよび微調整パラダイムで学習した ICAE が、$4\times$ のコンテキスト圧縮を備えたメモリ スロットを効果的に生成できることを示しています。これは、ターゲット LLM がさまざまなプロンプトに応答するように適切に条件付けすることができます。
この有望な結果は、長いコンテキスト問題に対する ICAE の新しいアプローチと、実際に LLM 推論の計算とメモリのオーバーヘッドを削減する可能性についての ICAE の重要な意味を示しており、LLM のコンテキスト管理におけるさらなる研究努力を示唆しています。
私たちのコードとデータは間もなくリリースされる予定です。

要約(オリジナル)

We propose the In-context Autoencoder (ICAE) for context compression in a large language model (LLM). The ICAE has two modules: a learnable encoder adapted with LoRA from an LLM for compressing a long context into a limited number of memory slots, and a fixed decoder which is the target LLM that can condition on the memory slots for various purposes. We first pretrain the ICAE using both autoencoding and language modeling objectives on massive text data, enabling it to generate memory slots that accurately and comprehensively represent the original context. Then, we fine-tune the pretrained ICAE on a small amount of instruct data to enhance its interaction with various prompts for producing desirable responses. Our experimental results demonstrate that the ICAE learned with our proposed pretraining and fine-tuning paradigm can effectively produce memory slots with $4\times$ context compression, which can be well conditioned on by the target LLM to respond to various prompts. The promising results demonstrate significant implications of the ICAE for its novel approach to the long context problem and its potential to reduce computation and memory overheads for LLM inference in practice, suggesting further research effort in context management for an LLM. Our code and data will be released shortly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google