LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression

要約

このペーパーでは、一般化性と効率性を高めるための、タスクに依存しないプロンプト圧縮に焦点を当てています。
自然言語の冗長性を考慮して、既存のアプローチでは、LLaMa-7B などの因果言語モデルから得られる情報エントロピーに従ってトークンまたは語彙単位を削除することでプロンプトを圧縮します。
課題は、情報エントロピーが次善の圧縮メトリックである可能性があることです。(i) 一方向のコンテキストのみを活用し、迅速な圧縮に必要なすべての重要な情報を取得できない可能性があります。
(ii) 即時圧縮の目標と一致していません。
これらの問題に対処するために、重要な情報を失わずにプロンプ​​トを圧縮するための LLM からの知識を引き出すデータ蒸留手順を提案し、同時に抽出テキスト圧縮データセットを導入します。
プロンプト圧縮をトークン分類問題として定式化して、圧縮されたプロンプトが元のプロンプトに忠実であることを保証し、Transformer エンコーダーを基本アーキテクチャとして使用して、完全な双方向コンテキストからプロンプト圧縮に必要なすべての情報を取得します。
私たちのアプローチは、XLM-RoBERTa-large や mBERT などの小規模なモデルを使用して圧縮目標を明示的に学習することで、レイテンシの短縮につながります。
MeetingBank、LongBench、ZeroScrolls、GSM8K、BBH など、ドメイン内とドメイン外の両方のデータセットでメソッドを評価します。
サイズが小さいにもかかわらず、私たちのモデルは強力なベースラインに比べて大幅なパフォーマンスの向上を示し、さまざまな LLM にわたって堅牢な汎化能力を示しています。
さらに、私たちのモデルは既存のプロンプト圧縮方法よりも 3 倍から 6 倍高速であり、2 倍から 5 倍の圧縮率でエンドツーエンドの遅延を 1.6 倍から 2.9 倍高速化します。

要約(オリジナル)

This paper focuses on task-agnostic prompt compression for better generalizability and efficiency. Considering the redundancy in natural language, existing approaches compress prompts by removing tokens or lexical units according to their information entropy obtained from a causal language model such as LLaMa-7B. The challenge is that information entropy may be a suboptimal compression metric: (i) it only leverages unidirectional context and may fail to capture all essential information needed for prompt compression; (ii) it is not aligned with the prompt compression objective. To address these issues, we propose a data distillation procedure to derive knowledge from an LLM to compress prompts without losing crucial information, and meantime, introduce an extractive text compression dataset. We formulate prompt compression as a token classification problem to guarantee the faithfulness of the compressed prompt to the original one, and use a Transformer encoder as the base architecture to capture all essential information for prompt compression from the full bidirectional context. Our approach leads to lower latency by explicitly learning the compression objective with smaller models such as XLM-RoBERTa-large and mBERT. We evaluate our method on both in-domain and out-of-domain datasets, including MeetingBank, LongBench, ZeroScrolls, GSM8K, and BBH. Despite its small size, our model shows significant performance gains over strong baselines and demonstrates robust generalization ability across different LLMs. Additionally, our model is 3x-6x faster than existing prompt compression methods, while accelerating the end-to-end latency by 1.6x-2.9x with compression ratios of 2x-5x.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google