Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models

要約

私たちは、大規模言語モデル (LLM) のプロンプト圧縮の問題を形式化し、ブラックボックス モデルのハード プロンプトを作成するトークン レベルのプロンプト圧縮方法を統合するフレームワークを提示します。
この設定の歪み率関数を線形プログラムとして導出し、線形プログラムの双対を介してこの基本制限を計算する効率的なアルゴリズムを提供します。
歪み率関数をベースラインとして使用して、マルコフ連鎖から生成されたプロンプト、自然言語クエリ、およびそれぞれの回答で構成される合成データセットに対する既存の圧縮スキームのパフォーマンスを調査します。
私たちの実証分析は、コンプレッサーがブラックボックス LLM の下流タスク/クエリを認識している場合、クエリ認識プロンプト圧縮の重要性を示しています。
現在のプロンプト圧縮方式のパフォーマンスと最適な戦略の間には大きなギャップがあることを示し、ギャップを埋めるために以前の研究をクエリを意識した可変レートに適応させることを提案します。
合成データセットでの発見をさらに確認するために、実験を小さな自然言語データセットに拡張しました。

要約(オリジナル)

We formalize the problem of prompt compression for large language models (LLMs) and present a framework to unify token-level prompt compression methods which create hard prompts for black-box models. We derive the distortion-rate function for this setup as a linear program, and provide an efficient algorithm to compute this fundamental limit via the dual of the linear program. Using the distortion-rate function as the baseline, we study the performance of existing compression schemes on a synthetic dataset consisting of prompts generated from a Markov chain, natural language queries, and their respective answers. Our empirical analysis demonstrates the criticality of query-aware prompt compression, where the compressor has knowledge of the downstream task/query for the black-box LLM. We show that there is a large gap between the performance of current prompt compression methods and the optimal strategy, and propose a query-aware, variable-rate adaptation of a prior work to close the gap. We extend our experiments to a small natural language dataset to further confirm our findings on our synthetic dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google