Selection-p: Self-Supervised Task-Agnostic Prompt Compression for Faithfulness and Transferability

要約

大規模言語モデル (LLM) は、コンテキスト内学習を活用する場合、幅広い自然言語処理タスクにおいて優れた機能を実証してきました。
インコンテキスト学習に関連する追加の計算コストと財務コストを軽減するために、インコンテキスト学習プロンプトを圧縮するためのいくつかのプロンプト圧縮方法が提案されています。
これらの手法は成功したにもかかわらず、モデル固有の圧縮や GPT-4 などの外部トレーニング データに依存するため、転送性の課題に直面しています。
この論文では、自己教師あり事前トレーニング手法を利用して、有益でないトークンを離散化する統合圧縮方法を開発する LLM の能力を調査します。
継続的な事前トレーニング中に少数のパラメーターを導入することにより、提案された Selection-p は各入力トークンの確率を生成し、それを保存するか破棄するかを示します。
実験では、Selection-p が多数の分類タスクにわたって最先端のパフォーマンスを達成し、パフォーマンスのわずか 0.8% の低下のみで最大 10 倍の圧縮率を達成することが示されています。
また、従来品に比べ、異機種への移植性にも優れています。
さらに、長いコンテキストでのインコンテキスト学習のパフォーマンスを維持するために、Selection-p がどのように役立つかをさらに分析します。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated impressive capabilities in a wide range of natural language processing tasks when leveraging in-context learning. To mitigate the additional computational and financial costs associated with in-context learning, several prompt compression methods have been proposed to compress the in-context learning prompts. Despite their success, these methods face challenges with transferability due to model-specific compression, or rely on external training data, such as GPT-4. In this paper, we investigate the ability of LLMs to develop a unified compression method that discretizes uninformative tokens, utilizing a self-supervised pre-training technique. By introducing a small number of parameters during the continual pre-training, the proposed Selection-p produces a probability for each input token, indicating whether to preserve or discard it. Experiments show Selection-p achieves state-of-the-art performance across numerous classification tasks, achieving compression rates of up to 10 times while experiencing only a marginal 0.8% decrease in performance. Moreover, it exhibits superior transferability to different models compared to prior work. Additionally, we further analyze how Selection-p helps maintain performance on in-context learning with long contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google