Perception Compressor: A Training-Free Prompt Compression Framework in Long Context Scenarios

要約

大規模な言語モデル（LLM）は、さまざまなシナリオで例外的な機能を示しています。
ただし、それらは非常に冗長な情報に苦しんでおり、長いコンテキストシナリオで重要な情報の位置に敏感です。
これらの課題に対処するために、トレーニングなしのプロンプト圧縮フレームワークであるPerception Compressorを提示します。
これには、最も関連性の高いデモンストレーションを取得するためのガイドの質問と指示を活用する認識レトリバー、圧縮率とオープンブック比を動的に割り当てるデュアルスロープ比アロケーター、およびトークンレベルでの重要な情報を保持する半誘導反復圧縮が含まれます。
LLMをそらすトークンを削除しながら。
私たちは、長いコンテキストベンチマーク、つまり自然Questions、Longbench、Musiqueで広範な実験を実施しています。
実験結果は、知覚コンプレッサーが既存の方法を大きなマージンで上回り、最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Large language models (LLMs) demonstrate exceptional capabilities in various scenarios. However, they suffer from much redundant information and are sensitive to the position of key information in long context scenarios. To address these challenges, we present Perception Compressor, a training-free prompt compression framework. It includes a perception retriever that leverages guiding questions and instruction to retrieve the most relevant demonstrations, a dual-slope ratio allocator to dynamically allocate compression ratios and open-book ratios, and a semi-guided iterative compression that retains key information at the token level while removing tokens that distract the LLM. We conduct extensive experiments on long context benchmarks, i.e., NaturalQuestions, LongBench, and MuSiQue. Experiment results show that Perception Compressor outperforms existing methods by a large margin, achieving state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google