LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models

要約

大規模言語モデル (LLM) は、その驚くべき機能により、さまざまなアプリケーションに適用されています。
思考連鎖 (CoT) プロンプトやコンテキスト内学習 (ICL) などのテクノロジーの進歩により、LLM に供給されるプロンプトはますます長くなり、数万のトークンを超えることもあります。
モデル推論を加速してコストを削減するために、この論文では、LLMLingua を紹介します。LLMLingua は、高圧縮率下でセマンティック整合性を維持するためのバジェット コントローラーを含む、粗いから細かいまでのプロンプト圧縮方法であり、圧縮されたデータ間の相互依存性をより適切にモデル化するためのトークン レベルの反復圧縮アルゴリズムです。
コンテンツ、および言語モデル間の分散調整のための命令チューニングベースの方法。
私たちは、異なるシナリオからの 4 つのデータセット、つまり GSM8K、BBH、ShareGPT、Arxiv-March23 に対して実験と分析を実施します。
これは、提案されたアプローチが最先端のパフォーマンスをもたらし、パフォーマンスをほとんど損なうことなく最大 20 倍の圧縮が可能であることを示しています。
私たちのコードは https://aka.ms/LLMLingua で入手できます。

要約(オリジナル)

Large language models (LLMs) have been applied in various applications due to their astonishing capabilities. With advancements in technologies such as chain-of-thought (CoT) prompting and in-context learning (ICL), the prompts fed to LLMs are becoming increasingly lengthy, even exceeding tens of thousands of tokens. To accelerate model inference and reduce cost, this paper presents LLMLingua, a coarse-to-fine prompt compression method that involves a budget controller to maintain semantic integrity under high compression ratios, a token-level iterative compression algorithm to better model the interdependence between compressed contents, and an instruction tuning based method for distribution alignment between language models. We conduct experiments and analysis over four datasets from different scenarios, i.e., GSM8K, BBH, ShareGPT, and Arxiv-March23; showing that the proposed approach yields state-of-the-art performance and allows for up to 20x compression with little performance loss. Our code is available at https://aka.ms/LLMLingua.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google