Prompt-SAW: Leveraging Relation-Aware Graphs for Textual Prompt Compression

要約

大規模言語モデル (LLM) は、複数の異なる自然言語処理タスクに対して優れた能力を示しています。
プロンプトは LLM 推論にとって重要なツールですが、非常に長いプロンプトに関連して多大なコストがかかることがわかりました。
長いプロンプトを圧縮しようとする既存の試みは、圧縮されたプロンプトの可読性/解釈性の点で標準以下の結果をもたらし、プロンプトのユーティリティに悪影響を及ぼします。
これに対処するために、我々は PromptSAW: Relation AWAre グラフによるプロンプト圧縮を提案します。これは、タスクに依存しないプロンプトおよびタスク認識プロンプトに対するプロンプト圧縮のための効果的な戦略です。
Prompt-SAW は、プロンプトのテキスト情報を使用してグラフを構築し、その後、グラフ内の重要な情報要素を抽出して、圧縮されたプロンプトを作成します。
また、包括的な評価プラットフォームを提供するために、タスクに依存しないプロンプト用の既存の GSM8K ベンチマークの拡張バージョンである GSM8K-aug も提案します。
ベンチマーク データセットを使用した実験による評価では、Prompt-SAW によって圧縮されたプロンプトは読みやすさの点で優れているだけでなく、タスクに依存しない設定とタスクを意識した設定で、最もパフォーマンスの高いベースライン モデルをそれぞれ最大 10.1 および 77.1 上回っていることが示されています。
元のプロンプト テキストを 34.9 および 56.7 で圧縮します。

要約(オリジナル)

Large Language Models (LLMs) have shown exceptional abilities for multiple different natural language processing tasks. While prompting is a crucial tool for LLM inference, we observe that there is a significant cost associated with exceedingly lengthy prompts. Existing attempts to compress lengthy prompts lead to substandard results in terms of readability/interpretability of the compressed prompt, with a detrimental impact on prompt utility. To address this, we propose PromptSAW: Prompt compresSion via Relation AWare graphs, an effective strategy for prompt compression over task-agnostic and task-aware prompts. Prompt-SAW uses the prompt’s textual information to build a graph and later extracts key information elements in the graph to come up with the compressed prompt. We also propose GSM8K-aug, i.e., an extended version of the existing GSM8K benchmark for task-agnostic prompts in order to provide a comprehensive evaluation platform. Experimental evaluation using benchmark datasets shows that prompts compressed by Prompt-SAW are not only better in terms of readability, but they also outperform the best-performing baseline models by up to 10.1 and 77.1, respectively, for task-agnostic and task-aware settings while compressing the original prompt text by 34.9 and 56.7.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google