PromptExp: Multi-granularity Prompt Explanation of Large Language Models

要約

大規模言語モデルは、自然言語理解やテキスト生成などのタスクに優れています。
LLM を効果的に活用するには、迅速なエンジニアリングが重要な役割を果たします。
ただし、LLM のブラックボックスの性質により、その解釈可能性と効果的なプロンプト エンジニアリングが妨げられます。
深層学習モデル向けに幅広いモデル説明アプローチが開発されていますが、これらのローカル説明は分類や回帰などの単一出力タスク向けに設計されており、トークンのシーケンスを生成する LLM に直接適用することはできません。
LLM の説明における最近の取り組みは、自然言語による説明に重点を置いていますが、幻覚や不正確さが生じやすいです。
これに対処するために、トークンレベルの洞察を集約することにより、複数の粒度でプロンプト説明を行うためのフレームワークである OurTool を導入します。
OurTool は、2 つのトークン レベルの説明アプローチを導入します。1. ローカル説明手法を組み合わせた集約ベースのアプローチ、2. トークン マスキングの影響を評価するための新しい手法を備えた摂動ベースのアプローチです。
OurTool は、ホワイトボックスとブラックボックスの両方の説明をサポートし、説明をより高い粒度レベルに拡張して、柔軟な分析を可能にします。
私たちはセンチメント分析などのケーススタディで OurTool を評価し、摂動の影響を評価するために意味論的な類似性を使用して摂動ベースのアプローチが最適に機能することを示しています。
さらに、OurTool の精度と実用的な価値を確認するためにユーザー調査を実施し、LLM の解釈可能性を高める可能性を実証しました。

要約(オリジナル)

Large Language Models excel in tasks like natural language understanding and text generation. Prompt engineering plays a critical role in leveraging LLM effectively. However, LLMs black-box nature hinders its interpretability and effective prompting engineering. A wide range of model explanation approaches have been developed for deep learning models, However, these local explanations are designed for single-output tasks like classification and regression,and cannot be directly applied to LLMs, which generate sequences of tokens. Recent efforts in LLM explanation focus on natural language explanations, but they are prone to hallucinations and inaccuracies. To address this, we introduce OurTool, a framework for multi-granularity prompt explanations by aggregating token-level insights. OurTool introduces two token-level explanation approaches: 1.an aggregation-based approach combining local explanation techniques, and 2. a perturbation-based approach with novel techniques to evaluate token masking impact. OurTool supports both white-box and black-box explanations and extends explanations to higher granularity levels, enabling flexible analysis. We evaluate OurTool in case studies such as sentiment analysis, showing the perturbation-based approach performs best using semantic similarity to assess perturbation impact. Furthermore, we conducted a user study to confirm OurTool’s accuracy and practical value, and demonstrate its potential to enhance LLM interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google