Analyzing Chain-of-Thought Prompting in Large Language Models via Gradient-based Feature Attributions

要約

思考連鎖 (CoT) プロンプトは、さまざまな質問応答タスクにおける大規模言語モデル (LLM) の精度を向上させることが経験的に示されています。
CoT プロンプトがなぜ効果的であるかを理解することは、この現象が望ましいモデルの動作の結果であることを確認するために重要ですが、これに対処した研究はほとんどありません。
それにもかかわらず、そのような理解は責任あるモデルの展開にとって重要な前提条件です。
私たちは、モデル出力に対する入力トークンの影響を捉える顕著性スコアを生成する勾配ベースの特徴帰属手法を活用することで、この問題に取り組みます。
具体的には、いくつかのオープンソース LLM を調査して、CoT プロンプトが特定の入力トークンに割り当てる相対的な重要性に影響を与えるかどうかを調査します。
私たちの結果は、CoT プロンプトでは、標準的な少数ショット プロンプトと比較して、プロンプト内の意味的に関連するトークンに起因する顕著性スコアの大きさは増加しませんが、モデル出力の摂動や変動を疑問視するための顕著性スコアの堅牢性が増加することを示しています。

要約(オリジナル)

Chain-of-thought (CoT) prompting has been shown to empirically improve the accuracy of large language models (LLMs) on various question answering tasks. While understanding why CoT prompting is effective is crucial to ensuring that this phenomenon is a consequence of desired model behavior, little work has addressed this; nonetheless, such an understanding is a critical prerequisite for responsible model deployment. We address this question by leveraging gradient-based feature attribution methods which produce saliency scores that capture the influence of input tokens on model output. Specifically, we probe several open-source LLMs to investigate whether CoT prompting affects the relative importances they assign to particular input tokens. Our results indicate that while CoT prompting does not increase the magnitude of saliency scores attributed to semantically relevant tokens in the prompt compared to standard few-shot prompting, it increases the robustness of saliency scores to question perturbations and variations in model output.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google