Instance-adaptive Zero-shot Chain-of-Thought Prompting

要約

ゼロショット思考連鎖 (CoT) プロンプトは、現実世界の推論タスクにおける大規模言語モデル (LLM) のパフォーマンスを向上させるためのシンプルかつ効果的な戦略として浮上しています。
それにもかかわらず、インスタンス全体に均一に適用される単一のタスクレベルのプロンプトの有効性は本質的に制限されています。1 つのプロンプトがすべてのプロンプトにとって良いパートナーになることはできないため、より適切なアプローチでは、プロンプトと各インスタンスの間の相互作用を細心の注意を払って考慮する必要があります。
この研究では、良いプロンプトと悪いプロンプトを適応的に区別することによる、代替のゼロショット CoT 推論スキームとして、インスタンス適応型プロンプト アルゴリズムを導入しています。
具体的には、まず、情報フローのレンズを通してLLMの分析を使用して、ゼロショットCoT推論の下でのメカニズムを検出します。そこで、質問からプロンプトへ、および質問から根拠への情報の流れが共同して推論結果に最も大きな影響を与えることを発見しました。
より優れたゼロショット CoT 推論には、質問から意味論的な情報を取得するためのプロンプトが必要であり、理論的根拠は質問から直接およびプロンプトを介して間接的に十分な情報を集約することに気づきました。
逆に、これらのどれかが欠けていると、おそらく悪いものにつながるでしょう。
そこから派生して、ゼロショット CoT 推論のためのインスタンス適応型プロンプト戦略 (IAP) をさらに提案します。
LLaMA-2、LLaMA-3、および Qwen を使用して数学、論理、および常識推論タスク (GSM8K、MMLU、因果判断など) で実施された実験では一貫した改善が得られ、インスタンス適応ゼロショット CoT プロンプトのパフォーマンスがより優れていることが実証されました。
いくつかの精選されたプロンプトまたは洗練された手順を備えた他のタスクレベルの手法は、ゼロショット CoT 推論メカニズムにおける私たちの発見の重要性を示しています。

要約(オリジナル)

Zero-shot Chain-of-Thought (CoT) prompting emerges as a simple and effective strategy for enhancing the performance of large language models (LLMs) in real-world reasoning tasks. Nonetheless, the efficacy of a singular, task-level prompt uniformly applied across the whole of instances is inherently limited since one prompt cannot be a good partner for all, a more appropriate approach should consider the interaction between the prompt and each instance meticulously. This work introduces an instance-adaptive prompting algorithm as an alternative zero-shot CoT reasoning scheme by adaptively differentiating good and bad prompts. Concretely, we first employ analysis on LLMs through the lens of information flow to detect the mechanism under zero-shot CoT reasoning, in which we discover that information flows from question to prompt and question to rationale jointly influence the reasoning results most. We notice that a better zero-shot CoT reasoning needs the prompt to obtain semantic information from the question then the rationale aggregates sufficient information from the question directly and via the prompt indirectly. On the contrary, lacking any of those would probably lead to a bad one. Stem from that, we further propose an instance-adaptive prompting strategy (IAP) for zero-shot CoT reasoning. Experiments conducted with LLaMA-2, LLaMA-3, and Qwen on math, logic, and commonsense reasoning tasks (e.g., GSM8K, MMLU, Causal Judgement) obtain consistent improvement, demonstrating that the instance-adaptive zero-shot CoT prompting performs better than other task-level methods with some curated prompts or sophisticated procedures, showing the significance of our findings in the zero-shot CoT reasoning mechanism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google