Enhancing Zero-shot Chain of Thought Prompting via Uncertainty-Guided Strategy Selection

要約

思考連鎖 (CoT) プロンプトは、推論プロセスを構造化することで大規模言語モデル (LLM) の機能を大幅に強化しました。
しかし、既存の方法は重大な制限に直面しています。手作りのデモンストレーションには広範な人間の専門知識が必要であり、トリガー フレーズは不正確になりがちです。
この論文では、モデルパラメータへのアクセスを必要とせずに効果的なデモンストレーションを選択するために不確実性推定を利用することでCoTプロンプトを改善する新しいアプローチであるゼロショット不確実性ベース選択(ZEUS)法を提案します。
従来の方法とは異なり、ZEUS は有益な質問と効果のない質問を高い感度で区別し、より正確で信頼性の高い選択を保証します。
私たちの広範な評価により、ZEUS は 4 つの困難な推論ベンチマークにわたって既存の CoT 戦略を常に上回っており、その堅牢性と拡張性が実証されています。

要約(オリジナル)

Chain-of-thought (CoT) prompting has significantly enhanced the capability of large language models (LLMs) by structuring their reasoning processes. However, existing methods face critical limitations: handcrafted demonstrations require extensive human expertise, while trigger phrases are prone to inaccuracies. In this paper, we propose the Zero-shot Uncertainty-based Selection (ZEUS) method, a novel approach that improves CoT prompting by utilizing uncertainty estimates to select effective demonstrations without needing access to model parameters. Unlike traditional methods, ZEUS offers high sensitivity in distinguishing between helpful and ineffective questions, ensuring more precise and reliable selection. Our extensive evaluation shows that ZEUS consistently outperforms existing CoT strategies across four challenging reasoning benchmarks, demonstrating its robustness and scalability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google