Think Beyond Size: Adaptive Prompting for More Effective Reasoning

要約

事前トレーニングされた大規模言語モデル (LLM) は、少数ショット学習器としての優れた機能により、幅広い自然言語処理 (NLP) タスクでますます利用されています。
思考連鎖 (CoT) プロンプトなどの最近の技術は、ステップバイステップの分解を導入することで多段階推論を大幅に進歩させ、複雑な推論ベンチマークで最先端の結果を達成しています。
ただし、これらのアプローチは、タスクの複雑さや推論プロセス中のエラーに適応しない静的なプロンプト テンプレートに依存することがよくあります。
この研究では、プロンプト構造と検証メカニズムにリアルタイムの調整を組み込むことで推論を強化するように設計された動的で反復的なフレームワークであるアダプティブ プロンプティングを紹介します。実験結果は、アダプティブ プロンプティングが算術推論 (GSM8K) を含むさまざまな推論ベンチマークのパフォーマンスを大幅に向上させることを示しています。
、MultiArith)、論理的推論と常識的なタスクにより、静的なプロンプト ベースラインと比較して大幅な精度の向上が達成されます。
ガイド付きプロンプト、中間検証、自己修正ステップを統合することで、私たちのアプローチは、計算効率を維持しながら、より小さなモデルが GPT-4 などのより大きなモデルと競合するパフォーマンスを達成できるようにします。
このフレームワークは、微調整やタスク固有のトレーニング データを必要とせずにこれを実現し、反復推論法の未開発の可能性を強調しています。

要約(オリジナル)

Pretrained large language models (LLMs) are increasingly utilized across a wide range of natural language processing (NLP) tasks due to their impressive capabilities as few-shot learners. Recent techniques, such as chain-of-thought (CoT) prompting, have significantly advanced multi-step reasoning by introducing step-by-step decomposition, achieving state-of-the-art results on complex reasoning benchmarks. However, these approaches often rely on static prompting templates that do not adapt to task complexity or errors during the reasoning process. In this work, we introduce Adaptive Prompting, a dynamic and iterative framework designed to enhance reasoning by incorporating real-time adjustments to prompt structures and validation mechanisms.Experimental results demonstrate that Adaptive Prompting significantly improves performance on diverse reasoning benchmarks, including arithmetic reasoning (GSM8K, MultiArith), logical reasoning and commonsense tasks, achieving substantial accuracy gains compared to static prompting baselines. By integrating guided prompts, intermediate validation, and self-corrective steps, our approach enables smaller models to achieve competitive performance with larger counterparts, such as GPT-4, while maintaining computational efficiency. The framework achieves this without requiring fine-tuning or task-specific training data, highlighting the untapped potential of iterative reasoning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google