Unlocking Structured Thinking in Language Models with Cognitive Prompting

要約

私たちは、目標の明確化、分解、フィルタリング、抽象化、パターン認識などの構造化された人間のような認知操作を通じて、大規模言語モデル (LLM) での問題解決を導く新しいアプローチとして認知プロンプティングを提案します。
体系的で段階的な推論を採用することにより、認知プロンプトにより、LLM は複雑な複数ステップのタスクに効率的に取り組むことができます。
私たちは、GSM8K データセットを使用した算術推論タスクと常識推論ベンチマークのパフォーマンスを比較し、Meta の LLaMA モデルでの認知プロンプトの有効性を評価します。
私たちの分析には、認知プロンプトのないモデル、静的な認知操作シーケンスを持つモデル、および LLM が一連の認知操作を動的に自己選択する反射的認知プロンプティングを使用するモデル間の比較が含まれます。
その結果、認知プロンプトは、特に動的に適応した場合、LLaMA3.1 70B などのより大きなモデルのパフォーマンスを大幅に向上させ、複数ステップの推論タスクを処理する能力を強化することが示されています。
このアプローチは解釈可能性と柔軟性も向上し、汎用 AI 推論の有望な戦略として認知的プロンプトを強調します。

要約(オリジナル)

We propose cognitive prompting as a novel approach to guide problem-solving in large language models (LLMs) through structured, human-like cognitive operations such as goal clarification, decomposition, filtering, abstraction, and pattern recognition. By employing systematic, step-by-step reasoning, cognitive prompting enables LLMs to efficiently tackle complex, multi-step tasks. We evaluate the effectiveness of cognitive prompting on Meta’s LLaMA models, comparing performance on arithmetic reasoning tasks using the GSM8K dataset and on commonsense reasoning benchmarks. Our analysis includes comparisons between models without cognitive prompting, models with a static sequence of cognitive operations, and models using reflective cognitive prompting, where the LLM dynamically self-selects the sequence of cognitive operations. The results show that cognitive prompting, particularly when dynamically adapted, significantly improves the performance of larger models, such as LLaMA3.1 70B, and enhances their ability to handle multi-step reasoning tasks. This approach also improves interpretability and flexibility, highlighting cognitive prompting as a promising strategy for general-purpose AI reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google