UPAR: A Kantian-Inspired Prompting Framework for Enhancing Large Language Model Capabilities

要約

大規模言語モデル (LLM) は優れた推論能力を実証しており、プロンプトを通じてこの能力を強化することに多くの研究努力が払われています。
これらの努力にもかかわらず、統一された認識論的基盤は依然として著しく欠けています。
カントのアプリオリ哲学からインスピレーションを得て、LLM 内の人間の認知構造をエミュレートするように設計された UPAR プロンプト フレームワークを提案します。
UPAR フレームワークは、「理解」、「計画」、「実行」、「反映」の 4 つのフェーズに分けられており、複雑なコンテキストからの構造化情報の抽出、解決策の事前の計画、計画に従った実行、および自己反映を可能にします。
。
この構造により、LLM 推論の説明可能性と精度が大幅に向上し、人間が理解でき検査可能な推論の軌跡が生成されます。
さらに、私たちの研究は既存のプロンプト手法の認識論的基盤を提供し、これらの手法の体系的な統合の可能性を可能にします。
GPT-4 を使用する場合、私たちのアプローチは、GSM8K の困難なサブセットでは COT ベースラインの 22.92% から 58.33% に、因果関係判断タスクでは 67.91% から 75.40% に精度を向上させます。
少数のショットの例や外部ツールを使用せずに、UPAR は、大学レベルの数学、化学、物理学の問題を含むやりがいのあるデータセットである SCIBENCH での既存のプロンプト手法を大幅に上回ります。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated impressive inferential capabilities, with numerous research endeavors devoted to enhancing this capacity through prompting. Despite these efforts, a unified epistemological foundation is still conspicuously absent. Drawing inspiration from Kant’s a priori philosophy, we propose the UPAR prompting framework, designed to emulate the structure of human cognition within LLMs. The UPAR framework is delineated into four phases: ‘Understand’, ‘Plan’, ‘Act’, and ‘Reflect’, enabling the extraction of structured information from complex contexts, prior planning of solutions, execution according to plan, and self-reflection. This structure significantly augments the explainability and accuracy of LLM inference, producing a human-understandable and inspectable inferential trajectory. Furthermore, our work offers an epistemological foundation for existing prompting techniques, allowing for a possible systematic integration of these methods. With GPT-4, our approach elevates the accuracy from COT baseline of 22.92% to 58.33% in a challenging subset of GSM8K, and from 67.91% to 75.40% in the causal judgment task. Without using few-shot examples or external tools, UPAR significantly outperforms existing prompting methods on SCIBENCH, a challenging dataset containing collegiate-level mathematics, chemistry, and physics scientific problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google