Meta Reasoning for Large Language Models

要約

人間のメタ推論にヒントを得た、大規模言語モデル (LLM) 用の斬新で効率的なシステム プロンプト手法であるメタ推論プロンプティング (MRP) を紹介します。
Tree-of-Thoughts などの従来のコンテキスト内学習ベースの推論手法は有望ですが、その特殊な性質により、さまざまなタスクにわたって一貫した最先端のパフォーマンスが得られません。
MRP は、LLM が各タスクの特定の要件に基づいてさまざまな推論方法を動的に選択して適用するようにガイドすることで、この制限に対処し、パフォーマンスと計算効率の両方を最適化します。
MRP では、LLM 推論は 2 つのフェーズで動作します。
最初に、LLM はタスク入力の合図と利用可能な方法の客観的な説明を使用して、最も適切な推論方法を特定します。
その後、選択した方法を適用してタスクを完了します。
この動的な戦略は人間のメタ推論を反映しており、モデルが幅広い問題領域で優れた能力を発揮できるようになります。
総合的なベンチマークを通じてMRPの有効性を評価します。
この結果は、MRP がさまざまなタスクにわたって最先端のパフォーマンスを達成、またはそれに近づいていることを示しています。
MRP は、LLM が問題全体にわたる認知的課題を特定し、さまざまな推論アプローチにわたる利点を活用できるようにするという大きな進歩を表し、多様で複雑な問題領域を効率的に処理する能力を強化します。
すべての LLM には、その可能性を最大限に引き出し、進化し続ける課題とアプリケーションの状況における適応性を確保するためのメタ推論プロンプトが必要です。

要約(オリジナル)

We introduce Meta-Reasoning Prompting (MRP), a novel and efficient system prompting method for large language models (LLMs) inspired by human meta-reasoning. Traditional in-context learning-based reasoning techniques, such as Tree-of-Thoughts, show promise but lack consistent state-of-the-art performance across diverse tasks due to their specialized nature. MRP addresses this limitation by guiding LLMs to dynamically select and apply different reasoning methods based on the specific requirements of each task, optimizing both performance and computational efficiency. With MRP, LLM reasoning operates in two phases. Initially, the LLM identifies the most appropriate reasoning method using task input cues and objective descriptions of available methods. Subsequently, it applies the chosen method to complete the task. This dynamic strategy mirrors human meta-reasoning, allowing the model to excel in a wide range of problem domains. We evaluate the effectiveness of MRP through comprehensive benchmarks. The results demonstrate that MRP achieves or approaches state-of-the-art performance across diverse tasks. MRP represents a significant advancement in enabling LLMs to identify cognitive challenges across problems and leverage benefits across different reasoning approaches, enhancing their ability to handle diverse and complex problem domains efficiently. Every LLM deserves a Meta-Reasoning Prompting to unlock its full potential and ensure adaptability in an ever-evolving landscape of challenges and applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google