Meta-Reasoning: Semantics-Symbol Deconstruction For Large Language Models

要約

神経記号法は、大規模言語モデル (LLM) の推論能力を強化する効果があることが示されています。
ただし、既存の方法は主に、自然言語を構文的により完全な形式言語 (Python や SQL など) にマッピングすることに依存しています。
これらのアプローチでは、推論タスクをプログラムに変換できる必要があり、これはコンピュータ実行の考え方にさらに適合し、人間の推論習慣から逸脱します。
記号手法の実世界への適用性と柔軟性を拡張するために、言語学自体の範囲からメタ推論を提案します。
この方法により、LLM は質問を分解し、より一般化された知識を自律的に効果的に取得できるようになります。
メタ推論は、六算および記号推論タスクにおいて、コンテキスト内の学習効率、推論の精度、および出力の安定性の向上を達成することがわかりました。
特に、シャッフルされたオブジェクトの追跡などの記号推論タスクに適用した場合、GPT-3 (text-davinci-002) は、数回の思考連鎖プロンプト手法 (+37.7%) を上回り、1 回の実行後に 99% の精度を示します。
メタ推論のデモンストレーション。

要約(オリジナル)

Neural-symbolic methods have shown their effectiveness in enhancing the reasoning abilities of large language models (LLMs). However, existing methods primarily rely on mapping natural languages to more syntactically complete formal languages (e.g., Python and SQL). Those approaches necessitate that reasoning tasks be convertible into programs, which cater more to the computer execution mindset and deviate from human reasoning habits. To expand the real-world applicability and flexibility of symbolic methods, we propose Meta-Reasoning from the scope of linguistics itself. This method empowers LLMs to deconstruct questions and effectively capture more generalized knowledge autonomously. We find that Meta-Reasoning achieves improved in-context learning efficiency, reasoning accuracy, and output stability in six arithmetic and symbolic reasoning tasks. In particular, when applied to symbolic reasoning tasks such as Tracking Shuffled Objects, GPT-3 (text-davinci-002) surpasses the few-shot Chain-of-Thought prompting approach (+37.7%), with 99% accuracy after a single demonstration of Meta-Reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google