Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS

要約

インコンテキスト学習 (ICL) により、大規模言語モデル (LLM) は、洗練されたプロンプトと高品質のデモンストレーションを通じて下流のタスクに取り組むことができます。
ただし、この伝統的な ICL パラダイムは、主にサンプルの品質に大きく依存し、困難なシナリオでは人間の介入が必要であるため、複雑な数学的推論タスクに直面すると限界が見えてきます。
これらの制限に対処するために、この論文では、具体的な例から抽象的な思考パターンに焦点を移す、\textbf{ICL} の \textbf{高レベルの \textbf{A} 自動化された \textbf{R} イージング パラダイムである HiAR-ICL を紹介します。
、ICLにおけるコンテキストの従来の概念を拡張します。
HiAR-ICL では、チェーン構造のパターンを構築するための基本コンポーネントとして 5 つのアトミック推論アクションが導入されています。
モンテカルロ木検索を使用して、推論パスを探索し、その後の推論を導くための思考カードを構築します。
次に、問題を適切な思考カードと動的に照合する認知複雑性フレームワークを開発します。
実験結果は HiAR-ICL の有効性を実証し、Qwen2.5-7B-Instruct を使用した MATH ベンチマークで最先端の精度 (79.6$\%$) を達成し、GPT-4o (76.6$\%$) と Claude を上回りました。
3.5 (71.1$\%$)。

要約(オリジナル)

In-context Learning (ICL) enables large language models (LLMs) to tackle downstream tasks through sophisticated prompting and high-quality demonstrations. However, this traditional ICL paradigm shows limitations when facing complex mathematical reasoning tasks, primarily due to its heavy dependence on example quality and the necessity for human intervention in challenging scenarios. To address these limitations, this paper presents HiAR-ICL, a \textbf{Hi}gh-level \textbf{A}utomated \textbf{R}easoning paradigm in \textbf{ICL} that shifts focus from specific examples to abstract thinking patterns, extending the conventional concept of context in ICL. HiAR-ICL introduces five atomic reasoning actions as fundamental components for constructing chain-structured patterns. Using Monte Carlo Tree Search, we explore reasoning paths and construct thought cards to guide subsequent inference. We then develop a cognitive complexity framework that dynamically matches problems with appropriate thought cards. Experimental results demonstrate HiAR-ICL’s effectiveness, achieving state-of-the-art accuracy (79.6$\%$) on the MATH benchmark with Qwen2.5-7B-Instruct, surpassing GPT-4o (76.6$\%$) and Claude 3.5 (71.1$\%$).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google