PathFinder: Guided Search over Multi-Step Reasoning Paths

要約

大規模言語モデルの最近の進歩により、推論連鎖を引き出すための思考連鎖プロンプトのような手法が、推論タスクの結果を向上させることが示されています。
ただし、複数の推論ステップを必要とするタスクは、依然として最先端のモデルにとって大きな課題となります。
ビーム探索アルゴリズムからインスピレーションを得て、ツリー探索ベースの推論パス生成アプローチである PathFinder を提案します。
さまざまなサンプリング方法とパラメータによって可能になる動的デコーディングの統合を通じて、多様な分岐とマルチホップ推論を強化します。
PathFinder は、制約付き推論を使用して、新しい品質制約、枝刈り、探索方法を統合し、生成の効率と品質を向上させます。
さらに、候補者の選択を改善するためのスコアリングおよびランキング機能も含まれています。
私たちのアプローチは、3 つの複雑な算術および常識的推論タスクにおいて、競合ベースラインを平均 6% 上回っています。
私たちのモデルは、より長い目に見えない推論チェーンまで十分に一般化されており、大きな分岐要素を伴うビーム探索と同様の複雑さを反映しています。

要約(オリジナル)

With recent advancements in large language models, methods like chain-of-thought prompting to elicit reasoning chains have been shown to improve results on reasoning tasks. However, tasks that require multiple steps of reasoning still pose significant challenges to state-of-the-art models. Drawing inspiration from the beam search algorithm, we propose PathFinder, a tree-search-based reasoning path generation approach. It enhances diverse branching and multi-hop reasoning through the integration of dynamic decoding, enabled by varying sampling methods and parameters. Using constrained reasoning, PathFinder integrates novel quality constraints, pruning, and exploration methods to enhance the efficiency and the quality of generation. Moreover, it includes scoring and ranking features to improve candidate selection. Our approach outperforms competitive baselines on three complex arithmetic and commonsense reasoning tasks by 6% on average. Our model generalizes well to longer, unseen reasoning chains, reflecting similar complexities to beam search with large branching factors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google