Ensembling Large Language Models with Process Reward-Guided Tree Search for Better Complex Reasoning

要約

大規模な言語モデルの最近の進歩にもかかわらず、オープンソース モデルは、複雑な推論タスクで一貫して適切に実行するのに苦労することがよくあります。
既存のアンサンブル手法は、トークン レベルで適用されるか出力レベルで適用されるかにかかわらず、これらの課題に対処できません。
これに応えて、言語モデルのプロセスレベルのアンサンブルのための新しいフレームワークである、モンテカルロ ツリー検索による言語モデル アンサンブル (LE-MCTS) を紹介します。
LE-MCTS は、マルコフ決定プロセスとして言語モデルのアンサンブルを使用して段階的な推論を定式化します。
このフレームワークでは、状態は中間の推論パスを表し、アクションは、事前定義されたプールから選択された言語モデルの 1 つを使用して次の推論ステップを生成することで構成されます。
LE-MCTS は、プロセスベースの報酬モデルに基づいて、さまざまな言語モデルによって生成された推論ステップに対してツリー検索を実行し、最も正確な推論チェーンを特定します。
5 つの数学的推論ベンチマークに関する実験結果は、私たちのアプローチが単一言語モデルのデコード アルゴリズムと言語モデル アンサンブル法の両方を上回るパフォーマンスを示していることを示しています。
特に、LE-MCTS は MATH データセットと MQA データセットでそれぞれ 3.6% と 4.3% パフォーマンスを向上させ、複雑な推論問題の解決における LE-MCTS の有効性を強調しています。

要約(オリジナル)

Despite recent advances in large language models, open-source models often struggle to consistently perform well on complex reasoning tasks. Existing ensemble methods, whether applied at the token or output levels, fail to address these challenges. In response, we present Language model Ensemble with Monte Carlo Tree Search (LE-MCTS), a novel framework for process-level ensembling of language models. LE-MCTS formulates step-by-step reasoning with an ensemble of language models as a Markov decision process. In this framework, states represent intermediate reasoning paths, while actions consist of generating the next reasoning step using one of the language models selected from a predefined pool. Guided by a process-based reward model, LE-MCTS performs a tree search over the reasoning steps generated by different language models, identifying the most accurate reasoning chain. Experimental results on five mathematical reasoning benchmarks demonstrate that our approach outperforms both single language model decoding algorithms and language model ensemble methods. Notably, LE-MCTS improves performance by 3.6% and 4.3% on the MATH and MQA datasets, respectively, highlighting its effectiveness in solving complex reasoning problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google