BPP-Search: Enhancing Tree of Thought Reasoning for Mathematical Modeling Problem Solving

要約

LLMSは高度な推論機能を示し、自然言語の質問を数学モデルに変換する可能性を提供します。
ただし、オペレーション研究ドメインの既存のオープンソースデータセットには、補強学習アプリケーションを妨げる客観的値のみに焦点を当てた、可変定義などのモデリングプロセスの詳細な注釈がありません。
これに対処するために、完全な数学モデリングプロセスをキャプチャする包括的なラベルが注釈されている構造データセットをリリースします。
さらに、ビーム検索、プロセス報酬モデル、およびペアワイズ優先アルゴリズムを使用して、補強学習を樹木の考え構造に統合するアルゴリズムであるBPP-Searchを提案します。
このアプローチにより、樹木構造の効率的な調査が可能になり、精度を向上させながら徹底的な検索を回避できます。
Structuredor、NL4OPT、およびMamo-ComplexLpデータセットに関する広範な実験は、BPP-Searchが最新の方法を大幅に上回ることを示しています。
ツリーベースの推論では、BPP-Searchは精度と効率に優れており、正しいソリューションのより速い取得を可能にします。
構造データセットは、https：//github.com/tengwang0318/structuredorで入手できます。

要約(オリジナル)

LLMs exhibit advanced reasoning capabilities, offering the potential to transform natural language questions into mathematical models. However, existing open-source datasets in operations research domain lack detailed annotations of the modeling process, such as variable definitions, focusing solely on objective values, which hinders reinforcement learning applications. To address this, we release the StructuredOR dataset, annotated with comprehensive labels that capture the complete mathematical modeling process. We further propose BPP-Search, an algorithm that integrates reinforcement learning into a tree-of-thought structure using Beam search, a Process reward model, and a pairwise Preference algorithm. This approach enables efficient exploration of tree structures, avoiding exhaustive search while improving accuracy. Extensive experiments on StructuredOR, NL4OPT, and MAMO-ComplexLP datasets show that BPP-Search significantly outperforms state-of-the-art methods. In tree-based reasoning, BPP-Search excels in accuracy and efficiency, enabling faster retrieval of correct solutions. The StructuredOR dataset is available at https://github.com/tengwang0318/StructuredOR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google