Boosting Multimodal Reasoning with MCTS-Automated Structured Thinking

要約

マルチモーダル大規模言語モデル（MLLM）は印象的な能力を示すが、複雑な視覚的推論では依然として課題に直面している。最近の取り組みでは、明示的な検索構造や教師が誘導する蒸留を通じて、OpenAI o1のような構造化思考を取り入れることで、MLLMの推論を強化しようと試みられているが、性能と効率のバランスに苦労することが多い。決定的な限界は、広範なデータと探索空間への依存度が高く、その結果、暗黙的な洞察抽出とデータ利用の効率が低いことである。この問題に対処するため、我々はモンテカルロ木探索（MCTS）を介したマルチモーダル推論のための自動構造化思考パラダイムであるAStarを提案する。AStarは、MCTSを利用した階層構造を用いて、限られたデータから高レベルの認知的推論パターンを自動的に導出する。これらの明示的なパターンを基に、モデルの内部推論能力と外部推論ガイドラインをシームレスに統合する統一的な推論フレームワークを設計し、最小限のツリー反復で効率的な推論を可能にする。この新しいパラダイムは、性能と効率の間で説得力のあるバランスをとっている。広範な実験によりAStarの有効性が実証され、7Bバックボーンを持つMathVerseベンチマークにおいて、データ効率と計算効率を大幅に維持しながら、GPT-4o(50.2$%$)を上回る優れた精度(54.0$%$)を達成した。

要約(オリジナル)

Multimodal large language models (MLLMs) exhibit impressive capabilities but still face challenges in complex visual reasoning. While recent efforts attempt to enhance MLLMs’ reasoning by incorporating OpenAI o1-like structured thinking through explicit search structures or teacher-guided distillation, they often struggle to balance performance and efficiency. A critical limitation is their heavy reliance on extensive data and search spaces, resulting in low-efficiency implicit insight extraction and data utilization. To address this, we propose AStar, an Automated Structured thinking paradigm for multimodal reasoning via Monte Carlo Tree Search (MCTS). AStar automatically derives high-level cognitive reasoning patterns from limited data using MCTS-powered hierarchical structures. Building on these explicit patterns, we design a unified reasoning framework that seamlessly integrates models’ internal reasoning capabilities and external reasoning guidelines, enabling efficient inference with minimal tree iterations. This novel paradigm strikes a compelling balance between performance and efficiency. Extensive experiments demonstrate AStar’s effectiveness, achieving superior accuracy (54.0$\%$) on the MathVerse benchmark with a 7B backbone, surpassing GPT-4o (50.2$\%$) while maintaining substantial data and computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL