VisualPRM: An Effective Process Reward Model for Multimodal Reasoning

要約

8Bパラメーターを備えた高度なマルチモーダルプロセス報酬モデル（PRM）であるVisualPRMを紹介します。これにより、さまざまなモデルスケールとBest-of-n（Bon）評価戦略を持つファミリで既存のマルチモーダル大手言語モデル（MLLM）の推論能力が向上します。
具体的には、私たちのモデルは、3種類のMLLMと4つの異なるモデルスケールの推論パフォーマンスを改善します。
非常に有能なInternVL2.5-78Bに適用された場合でも、7つのマルチモーダル推論ベンチマークで5.9ポイントの改善を達成します。
実験結果は、私たちのモデルが、結果の報酬モデルとbon評価中の自己整合性と比較して優れたパフォーマンスを示すことを示しています。
マルチモーダルPRMSのトレーニングを容易にするために、自動データパイプラインを使用してマルチモーダルプロセス監督データセットVisualPRM400Kを構築します。
マルチモーダルPRMSの評価のために、マルチモーダル推論タスクの誤ったステップを検出するPRMSの能力を測定するために、人間が発表した段階的な正確さラベルを使用したベンチマークであるVisualProcessbenchを提案します。
私たちの仕事が、より多くの将来の研究を刺激し、MLLMSの発展に貢献できることを願っています。
モデル、データ、およびベンチマークは、https：//internvl.github.io/blog/2025-03-13-visualprm/でリリースされています。

要約(オリジナル)

We introduce VisualPRM, an advanced multimodal Process Reward Model (PRM) with 8B parameters, which improves the reasoning abilities of existing Multimodal Large Language Models (MLLMs) across different model scales and families with Best-of-N (BoN) evaluation strategies. Specifically, our model improves the reasoning performance of three types of MLLMs and four different model scales. Even when applied to the highly capable InternVL2.5-78B, it achieves a 5.9-point improvement across seven multimodal reasoning benchmarks. Experimental results show that our model exhibits superior performance compared to Outcome Reward Models and Self-Consistency during BoN evaluation. To facilitate the training of multimodal PRMs, we construct a multimodal process supervision dataset VisualPRM400K using an automated data pipeline. For the evaluation of multimodal PRMs, we propose VisualProcessBench, a benchmark with human-annotated step-wise correctness labels, to measure the abilities of PRMs to detect erroneous steps in multimodal reasoning tasks. We hope that our work can inspire more future research and contribute to the development of MLLMs. Our model, data, and benchmark are released in https://internvl.github.io/blog/2025-03-13-VisualPRM/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google