Critic-V: VLM Critics Help Catch VLM Errors in Multimodal Reasoning

要約

ビジョン言語モデル (VLM) は、マルチモーダル推論タスクにおいて目覚ましい進歩を示しました。
しかし、依然として、幻覚によるイメージの理解や洗練されていない推論経路などの問題により、不正確または無関係な応答が生成されることがよくあります。
これらの課題に対処するために、VLM の推論能力を強化するための Actor-Critic パラダイムに触発された新しいフレームワークである Critic-V を導入します。
このフレームワークは、ビジュアルおよびテキスト入力に基づいて推論パスを生成する Reasoner と、これらのパスを改良するための建設的な批評を提供する Critic という 2 つの独立したコンポーネントを統合することによって、推論プロセスと批評プロセスを分離します。
このアプローチでは、Reasoner はテキスト プロンプトに従って推論応答を生成し、Critic からのフィードバックに基づいてポリシーとして反復的に展開できます。
この対話プロセスは、理論的には、Critic がスカラー報酬の代わりに自然言語による批評を提供する強化学習フレームワークによって駆動され、より微妙なフィードバックを可能にして、複雑な推論タスクにおける Reasoner の能力を向上させます。
批評家モデルは、直接嗜好最適化 (DPO) を使用してトレーニングされ、ルールベースの報酬~(RBR) によってランク付けされた批評の嗜好データセットを利用して批評家の能力を強化します。
評価結果によると、Critic-V フレームワークは、特に推論の精度と効率に関して、8 つのベンチマークのうち 5 つで、GPT-4V を含む既存の手法を大幅に上回っています。
Reasoner の動的なテキストベースのポリシーと、好みに合わせて最適化された Critic からの建設的なフィードバックを組み合わせることで、より信頼性が高く、状況に応じたマルチモーダルな推論プロセスが可能になります。
私たちのアプローチは、VLM の信頼性を向上させる有望なソリューションを提供し、自動運転や身体化されたインテリジェンスなど、現実世界の推論が重視されるマルチモーダル アプリケーションにおけるパフォーマンスを向上させます。

要約(オリジナル)

Vision-language models (VLMs) have shown remarkable advancements in multimodal reasoning tasks. However, they still often generate inaccurate or irrelevant responses due to issues like hallucinated image understandings or unrefined reasoning paths. To address these challenges, we introduce Critic-V, a novel framework inspired by the Actor-Critic paradigm to boost the reasoning capability of VLMs. This framework decouples the reasoning process and critic process by integrating two independent components: the Reasoner, which generates reasoning paths based on visual and textual inputs, and the Critic, which provides constructive critique to refine these paths. In this approach, the Reasoner generates reasoning responses according to text prompts, which can evolve iteratively as a policy based on feedback from the Critic. This interaction process was theoretically driven by a reinforcement learning framework where the Critic offers natural language critiques instead of scalar rewards, enabling more nuanced feedback to boost the Reasoner’s capability on complex reasoning tasks. The Critic model is trained using Direct Preference Optimization (DPO), leveraging a preference dataset of critiques ranked by Rule-based Reward~(RBR) to enhance its critic capabilities. Evaluation results show that the Critic-V framework significantly outperforms existing methods, including GPT-4V, on 5 out of 8 benchmarks, especially regarding reasoning accuracy and efficiency. Combining a dynamic text-based policy for the Reasoner and constructive feedback from the preference-optimized Critic enables a more reliable and context-sensitive multimodal reasoning process. Our approach provides a promising solution to enhance the reliability of VLMs, improving their performance in real-world reasoning-heavy multimodal applications such as autonomous driving and embodied intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google