Critic-V: VLM Critics Help Catch VLM Errors in Multimodal Reasoning

要約

ビジョン言語モデル（VLM）は、マルチモーダル推論タスクの顕著な進歩を示しています。
しかし、彼らは幻想的なイメージの理解や不正確な推論パスなどの問題のために、依然として不正確または無関係な反応を生成することがよくあります。
これらの課題に対処するために、VLMSの推論能力を高めるために、俳優批判のパラダイムに触発された新しいフレームワークであるCritic-Vを紹介します。
このフレームワークは、2つの独立したコンポーネントを統合することにより、推論プロセスと批評家プロセスを切り離します。これは、視覚的およびテキスト入力に基づいて推論パスを生成し、これらのパスを洗練するための建設的な批評を提供する批評家です。
このアプローチでは、推論者はテキストプロンプトに従って推論応答を生成します。これは、批評家からのフィードバックに基づいたポリシーとして繰り返し進化する可能性があります。
この相互作用プロセスは、理論的には、批評家がスカラー報酬の代わりに自然言語批評を提供する強化学習フレームワークによって推進され、より微妙なフィードバックを可能にして、複雑な推論タスクに関する推論者の能力を高めます。
批評家モデルは、直接選好最適化（DPO）を使用してトレーニングされ、ルールベースの報酬〜（RBR）によってランク付けされた批評の優先データセットを活用して、批評家の能力を高めます。
評価の結果は、批評家-Vフレームワークが、特に推論の正確性と効率性に関して、8つのベンチマークのうち5つでGPT-4Vを含む既存の方法を大幅に上回ることを示しています。
推論者の動的なテキストベースのポリシーを組み合わせることで、優先順位が最適化された批評家からの建設的なフィードバックが可能になり、より信頼性が高くコンテキストに敏感なマルチモーダル推論プロセスが可能になります。
私たちのアプローチは、VLMSの信頼性を高めるための有望なソリューションを提供し、自律運転や具体化されたインテリジェンスなどの現実世界の推論が多いマルチモーダルアプリケーションでのパフォーマンスを向上させます。

要約(オリジナル)

Vision-language models (VLMs) have shown remarkable advancements in multimodal reasoning tasks. However, they still often generate inaccurate or irrelevant responses due to issues like hallucinated image understandings or unrefined reasoning paths. To address these challenges, we introduce Critic-V, a novel framework inspired by the Actor-Critic paradigm to boost the reasoning capability of VLMs. This framework decouples the reasoning process and critic process by integrating two independent components: the Reasoner, which generates reasoning paths based on visual and textual inputs, and the Critic, which provides constructive critique to refine these paths. In this approach, the Reasoner generates reasoning responses according to text prompts, which can evolve iteratively as a policy based on feedback from the Critic. This interaction process was theoretically driven by a reinforcement learning framework where the Critic offers natural language critiques instead of scalar rewards, enabling more nuanced feedback to boost the Reasoner’s capability on complex reasoning tasks. The Critic model is trained using Direct Preference Optimization (DPO), leveraging a preference dataset of critiques ranked by Rule-based Reward~(RBR) to enhance its critic capabilities. Evaluation results show that the Critic-V framework significantly outperforms existing methods, including GPT-4V, on 5 out of 8 benchmarks, especially regarding reasoning accuracy and efficiency. Combining a dynamic text-based policy for the Reasoner and constructive feedback from the preference-optimized Critic enables a more reliable and context-sensitive multimodal reasoning process. Our approach provides a promising solution to enhance the reliability of VLMs, improving their performance in real-world reasoning-heavy multimodal applications such as autonomous driving and embodied intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google