Dual-Stage Value-Guided Inference with Margin-Based Reward Adjustment for Fast and Faithful VLM Captioning

要約

ビジョン言語モデル（VLM）の推論時間検索の大幅な進歩にもかかわらず、既存のアプローチは、しばしば持続的な幻覚につながることが多い、抑止されていない低自信の世代の両方を計算する傾向があります。
\ textBf {マージンベースの報酬（VIMAR）を使用したバリューガイド付き推論（VIMAR）}を紹介します。これは、時間差モデルとマージン認識報酬調整を組み合わせることにより、効率と出力の両方の忠実度を改善する2段階の推論フレームワークです。
最初の段階では、単一のパスを実行して、多様な候補者の間で最も価値の高いキャプションを識別します。
第2段階では、見落とされているか、弱い視覚的接地を示したセグメントのみを選択的に改良し、それにより頻繁に報われる評価を排除します。
キャリブレーションされたマージンベースのペナルティは、記述的な豊かさを維持しながら、自信の低い継続を思いとどまらせます。
複数のVLMアーキテクチャにわたる広範な実験は、Vimarが既存の価値ガイド方法と比較して4 $ \ Times $ speedupを達成しながら、より信頼性が高く、事実上正確で、詳細で、説明的なキャプションを生成することを示しています。
具体的には、VimarがLlava Mistral-7B、\ TextITのみで訓練したことを示しています{より強力な目に見えないモデルでデコードを導くために効果的に一般化}。
これをさらに検証するために、vimarをLlava-onevision-qwen2-7bの発電を操縦するように適応させ、キャプション品質の一貫した改善と堅牢なクロスモデルガイダンスを実証します。
このクロスモデルの一般化は、Vimarの柔軟性とモジュール性を強調し、スケーラブルで転送可能な推論時間デコード戦略として配置します。
さらに、Vimar生成されたキャプションが自己訓練に使用される場合、基礎となるモデルは、幅広い視覚的理解ベンチマークにわたって大幅な利益を達成し、高速で正確で自己改善するVLMパイプラインの可能性を強調します。

要約(オリジナル)

Despite significant advances in inference-time search for vision-language models (VLMs), existing approaches remain both computationally expensive and prone to unpenalized, low-confidence generations which often lead to persistent hallucinations. We introduce \textbf{Value-guided Inference with Margin-based Reward (ViMaR)}, a two-stage inference framework that improves both efficiency and output fidelity by combining a temporal-difference value model with a margin-aware reward adjustment. In the first stage, we perform a single pass to identify the highest-value caption among diverse candidates. In the second stage, we selectively refine only those segments that were overlooked or exhibit weak visual grounding, thereby eliminating frequently rewarded evaluations. A calibrated margin-based penalty discourages low-confidence continuations while preserving descriptive richness. Extensive experiments across multiple VLM architectures demonstrate that ViMaR generates captions that are significantly more reliable, factually accurate, detailed, and explanatory, while achieving over 4$\times$ speedup compared to existing value-guided methods. Specifically, we show that ViMaR trained solely on LLaVA Mistral-7B, \textit{generalizes effectively to guide decoding in a stronger unseen model}. To further validate this, we adapt the ViMaR to steer generation in LLaVA-OneVision-Qwen2-7B, leading to consistent improvements in caption quality and demonstrating robust cross-model guidance. This cross-model generalization highlights ViMaR’s flexibility and modularity, positioning it as a scalable and transferable inference-time decoding strategy. Furthermore, when ViMaR-generated captions are used for self-training, the underlying models achieve substantial gains across a broad suite of visual comprehension benchmarks, underscoring the potential of fast, accurate, and self-improving VLM pipelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google