Symmetrical Visual Contrastive Optimization: Aligning Vision-Language Models with Minimal Contrastive Images

要約

最近の研究では、大きなビジョン言語モデル（VLM）が画像コンテンツを無視し、言語モデルの前症を過度に格付けする傾向があり、視覚的に接地されたタスクと幻覚に誤りをもたらすことが示されています。
既存のVLMが明確に訓練されていないため、この問題は、きめ細かい画像の詳細に正確に接地されたテキストを生成するために明示的に訓練されていないために発生すると仮定します。
VLMトレーニング中の視覚フィードバックを強化するために、S-VCO（対称的な視覚対照的最適化）を提案します。これは、重要な視覚詳細をキャプチャし、対応するテキストトークンに合わせてモデルを導く新しい微調整目的です。
この詳細なアラインメントをさらに促進するために、視覚的な反事実データを自動的にフィルタリングおよび増強して構築して構築されたペアの画像テキストデータセットであるMVCを導入し、最小限の視覚コントラストを含むハードコントラストケースでモデルに挑戦します。
実験では、この方法がさまざまな能力とドメインをカバーする多様なベンチマーク全体で一貫してVLMパフォーマンスを改善し、幻覚が最大22％減少し、視覚中心および一般的なタスクの大幅な利益を達成することを示しています。
特に、これらの改善は、より高い視覚依存性を備えたベンチマークでますます顕著になります。
要するに、S-VCOは、モデルの一般的な能力を保持または改善しながら、VLMの視覚依存性タスクパフォ​​ーマンスを大幅に強化します。
https://s-vco.github.io/でコードをopensource

要約(オリジナル)

Recent studies have shown that Large Vision-Language Models (VLMs) tend to neglect image content and over-rely on language-model priors, resulting in errors in visually grounded tasks and hallucinations. We hypothesize that this issue arises because existing VLMs are not explicitly trained to generate texts that are accurately grounded in fine-grained image details. To enhance visual feedback during VLM training, we propose S-VCO (Symmetrical Visual Contrastive Optimization), a novel finetuning objective that steers the model toward capturing important visual details and aligning them with corresponding text tokens. To further facilitate this detailed alignment, we introduce MVC, a paired image-text dataset built by automatically filtering and augmenting visual counterfactual data to challenge the model with hard contrastive cases involving Minimal Visual Contrasts. Experiments show that our method consistently improves VLM performance across diverse benchmarks covering various abilities and domains, achieving up to a 22% reduction in hallucinations, and significant gains in vision-centric and general tasks. Notably, these improvements become increasingly pronounced in benchmarks with higher visual dependency. In short, S-VCO offers a significant enhancement of VLM’s visually-dependent task performance while retaining or even improving the model’s general abilities. We opensource our code at https://s-vco.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google