RoVRM: A Robust Visual Reward Model Optimized via Auxiliary Textual Preference Data

要約

大規模視覚言語モデル (LVLM) は人間の好みと一致しないことが多く、適切な視覚的コンテキストなしで誤解を招くコンテンツ (幻覚とも呼ばれます) を生成するなどの問題が発生します。
この問題に対する有望な解決策は、best-of-n サンプリングや強化学習など、人間の好みを調整する手法を使用することです。
ただし、これらの手法は、視覚報酬モデル (VRM) のトレーニングに必要な視覚的嗜好データの不足から生じる困難に直面しています。
今回の研究でも引き続き研究を続けます。
LVLM の人間の好みの調整を改善する堅牢な視覚報酬モデル (RoVRM) を紹介します。
RoVRM は、3 フェーズのプログレッシブ トレーニングと最適なトランスポート ベースの嗜好データ選択を通じて補助的なテキスト嗜好データを活用し、視覚的嗜好データの不足を効果的に軽減します。
LLaVA-1.5-7B および -13B モデルに基づいて、一般的に使用される視覚言語タスクで RoVRM を実験します。
実験結果は、RoVRM が従来の VRM よりも一貫して優れていることを示しています。
さらに、当社の 3 段階のプログレッシブ トレーニングと嗜好データ選択のアプローチは、直接的な嗜好の最適化などのランキングベースの調整手法と比較して、一貫したパフォーマンスの向上をもたらします。

要約(オリジナル)

Large vision-language models (LVLMs) often fail to align with human preferences, leading to issues like generating misleading content without proper visual context (also known as hallucination). A promising solution to this problem is using human-preference alignment techniques, such as best-of-n sampling and reinforcement learning. However, these techniques face the difficulty arising from the scarcity of visual preference data, which is required to train a visual reward model (VRM). In this work, we continue the line of research. We present a Robust Visual Reward Model (RoVRM) which improves human-preference alignment for LVLMs. RoVRM leverages auxiliary textual preference data through a three-phase progressive training and optimal transport-based preference data selection to effectively mitigate the scarcity of visual preference data. We experiment with RoVRM on the commonly used vision-language tasks based on the LLaVA-1.5-7B and -13B models. Experimental results demonstrate that RoVRM consistently outperforms traditional VRMs. Furthermore, our three-phase progressive training and preference data selection approaches can yield consistent performance gains over ranking-based alignment techniques, such as direct preference optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google