RoVRM: A Robust Visual Reward Model Optimized via Auxiliary Textual Preference Data

要約

大きなビジョン言語モデル（LVLMS）は、多くの場合、人間の好みと一致しないことが多く、適切な視覚的コンテキスト（幻覚とも呼ばれる）なしで誤解を招くコンテンツを生成するなどの問題につながります。
この問題の有望な解決策は、Best-of-nサンプリングや補強学習など、人間のプレーファレンスアライメント手法を使用することです。
ただし、これらの手法は、視覚的な報酬モデル（VRM）をトレーニングするために必要な視覚的選好データの希少性から生じる困難に直面しています。
この作業では、研究のラインを継続します。
LVLMSのヒトプレーファレンスアライメントを改善する堅牢な視覚報酬モデル（ROVRM）を提示します。
ROVRMは、視覚選好データの不足を効果的に軽減するために、3フェーズのプログレッシブトレーニングと最適な輸送ベースの選好データ選択を通じて、補助テキスト優先データを活用します。
LLAVA-1.5-7Bモデルと-13Bモデルに基づいて、一般的に使用される視覚言語タスクでROVRMを実験します。
実験結果は、ROVRMが一貫して従来のVRMを上回ることを示しています。
さらに、3フェーズのプログレッシブトレーニングと選好データ選択アプローチは、直接優先最適化などのランキングベースのアライメント手法よりも一貫したパフォーマンスの向上をもたらす可能性があります。

要約(オリジナル)

Large vision-language models (LVLMs) often fail to align with human preferences, leading to issues like generating misleading content without proper visual context (also known as hallucination). A promising solution to this problem is using human-preference alignment techniques, such as best-of-n sampling and reinforcement learning. However, these techniques face the difficulty arising from the scarcity of visual preference data, which is required to train a visual reward model (VRM). In this work, we continue the line of research. We present a Robust Visual Reward Model (RoVRM) which improves human-preference alignment for LVLMs. RoVRM leverages auxiliary textual preference data through a three-phase progressive training and optimal transport-based preference data selection to effectively mitigate the scarcity of visual preference data. We experiment with RoVRM on the commonly used vision-language tasks based on the LLaVA-1.5-7B and -13B models. Experimental results demonstrate that RoVRM consistently outperforms traditional VRMs. Furthermore, our three-phase progressive training and preference data selection approaches can yield consistent performance gains over ranking-based alignment techniques, such as direct preference optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google