Aligning Large Multimodal Models with Factually Augmented RLHF

要約

大規模マルチモーダル モデル (LMM) はモダリティ全体で構築されており、2 つのモダリティ間の不整合により「幻覚」が生じ、コンテキスト内のマルチモーダル情報に基づいていないテキスト出力が生成される可能性があります。
マルチモーダルな不整合の問題に対処するために、テキスト領域から視覚と言語の整合のタスクにヒューマン フィードバックからの強化学習 (RLHF) を適応させます。そこでは、ヒューマン アノテーターが 2 つの応答を比較し、幻覚がより強い方と視覚を正確に指摘するように求められます。
-言語モデルは、シミュレートされた人間の報酬を最大化するようにトレーニングされています。
私たちは、画像キャプションやグラウンドトゥルースの複数選択オプションなどの追加の事実情報で報酬モデルを拡張する、Factually Augmented RLHF と呼ばれる新しい調整アルゴリズムを提案します。これにより、RLHF における報酬ハッキング現象が軽減され、パフォーマンスがさらに向上します。
また、GPT-4 で生成されたトレーニング データ (視覚指示調整用) を、以前に利用可能だった人が書いた画像とテキストのペアで強化し、モデルの一般的な機能を向上させました。
現実世界のシナリオで提案されたアプローチを評価するために、幻覚を罰することに特に焦点を当てた新しい評価ベンチマーク MMHAL-BENCH を開発します。
RLHF でトレーニングされた最初の LMM として、私たちのアプローチは、LLaVA-Bench データセットでテキストのみの GPT-4 の 94% のパフォーマンス レベルで顕著な改善を達成しました (これまでの最良の方法では 87% レベルしか達成できませんでした)。
MMHAL-BENCH では他のベースラインよりも 60% 増加しました。
コード、モデル、データは https://llava-rlhf.github.io でオープンソース化されています。

要約(オリジナル)

Large Multimodal Models (LMM) are built across modalities and the misalignment between two modalities can result in ‘hallucination’, generating textual outputs that are not grounded by the multimodal information in context. To address the multimodal misalignment issue, we adapt the Reinforcement Learning from Human Feedback (RLHF) from the text domain to the task of vision-language alignment, where human annotators are asked to compare two responses and pinpoint the more hallucinated one, and the vision-language model is trained to maximize the simulated human rewards. We propose a new alignment algorithm called Factually Augmented RLHF that augments the reward model with additional factual information such as image captions and ground-truth multi-choice options, which alleviates the reward hacking phenomenon in RLHF and further improves the performance. We also enhance the GPT-4-generated training data (for vision instruction tuning) with previously available human-written image-text pairs to improve the general capabilities of our model. To evaluate the proposed approach in real-world scenarios, we develop a new evaluation benchmark MMHAL-BENCH with a special focus on penalizing hallucinations. As the first LMM trained with RLHF, our approach achieves remarkable improvement on the LLaVA-Bench dataset with the 94% performance level of the text-only GPT-4 (while previous best methods can only achieve the 87% level), and an improvement by 60% on MMHAL-BENCH over other baselines. We opensource our code, model, data at https://llava-rlhf.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google