Self-Supervised Visual Preference Alignment

要約

この論文は、視覚言語モデル (VLM) における教師なしの好みの調整に向けた最初の試みを行います。
元の画像と拡張された画像のペアに関して選択された応答と拒否された応答を生成し、直接的な好みの最適化による好みの調整を実行します。
これは、中心となるアイデアに基づいています。画像入力に対する適切に設計された拡張により、VLM が誤ったハードネガティブな応答を生成するようになり、モデルがそこから学習して、より堅牢で強力な応答を生成するのに役立ちます。
パイプライン全体は、アライメント中の GPT4 による監視や人間の関与に左右されなくなり、数行のコードで非常に効率的になります。
わずか 8,000 個のランダムにサンプリングされた教師なしデータを使用して、LLaVA-Bench の複雑な推論で GPT-4 に対して 90\% の相対スコアを達成し、複雑なマルチモーダル ベンチマーク MM では LLaVA-7B/13B のスコアを 6.7\%/5.6\% 向上させます。
-獣医。
視覚化により、ユーザーの意図に合わせて機能が向上していることがわかります。
このアプローチの潜在的なメカニズムを明らかにするために一連のアブレーションがしっかりと行われ、これはさらなるスケールアップに向けた可能性も示しています。
コードが利用可能になります。

要約(オリジナル)

This paper makes the first attempt towards unsupervised preference alignment in Vision-Language Models (VLMs). We generate chosen and rejected responses with regard to the original and augmented image pairs, and conduct preference alignment with direct preference optimization. It is based on a core idea: properly designed augmentation to the image input will induce VLM to generate false but hard negative responses, which helps the model to learn from and produce more robust and powerful answers. The whole pipeline no longer hinges on supervision from GPT4 or human involvement during alignment, and is highly efficient with few lines of code. With only 8k randomly sampled unsupervised data, it achieves 90\% relative score to GPT-4 on complex reasoning in LLaVA-Bench, and improves LLaVA-7B/13B by 6.7\%/5.6\% score on complex multi-modal benchmark MM-Vet. Visualizations shows its improved ability to align with user-intentions. A series of ablations are firmly conducted to reveal the latent mechanism of the approach, which also indicates its potential towards further scaling. Code will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google