RLAIF-V: Aligning MLLMs through Open-Source AI Feedback for Super GPT-4V Trustworthiness

要約

フィードバックから学習することで、マルチモーダル大規模言語モデル (MLLM) を人間の好みに合わせることで、その幻覚を軽減します。
従来の方法は労働集約的で時間のかかる手動のラベル付けに依存していますが、自動ラベラーとしてモデルを使用する最近のアプローチでは、人間の介入なしで有望な結果が得られています。
ただし、これらの方法は GPT-4V などの高価な独自モデルに大きく依存しているため、スケーラビリティの問題が発生します。
さらに、このパラダイムは基本的に独自のモデルを抽出して、パフォーマンスのギャップを迅速に埋めるための一時的なソリューションを提供します。
このギャップが縮小し続けるにつれて、コミュニティはすぐに、同等の機能のラベラー モデルを使用して MLLM を調整するという本質的な課題に直面しています。
この研究では、スーパー GPT-4V の信頼性を実現する完全なオープンソース パラダイムで MLLM を調整する新しいフレームワークである RLAIF-V を紹介します。
RLAIF-V は、高品質のフィードバック データとオンライン フィードバック学習アルゴリズムの 2 つの観点からオープンソースのフィードバックを最大限に活用します。
自動評価と人間による評価の両方における 7 つのベンチマークに関する広範な実験により、RLAIF-V が他のタスクのパフォーマンスを犠牲にすることなくモデルの信頼性を大幅に向上させることが示されました。
34B モデルをラベラーとして使用すると、RLAIF-V 7B モデルは物体の幻覚を 82.9\% 減少させ、全体の幻覚を 42.1\% 減少させ、ラベラー モデルよりも優れたパフォーマンスを発揮します。
注目すべきことに、RLAIF-V は、オープンソース MLLM の自己整合の可能性も明らかにしています。12B モデルは自身のフィードバックから学習して、全体の幻覚率を 29.5\% 未満に抑え、GPT-4V (45.9\%) を上回ります。
大きなマージン。
この結果は、最先端の MLLM の有効性を高めるための有望なルートを明らかにします。

要約(オリジナル)

Learning from feedback reduces the hallucination of multimodal large language models (MLLMs) by aligning them with human preferences. While traditional methods rely on labor-intensive and time-consuming manual labeling, recent approaches employing models as automatic labelers have shown promising results without human intervention. However, these methods heavily rely on costly proprietary models like GPT-4V, resulting in scalability issues. Moreover, this paradigm essentially distills the proprietary models to provide a temporary solution to quickly bridge the performance gap. As this gap continues to shrink, the community is soon facing the essential challenge of aligning MLLMs using labeler models of comparable capability. In this work, we introduce RLAIF-V, a novel framework that aligns MLLMs in a fully open-source paradigm for super GPT-4V trustworthiness. RLAIF-V maximally exploits the open-source feedback from two perspectives, including high-quality feedback data and online feedback learning algorithm. Extensive experiments on seven benchmarks in both automatic and human evaluation show that RLAIF-V substantially enhances the trustworthiness of models without sacrificing performance on other tasks. Using a 34B model as labeler, RLAIF-V 7B model reduces object hallucination by 82.9\% and overall hallucination by 42.1\%, outperforming the labeler model. Remarkably, RLAIF-V also reveals the self-alignment potential of open-source MLLMs, where a 12B model can learn from the feedback of itself to achieve less than 29.5\% overall hallucination rate, surpassing GPT-4V (45.9\%) by a large margin. The results shed light on a promising route to enhance the efficacy of leading-edge MLLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google