Beyond Hallucinations: Enhancing LVLMs through Hallucination-Aware Direct Preference Optimization

要約

マルチモーダル大規模言語モデルは近年大幅な進歩を遂げていますが、依然として「幻覚問題」として知られる一般的な問題に悩まされています。この問題では、モデルが、関連する画像からコンテンツを不正確に描写したり完全に捏造したテキスト記述を生成したりします。
この論文では、幻覚問題を嗜好選択タスクとして再構成する、新しいソリューションである Hallucination-Aware Direct Preference Optimization (HA-DPO) を紹介します。
このモデルは、同じ画像の 2 つの応答 (1 つは正確で、もう 1 つは幻覚) が提示された場合に、非幻覚応答を優先するようにトレーニングされています。
さらに、この論文では、ポジティブ (非幻覚性) サンプルとネガティブ (幻覚性) サンプルのペアを構築するための効率的なパイプラインを提案し、堅牢な嗜好学習のための高品質でスタイルの一貫したデータセットを保証します。
HA-DPO を 3 つの主流のマルチモーダル モデルに適用すると、幻覚の問題が大幅に軽減され、モデルの一般化機能が強化されました。
特に、HA-DPO で強化された MiniGPT-4 モデルは大幅な改善を示しました。POPE 精度は 51.13% から 86.13% (絶対的な改善は 35%) に上昇し、MME スコアは 932.00 から 1326.46 (相対値) に急上昇しました。
42.32% の改善)。
コード、モデル、データセットには、https://opendatalab.github.io/HA-DPO からアクセスできます。

要約(オリジナル)

Multimodal large language models have made significant advancements in recent years, yet they still suffer from a common issue known as the ‘hallucination problem’, in which the models generate textual descriptions that inaccurately depict or entirely fabricate content from associated images. This paper introduces a novel solution, Hallucination-Aware Direct Preference Optimization (HA-DPO), which reframes the hallucination problem as a preference selection task. The model is trained to favor the non-hallucinating response when presented with two responses of the same image (one accurate and one hallucinatory). Furthermore, this paper proposes an efficient pipeline for constructing positive~(non-hallucinatory) and negative~(hallucinatory) sample pairs, ensuring a high-quality, style-consistent dataset for robust preference learning. When applied to three mainstream multimodal models, HA-DPO significantly reduced hallucination issues and amplified the models’ generalization capabilities. Notably, the MiniGPT-4 model, when enhanced with HA-DPO, demonstrated a substantial improvement: POPE accuracy rose from 51.13% to 86.13% (an absolute improvement of 35%), and the MME score surged from 932.00 to 1326.46 (a relative improvement of 42.32%). The codes, models, and datasets are made accessible at https://opendatalab.github.io/HA-DPO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google