Beyond Hallucinations: Enhancing LVLMs through Hallucination-Aware Direct Preference Optimization

要約

マルチモーダル大規模言語モデルは近年大幅な進歩を遂げていますが、モデルが画像から不正確または存在しないコンテンツを含むテキスト記述を生成する「幻覚問題」として知られる一般的な問題に依然として悩まされています。
この問題に対処するために、この文書では、Hallucination-Aware Direct Preference Optimization (HA-DPO) という新しい戦略を紹介します。
私たちのアプローチでは、幻覚の問題を独自の嗜好選択問題として扱います。モデルは、同じ画像の 2 つの応答 (1 つは正確で、1 つは幻覚) が提示された場合に、非幻覚の応答を優先するようにトレーニングされます。
この論文では、安定した HA-DPO トレーニングのための高品質でスタイルの一貫したペアを確保するための幻覚サンプル ペアを構築するための効率的なプロセスも紹介します。
この戦略を 2 つの主流のマルチモーダル モデルに適用したところ、幻覚問題が大幅に軽減され、モデルの一般化機能が強化されたことが結果からわかりました。
HA-DPO を使用すると、MiniGPT-4 モデルは大幅な進歩を示します。POPE 精度は 51.13% から 85.66% に増加し (34.5% 絶対改善)、MME スコアは 968.58 から 1365.76 (41% 相対改善) に増加しました。
コード、モデル、データセットは一般に公開されます。

要約(オリジナル)

Multimodal large language models have made significant advancements in recent years, yet they still suffer from a common issue known as the ‘hallucination problem’ where the models generate textual descriptions that contain inaccurate or non-existent content from the image. To address this issue, this paper introduces a novel strategy: Hallucination-Aware Direct Preference Optimization (HA-DPO). Our approach treats the hallucination problem as a unique preference selection issue, where the model is trained to favor the non-hallucinating response when presented with two responses of the same image (one accurate and one hallucinating). This paper also presents an efficient process for constructing hallucination sample pairs to ensure high-quality, style-consistent pairs for stable HA-DPO training. We applied this strategy to two mainstream multimodal models, and the results showed a significant reduction in the hallucination problem and an enhancement in the models’ generalization capabilities. With HA-DPO, the MiniGPT-4 model demonstrates significant advancements: POPE accuracy increases from 51.13% to 85.66% (34.5% absolute improvement), and the MME score escalates from 968.58 to 1365.76 (41% relative improvement). The code, models, and datasets will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google