Mitigating Dialogue Hallucination for Large Multi-modal Models via Adversarial Instruction Tuning

要約

大規模マルチモーダル モデル (LMM) の幻覚を軽減することは、汎用アシスタントの信頼性を高めるために重要です。
この論文は、LMM のこのような幻覚が、先行するユーザーシステム対話によって大幅に悪化する可能性があることを示しています。
これを正確に測定するために、まず、新しい Adversarial Question Generator によって生成された幻覚対話を先頭に付けて一般的なマルチモーダル ベンチマーク データセットを拡張することによって評価ベンチマークを提示します。この Generator は、LMM に対する敵対的攻撃を採用することで、画像関連でありながら敵対的対話を自動的に生成できます。
私たちのベンチマークでは、最先端の LMM のゼロショット パフォーマンスは、VQA タスクとキャプション タスクの両方で大幅に低下しました。
次に、この幻覚が主に視覚的な内容ではなく、先行する対話に対する予測バイアスによるものであることをさらに明らかにします。
このバイアスを軽減するために、幻覚対話を伴う拡張されたマルチモーダル命令追従データセット上で LMM を堅牢に微調整する敵対的命令チューニングを提案します。
広範な実験により、私たちが提案したアプローチが、パフォーマンスを維持または向上させながら、対話幻覚を軽減することに成功したことが示されています。

要約(オリジナル)

Mitigating hallucinations of Large Multi-modal Models(LMMs) is crucial to enhance their reliability for general-purpose assistants. This paper shows that such hallucinations of LMMs can be significantly exacerbated by preceding user-system dialogues. To precisely measure this, we first present an evaluation benchmark by extending popular multi-modal benchmark datasets with prepended hallucinatory dialogues generated by our novel Adversarial Question Generator, which can automatically generate image-related yet adversarial dialogues by adopting adversarial attacks on LMMs. On our benchmark, the zero-shot performance of state-of-the-art LMMs dropped significantly for both the VQA and Captioning tasks. Next, we further reveal this hallucination is mainly due to the prediction bias toward preceding dialogues rather than visual content. To reduce this bias, we propose Adversarial Instruction Tuning that robustly fine-tunes LMMs on augmented multi-modal instruction-following datasets with hallucinatory dialogues. Extensive experiments show that our proposed approach successfully reduces dialogue hallucination while maintaining or even improving performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google