I’ll believe it when I see it: Images increase misinformation sharing in Vision-Language Models

要約

大規模な言語モデルは、ニュース推奨システムにますます統合されており、誤った情報の広がりにおける役割についての懸念を引き起こしています。
人間では、視覚的な内容は情報の信頼性と共有性を高めることが知られていますが、視覚言語モデル（VLM）への影響は不明のままです。
画像がニュースコンテンツを再配ッシするVLMの傾向にどのように影響するか、この効果がモデルファミリによって異なるかどうか、およびペルソナコンディショニングとコンテンツ属性がこの動作をどのように変調するかを調べる最初の研究を提示します。
この分析をサポートするために、2つの方法論的貢献を紹介します。VLMSからの再配ッシの決定を誘発しながら、反社会的特性と政治的整合性を備えたユーザーをシミュレートする脱獄にインスパイアされたプロンプト戦略。
そして、対応する画像と根本的な真実性ラベルと組み合わせた、政治的な事実確認された政治ニュースのマルチモーダルデータセット。
モデルファミリ全体の実験により、画像の存在は、真のニュースでは4.8％、誤ったニュースで15.0％増加することが明らかになりました。
ペルソナコンディショニングはこの効果をさらに調節します。ダークトライアド特性は、誤ったニュースの再シャアリングを増幅しますが、共和党員のプロファイルは真実性の感度の低下を示します。
すべてのテストされたモデルのうち、Claude-3-Haikuのみが視覚的誤った情報に対する堅牢性を示しています。
これらの調査結果は、マルチモーダルモデルの動作における新たなリスクを強調し、パーソナライズされたAIシステムのカスタマイズされた評価フレームワークと緩和戦略の開発を動機付けます。
コードとデータセットは、https：//github.com/3lis/misinfo_vlmで入手できます

要約(オリジナル)

Large language models are increasingly integrated into news recommendation systems, raising concerns about their role in spreading misinformation. In humans, visual content is known to boost credibility and shareability of information, yet its effect on vision-language models (VLMs) remains unclear. We present the first study examining how images influence VLMs’ propensity to reshare news content, whether this effect varies across model families, and how persona conditioning and content attributes modulate this behavior. To support this analysis, we introduce two methodological contributions: a jailbreaking-inspired prompting strategy that elicits resharing decisions from VLMs while simulating users with antisocial traits and political alignments; and a multimodal dataset of fact-checked political news from PolitiFact, paired with corresponding images and ground-truth veracity labels. Experiments across model families reveal that image presence increases resharing rates by 4.8% for true news and 15.0% for false news. Persona conditioning further modulates this effect: Dark Triad traits amplify resharing of false news, whereas Republican-aligned profiles exhibit reduced veracity sensitivity. Of all the tested models, only Claude-3-Haiku demonstrates robustness to visual misinformation. These findings highlight emerging risks in multimodal model behavior and motivate the development of tailored evaluation frameworks and mitigation strategies for personalized AI systems. Code and dataset are available at: https://github.com/3lis/misinfo_vlm

arxiv情報

提供元, 利用サービス

arxiv.jp, Google