Exploring Saliency Bias in Manipulation Detection

要約

改ざんされた画像によってサポートされている偽のニュースと誤った情報のソーシャルメディアを燃料とする爆発は、画像操作検出のためのモデルとデータセットの開発の成長につながりました。
ただし、既存の検出方法は、視聴者の知覚に対する特定の操作の影響を考慮せずに、主にメディアオブジェクトを単独で扱います。
法医学データセットは通常、操作操作と対応するピクセルベースのマスクに基づいて分析されますが、操作のセマンティクス、つまりシーン、オブジェクト、シーンコンテンツへの視聴者の注意の種類には分析されません。
操作の意味論は、操作された画像を通して誤った情報を広める上で重要な役割を果たします。
視覚的な誤った情報を理解するためのセマンティックに対応する法医学的アプローチのさらなる開発を奨励するために、人気のある画像操作データセットにおける視覚的および意味的顕著性の傾向と検出への影響を分析するためのフレームワークを提案します。

要約(オリジナル)

The social media-fuelled explosion of fake news and misinformation supported by tampered images has led to growth in the development of models and datasets for image manipulation detection. However, existing detection methods mostly treat media objects in isolation, without considering the impact of specific manipulations on viewer perception. Forensic datasets are usually analyzed based on the manipulation operations and corresponding pixel-based masks, but not on the semantics of the manipulation, i.e., type of scene, objects, and viewers’ attention to scene content. The semantics of the manipulation play an important role in spreading misinformation through manipulated images. In an attempt to encourage further development of semantic-aware forensic approaches to understand visual misinformation, we propose a framework to analyze the trends of visual and semantic saliency in popular image manipulation datasets and their impact on detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google