VGA: Vision and Graph Fused Attention Network for Rumor Detection

要約

ソーシャルメディアの発達に伴い、噂はソーシャルメディア上で広く拡散され、社会に大きな被害をもたらしている。テキスト情報だけでなく、多くの噂は操作された画像を使用したり、画像内にテキスト情報を隠したりして人々を欺き、検出されないようにしているため、マルチモーダル噂検出は重要な問題である。マルチモーダル風評検出手法の大半は、主に情報源の主張とそれに対応する画像の特徴を抽出することに集中しており、風評のコメントやその伝播構造は無視されている。これらのコメントや構造は群衆の知恵を意味し、噂を論破するために極めて重要であることが証明されている。さらに、これらの手法は通常、基本的な方法で視覚的特徴を抽出するだけであり、画像の改ざんやテキスト情報を考慮することはほとんどない。そこで本研究では、噂検出のための新しいVision and Graph Fused Attention Network (VGA)を提案し、投稿間の伝播構造を利用することで、群衆の意見を取得し、さらに視覚的改ざん特徴や画像に隠されたテキスト情報を探索する。我々は3つのデータセットで広範な実験を行い、VGAがマルチモーダルな噂を効果的に検出でき、最先端の手法を大幅に上回ることを実証する。

要約(オリジナル)

With the development of social media, rumors have been spread broadly on social media platforms, causing great harm to society. Beside textual information, many rumors also use manipulated images or conceal textual information within images to deceive people and avoid being detected, making multimodal rumor detection be a critical problem. The majority of multimodal rumor detection methods mainly concentrate on extracting features of source claims and their corresponding images, while ignoring the comments of rumors and their propagation structures. These comments and structures imply the wisdom of crowds and are proved to be crucial to debunk rumors. Moreover, these methods usually only extract visual features in a basic manner, seldom consider tampering or textual information in images. Therefore, in this study, we propose a novel Vision and Graph Fused Attention Network (VGA) for rumor detection to utilize propagation structures among posts so as to obtain the crowd opinions and further explore visual tampering features, as well as the textual information hidden in images. We conduct extensive experiments on three datasets, demonstrating that VGA can effectively detect multimodal rumors and outperform state-of-the-art methods significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL