Detecting Out-of-Context Multimodal Misinformation with interpretable neural-symbolic model

要約

タイトル: 記号的ニューラルモデルによる文脈外マルチモーダル・ミスインフォメーションの検出

要約:
– 近年、大衆意見操作を狙った誤情報が持続的に進化している。
– 伝統的な噂やフェイクニュースエディターは、主に生成された画像、テキスト、動画に頼っていたが、現在の誤情報創作者は、アウトオブコンテキストのマルチメディアコンテンツ（例：不一致の画像とキャプション）を使う傾向がある。
– この新しいタイプの誤情報は、検出だけでなく、説明の困難さも増加させ、それぞれのモダリティは真の情報に十分近いためです。
– この課題に対処するため、本論文では、文脈外のクロスモーダル逆転検知を実現する方法を探求し、ミスマッチペアとクロスモーダル矛盾を同時に識別することで、事実検証ウェブサイトが説明をまとめるのに役立つようにしました。
– 提案されたモデルは、最初にテキストモダリティ情報を、キャプションの抽象的な意味表現に基づいて事実クエリの集合に記号的に分解し、その後、事前学習された大規模ビジョン言語モデルにクエリ-画像ペアを送信して、ミスインフォメーションを検出するために役立つ「証拠」を選択します。
– 大規模な実験により、提案手法は、このタスクの最新モデルと同じ精度を維持しながら、より解釈可能な予測を提供できることが示された。

要約(オリジナル)

Recent years have witnessed the sustained evolution of misinformation that aims at manipulating public opinions. Unlike traditional rumors or fake news editors who mainly rely on generated and/or counterfeited images, text and videos, current misinformation creators now more tend to use out-of-context multimedia contents (e.g. mismatched images and captions) to deceive the public and fake news detection systems. This new type of misinformation increases the difficulty of not only detection but also clarification, because every individual modality is close enough to true information. To address this challenge, in this paper we explore how to achieve interpretable cross-modal de-contextualization detection that simultaneously identifies the mismatched pairs and the cross-modal contradictions, which is helpful for fact-check websites to document clarifications. The proposed model first symbolically disassembles the text-modality information to a set of fact queries based on the Abstract Meaning Representation of the caption and then forwards the query-image pairs into a pre-trained large vision-language model select the “evidences’ that are helpful for us to detect misinformation. Extensive experiments indicate that the proposed methodology can provide us with much more interpretable predictions while maintaining the accuracy same as the state-of-the-art model on this task.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI