Interpretable Multimodal Misinformation Detection with Logic Reasoning

要約

タイトル：論理推論による解釈可能なマルチモーダル偽情報検出

要約：

– オンラインソーシャルプラットフォーム上でのマルチモーダル偽情報は、従来のテキスト情報と比較して信憑性が高く、伝達が容易であるため、重大な懸念となっている。
– 既存のマルチモーダル検出手法は高い性能を発揮しているが、解釈可能性の欠如がシステムの信頼性と実用性を妨げている。
– NeuralSymbolic AIから着想を得て、解釈可能な論理節によってターゲットタスクの推論プロセスを表現する新しい論理ベースのニューラルモデルを提案する。
– 学習を効果的にするために、ニューラル表現を使用して象徴的論理要素をパラメータ化し、意味のある論理節の自動生成と評価を容易にする。
– さらに、私たちのフレームワークを様々な偽情報ソースに対応可能とするために、5つのメタ述語を導入することを提案する。
– Twitter、Weibo、Sarcasmの3つのパブリックデータセットでの結果は、私たちのモデルの実現可能性と汎用性を示している。

要約(オリジナル)

Multimodal misinformation on online social platforms is becoming a critical concern due to increasing credibility and easier dissemination brought by multimedia content, compared to traditional text-only information. While existing multimodal detection approaches have achieved high performance, the lack of interpretability hinders these systems’ reliability and practical deployment. Inspired by NeuralSymbolic AI which combines the learning ability of neural networks with the explainability of symbolic learning, we propose a novel logic-based neural model for multimodal misinformation detection which integrates interpretable logic clauses to express the reasoning process of the target task. To make learning effective, we parameterize symbolic logical elements using neural representations, which facilitate the automatic generation and evaluation of meaningful logic clauses. Additionally, to make our framework generalizable across diverse misinformation sources, we introduce five meta-predicates that can be instantiated with different correlations. Results on three public datasets (Twitter, Weibo, and Sarcasm) demonstrate the feasibility and versatility of our model.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI