INO at Factify 2: Structure Coherence based Multi-Modal Fact Verification

要約

本稿では、AAAI2023のマルチモーダル事実検証（FACTIFY）チャレンジに対する我々のアプローチについて述べる。近年、ソーシャルメディアの普及に伴い、フェイクニュースが急速に広まり、社会保障に悪影響を及ぼすことがあります。フェイクニュースに対抗するために、自動クレーム検証がますます重要になります。複数のモーダルデータを含む事実検証では、クレームと文書の間に構造的な一貫性がある必要がある。そこで我々は、フェイクニュースを分類するために、構造コヒーレンスに基づくマルチモーダル事実検証方式を提案した。構造コヒーレンスは、文長、語彙類似度、意味類似度、画像類似度の4つの側面から構成される。具体的には、CLIPとSentence BERTを組み合わせてテキスト特徴を抽出し、ResNet50を使用して画像特徴を抽出する。さらに、テキストの長さだけでなく、語彙の類似度も抽出する。そして、これらの特徴を連結し、ランダムフォレスト分類器を通した。最終的に、加重平均F1スコアは0.8079となり、FACTIFY2において2位を獲得しました。

要約(オリジナル)

This paper describes our approach to the multi-modal fact verification (FACTIFY) challenge at AAAI2023. In recent years, with the widespread use of social media, fake news can spread rapidly and negatively impact social security. Automatic claim verification becomes more and more crucial to combat fake news. In fact verification involving multiple modal data, there should be a structural coherence between claim and document. Therefore, we proposed a structure coherence-based multi-modal fact verification scheme to classify fake news. Our structure coherence includes the following four aspects: sentence length, vocabulary similarity, semantic similarity, and image similarity. Specifically, CLIP and Sentence BERT are combined to extract text features, and ResNet50 is used to extract image features. In addition, we also extract the length of the text as well as the lexical similarity. Then the features were concatenated and passed through the random forest classifier. Finally, our weighted average F1 score has reached 0.8079, achieving 2nd place in FACTIFY2.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL