Similarity-Aware Multimodal Prompt Learning for Fake News Detection

要約

タイトル：偽情報検出のための類似度に敏感なマルチモーダルプロンプト学習
要約：

– 偽情報の検出には、通常、テキスト情報を使用して信憑性をモデル化するという標準的なパラダイムが存在する。
– しかし、オンラインの偽情報の議論は微妙であり、テキスト情報だけでは偽情報を精度よく特定することは困難である。
– 最近の研究では、マルチモーダルな偽情報検出に焦点を当てたものが、テキスト情報だけを使用した手法よりも優れた結果を示している。
– このパラダイムは、事前学習されたモデルを使用してユニモーダルな特徴を抽出する、または事前学習されたモデルを直接ファインチューニングする方法を採用している。
– しかしながら、このパラダイムには、大量のトレーニングインスタンスが必要な場合があるか、または全ての事前学習モデルのパラメータを更新する必要があるため、現実的な偽情報の検出には適用しづらい。
– さらに、従来のマルチモーダルな手法は、相互に関係のない意味表現がマルチモーダルな特徴にノイズを与えることなく、クロスモーダルな特徴を直接融合する。
– 本論文では、類似度に敏感なマルチモーダルプロンプト学習（SAMPLE）フレームワークを提案する。
– 具体的には、マルチモーダルな偽情報検出にプロンプト学習を導入することを提案している。プロンプト学習は、凍結された言語モデルを使ってプロンプトのみを調整することで、メモリ使用量を大幅に削減し、ファインチューニングと同等の性能を実現できる。
– また、類似度に敏感な融合方法を導入し、相互に関係のないクロスモーダルな特徴がマルチモーダルな特徴にノイズを与えないようにする。
– 評価により、SAMPLEは2つのベンチマークマルチモーダルデータセットのF1スコアと正確度を上回り、提案手法の偽情報検出の有効性を示している。
– さらに、少量と多量のデータの場合でも、SAMPLEは他の手法よりも優れている。

要約(オリジナル)

The standard paradigm for fake news detection mainly utilizes text information to model the truthfulness of news. However, the discourse of online fake news is typically subtle and it requires expert knowledge to use textual information to debunk fake news. Recently, studies focusing on multimodal fake news detection have outperformed text-only methods. Recent approaches utilizing the pre-trained model to extract unimodal features, or fine-tuning the pre-trained model directly, have become a new paradigm for detecting fake news. Again, this paradigm either requires a large number of training instances, or updates the entire set of pre-trained model parameters, making real-world fake news detection impractical. Furthermore, traditional multimodal methods fuse the cross-modal features directly without considering that the uncorrelated semantic representation might inject noise into the multimodal features. This paper proposes a Similarity-Aware Multimodal Prompt Learning (SAMPLE) framework. First, we incorporate prompt learning into multimodal fake news detection. Prompt learning, which only tunes prompts with a frozen language model, can reduce memory usage significantly and achieve comparable performances, compared with fine-tuning. We analyse three prompt templates with a soft verbalizer to detect fake news. In addition, we introduce the similarity-aware fusing method to adaptively fuse the intensity of multimodal representation and mitigate the noise injection via uncorrelated cross-modal features. For evaluation, SAMPLE surpasses the F1 and the accuracies of previous works on two benchmark multimodal datasets, demonstrating the effectiveness of the proposed method in detecting fake news. In addition, SAMPLE also is superior to other approaches regardless of few-shot and data-rich settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI