Similarity-Aware Multimodal Prompt Learning for Fake News Detection

要約

タイトル：Fake News Detectionのための類似性意識型マルチモーダルプロンプト学習

要約：

– Fake News Detectionの標準的な方法では、真実性をモデル化するために主にテキスト情報を使用しています。
– しかしながら、オンラインの偽ニュースの論調はしばしば微妙であり、テキスト情報を使用して偽ニュースを論破するためには専門知識が必要です。
– 最近、マルチモーダルなフェイクニュース検出に焦点を当てた研究は、テキストのみの方法よりも優れた結果を出しています。
– この新しいパラダイムでは、プレトレーニングされたモデルを使用してユニモーダル特徴を抽出するアプローチ、またはプレトレーニングされたモデルを直接ファインチューニングするアプローチが行われています。
– しかしながら、このパラダイムは大量のトレーニング事例が必要であるか、すべてのプレトレーニングされたモデルのパラメータを更新する必要があり、実際のフェイクニュース検出には不適切です。
– さらに、従来のマルチモーダル方法では、相互に関連のない意味的表現がマルチモーダル特徴にノイズを注入することを考慮せずに、クロスモーダル特徴を直接融合していたことが問題とされます。
– この論文では、類似性意識型マルチモーダルプロンプト学習（SAMPLE）フレームワークを提案しています。
– まず、マルチモーダルなフェイクニュース検出にプロンプト学習を組み込んでいます。
– プロンプト学習は、凍結された言語モデルでプロンプトを調整するので、メモリ使用量を大幅に削減でき、ファインチューニングと比較して同等の性能を発揮することができます。具体的には、ソフトバーバライザを用いた３つのプロンプトテンプレートを分析して、偽ニュースを検出しています。
– さらに、相互に関連のないクロスモーダル特徴がマルチモーダル特徴にノイズを注入することを緩和するために、類似性意識型フュージング手法を導入し、マルチモーダル表現の強度を適応的に融合します。
– 評価により、SAMPLEは２つのベンチマークマルチモーダルデータセットのF1値および精度を超え、提案された方法がフェイクニュースの検出において有効であることを示しています。
– さらに、SAMPLEは少数のトレーニング例と多数のトレーニング例の両方を考慮しても、他のアプローチよりも優れています。

要約(オリジナル)

The standard paradigm for fake news detection mainly utilizes text information to model the truthfulness of news. However, the discourse of online fake news is typically subtle and it requires expert knowledge to use textual information to debunk fake news. Recently, studies focusing on multimodal fake news detection have outperformed text-only methods. Recent approaches utilizing the pre-trained model to extract unimodal features, or fine-tuning the pre-trained model directly, have become a new paradigm for detecting fake news. Again, this paradigm either requires a large number of training instances, or updates the entire set of pre-trained model parameters, making real-world fake news detection impractical. Furthermore, traditional multimodal methods fuse the cross-modal features directly without considering that the uncorrelated semantic representation might inject noise into the multimodal features. This paper proposes a Similarity-Aware Multimodal Prompt Learning (SAMPLE) framework. First, we incorporate prompt learning into multimodal fake news detection. Prompt learning, which only tunes prompts with a frozen language model, can reduce memory usage significantly and achieve comparable performances, compared with fine-tuning. We analyse three prompt templates with a soft verbalizer to detect fake news. In addition, we introduce the similarity-aware fusing method to adaptively fuse the intensity of multimodal representation and mitigate the noise injection via uncorrelated cross-modal features. For evaluation, SAMPLE surpasses the F1 and the accuracies of previous works on two benchmark multimodal datasets, demonstrating the effectiveness of the proposed method in detecting fake news. In addition, SAMPLE also is superior to other approaches regardless of few-shot and data-rich settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI