Learning Domain-Invariant Features for Out-of-Context News Detection

要約

文脈を無視したマルチモーダルなニュースは、オンライン メディア プラットフォームでよく見られるタイプの誤情報です。
これには、文脈を無視した無効なニュース画像とともにキャプションを投稿することが含まれます。
その重要性を反映して、研究者はそのような誤った情報を検出するモデルを開発しました。
ただし、これらのモデルに共通する制限は、各ドメインで事前にラベル付けされたデータが利用可能なシナリオのみを考慮しており、ラベルのないドメインでのコンテキストを逸脱したニュースの検出 (新しいトピックや代理店に関する未確認のニュースなど) に対処できないことです。
）。
したがって、この研究では、ドメイン適応型アウトオブコンテキスト ニュース検出に焦点を当てます。
検出モデルをラベルのないニューストピックやエージェンシーに効果的に適応させるために、コントラスト学習と最大平均不一致 (MMD) を適用してドメイン不変特徴を学習する ConDA-TTA (Contrastive Domain Adaptation with Test-Time Adaptation) を提案します。
さらに、テスト時にターゲット ドメインの統計を活用して、ドメインの適応をさらに支援します。
実験結果は、私たちのアプローチが 2 つの公開データセットの 7 つのドメイン適応設定のうち 5 つでベースラインを上回り、F1 で 2.93%、精度で 2.08% も優れていることを示しています。

要約(オリジナル)

Multimodal out-of-context news is a common type of misinformation on online media platforms. This involves posting a caption, alongside an invalid out-of-context news image. Reflecting its importance, researchers have developed models to detect such misinformation. However, a common limitation of these models is that they only consider the scenario where pre-labeled data is available for each domain, failing to address the out-of-context news detection on unlabeled domains (e.g., unverified news on new topics or agencies). In this work, we therefore focus on domain adaptive out-of-context news detection. In order to effectively adapt the detection model to unlabeled news topics or agencies, we propose ConDA-TTA (Contrastive Domain Adaptation with Test-Time Adaptation) which applies contrastive learning and maximum mean discrepancy (MMD) to learn the domain-invariant feature. In addition, it leverages target domain statistics during test-time to further assist domain adaptation. Experimental results show that our approach outperforms baselines in 5 out of 7 domain adaptation settings on two public datasets, by as much as 2.93% in F1 and 2.08% in accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google