Multimodal Misinformation Detection in a South African Social Media Environment

要約

ソーシャル メディア ネットワーク上で誤った情報が絶えず拡散しているため、デジタル コンテンツの真実性を継続的に評価する必要性が生じています。
このニーズにより、誤情報検出 (MD) モデルの開発に関する多くの研究活動が行われてきました。
しかし、多くのモデルは利用可能なすべての情報を使用しているわけではなく、既存の研究には、特に南アフリカのソーシャルメディア環境内でモデルをトレーニングするための関連データセットが不足しています。
この論文の目的は、異なるコンテキスト環境間での MD モデルの知識の伝達可能性を調査することです。
この研究は、南アフリカのソーシャルメディア環境で機能できるマルチモーダル MD モデルに貢献するとともに、南アフリカの誤情報データセットを導入します。
このモデルは、誤った情報を検出するために複数の情報源、つまりテキスト要素と視覚的要素を利用します。
トランスフォーマー (BERT) からの双方向エンコーダー表現をテキスト エンコーダーとして使用し、残差ネットワーク (ResNet) をビジュアル エンコーダーとして使用します。
このモデルは、Fakeddit データセットと南アフリカの誤情報データセットでトレーニングおよび評価されます。
結果は、モデルのトレーニングに南アフリカのサンプルを使用すると、南アフリカのコンテキスト環境でモデルのパフォーマンスが向上すること、およびマルチモーダル モデルがテキストおよびビジュアルの両方のユニモーダル モデルよりも大幅に多くの知識を保持することを示しています。
私たちの研究は、誤情報検出モデルのパフォーマンスがその動作環境の文化的ニュアンスに影響され、マルチモーダル モデルが異なるコンテキスト環境間での知識の伝達を支援することを示唆しています。
したがって、モデルのパフォーマンスを最適化するには、ローカル データを誤情報検出モデルのトレーニング プロセスに組み込む必要があります。

要約(オリジナル)

With the constant spread of misinformation on social media networks, a need has arisen to continuously assess the veracity of digital content. This need has inspired numerous research efforts on the development of misinformation detection (MD) models. However, many models do not use all information available to them and existing research contains a lack of relevant datasets to train the models, specifically within the South African social media environment. The aim of this paper is to investigate the transferability of knowledge of a MD model between different contextual environments. This research contributes a multimodal MD model capable of functioning in the South African social media environment, as well as introduces a South African misinformation dataset. The model makes use of multiple sources of information for misinformation detection, namely: textual and visual elements. It uses bidirectional encoder representations from transformers (BERT) as the textual encoder and a residual network (ResNet) as the visual encoder. The model is trained and evaluated on the Fakeddit dataset and a South African misinformation dataset. Results show that using South African samples in the training of the model increases model performance, in a South African contextual environment, and that a multimodal model retains significantly more knowledge than both the textual and visual unimodal models. Our study suggests that the performance of a misinformation detection model is influenced by the cultural nuances of its operating environment and multimodal models assist in the transferability of knowledge between different contextual environments. Therefore, local data should be incorporated into the training process of a misinformation detection model in order to optimize model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google