Fraunhofer SIT at CheckThat! 2023: Mixing Single-Modal Classifiers to Estimate the Check-Worthiness of Multi-Modal Tweets

要約

ソーシャル メディアで画像、ビデオ、音声ファイルを共有するというオプションは、インターネット上の虚偽の情報とフェイク ニュースを区別するための新たな可能性をもたらします。
ソーシャルメディアでは毎秒膨大な量のデータが共有されるため、すべてのデータをコンピューターや人間の専門家が検証できるわけではありません。
ここで、チェック適性分析は、ファクトチェック パイプラインの最初のステップとして、また効率を向上させるためのフィルタリング メカニズムとして使用できます。
この論文は、マルチモーダルツイートのチェック価値を検出する新しい方法を提案します。
これは、それぞれが単一のモダリティでトレーニングされた 2 つの分類器を利用します。
画像データの場合、OCR 分析を使用して埋め込みテキストを抽出することが最も効果的であることがわかっています。
2 つの分類子を組み合わせることで、提案されたソリューションは CheckThat! で 1 位になることができました。
2023 年のタスク 1A は、プライベート テスト セットで F1 スコア 0.7297 を達成しました。

要約(オリジナル)

The option of sharing images, videos and audio files on social media opens up new possibilities for distinguishing between false information and fake news on the Internet. Due to the vast amount of data shared every second on social media, not all data can be verified by a computer or a human expert. Here, a check-worthiness analysis can be used as a first step in the fact-checking pipeline and as a filtering mechanism to improve efficiency. This paper proposes a novel way of detecting the check-worthiness in multi-modal tweets. It takes advantage of two classifiers, each trained on a single modality. For image data, extracting the embedded text with an OCR analysis has shown to perform best. By combining the two classifiers, the proposed solution was able to place first in the CheckThat! 2023 Task 1A with an F1 score of 0.7297 achieved on the private test set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google