Multimodal Short Video Rumor Detection System Based on Contrastive Learning

要約

タイトル：対比学習に基づく多様なモーダルの短い動画の噂検知システム
要約：
– 短い動画プラットフォームがニュース共有の重要なチャネルの1つになるにつれて、中国の主要な短い動画プラットフォームは偽ニュースの新しい温床になっています。
– しかし、短い動画に含まれる情報や特徴が多すぎるため、また、ビデオ間の類似性が高いため、短いビデオの噂を区別するのは簡単ではありません。
– 多様なモーダルの特徴融合を構築し、各アルゴリズムの利点と欠点を考慮した上で外部知識を導入することにより、短いビデオ噂を検出することにしました。
– 検出のアイデアは以下の通りです。
1. データセットの作成：複数の特徴を備えた短いビデオのデータセットを構築する。
2. 多様なモーダルの噂検知モデル：まず、TSN（Temporal Segment Networks）ビデオコーディングモデルを使用してビデオの特徴を抽出し、その後、OCR（Optical Character Recognition）およびASR（Automatic Speech Recognition）を使用してテキスト特徴を抽出します。
3. 最後に、対比学習を使用して区別を実現します。
– 研究プロセスは常に実用的なニーズに焦点を当てており、関連する知識結果は短いビデオ噂の識別や社会的意見の管理など、多くの実用的なシナリオで重要な役割を果たします。

要約(オリジナル)

With short video platforms becoming one of the important channels for news sharing, major short video platforms in China have gradually become new breeding grounds for fake news. However, it is not easy to distinguish short video rumors due to the great amount of information and features contained in short videos, as well as the serious homogenization and similarity of features among videos. In order to mitigate the spread of short video rumors, our group decides to detect short video rumors by constructing multimodal feature fusion and introducing external knowledge after considering the advantages and disadvantages of each algorithm. The ideas of detection are as follows: (1) dataset creation: to build a short video dataset with multiple features; (2) multimodal rumor detection model: firstly, we use TSN (Temporal Segment Networks) video coding model to extract video features; then, we use OCR (Optical Character Recognition) and ASR (Automatic Character Recognition) to extract video features. Recognition) and ASR (Automatic Speech Recognition) fusion to extract text, and then use the BERT model to fuse text features with video features (3) Finally, use contrast learning to achieve distinction: first crawl external knowledge, then use the vector database to achieve the introduction of external knowledge and the final structure of the classification output. Our research process is always oriented to practical needs, and the related knowledge results will play an important role in many practical scenarios such as short video rumor identification and social opinion control.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI