Multimodal Short Video Rumor Detection System Based on Contrastive Learning

要約

タイトル：コントラスティブ学習に基づく多様な短いビデオのデマ検出システム
要約：
– 短いビデオプラットフォームが重要なニュース共有チャンネルの1つとなったことで、中国の主要な短いビデオプラットフォームは偽ニュースの新しい温床になっています。
– 短いビデオには多くの情報や特徴が含まれており、ビデオ間の類似性が深刻であるため、短いビデオのデマを識別することは簡単ではありません。
– マルチモーダル特徴融合の構築と各アルゴリズムの利点と欠点を考慮した上で、外部知識を導入して短いビデオデマを検出することで、短いビデオデマの拡散を軽減することが目的です。
– 検出のアイデアは以下の通りです：
1. データセット作成：複数の特徴を持つ短いビデオデータセットを構築する。
2. マルチモーダルデマ検出モデル：まず、TSN（Temporal Segment Networks）ビデオコーディングモデルを使用してビデオ特徴を抽出します。次に、OCR（Optical Character Recognition）とASR（Automatic Speech Recognition）を使用してテキスト特徴を抽出します。そして、BERTモデルを使用してテキスト特徴とビデオ特徴を統合します。
3. 最後に、コントラスト学習を使用して区別を実現します：まず、外部知識をクロールし、ベクトルデータベースを使用して外部知識の導入と分類出力の最終構造を実現します。
– 私たちの研究プロセスは常に実践的なニーズに向けられており、関連する知識の結果は、短いビデオデマの識別や社会的な意見のコントロールなど、多くの実践的なシナリオに重要な役割を果たします。

要約(オリジナル)

With short video platforms becoming one of the important channels for news sharing, major short video platforms in China have gradually become new breeding grounds for fake news. However, it is not easy to distinguish short video rumors due to the great amount of information and features contained in short videos, as well as the serious homogenization and similarity of features among videos. In order to mitigate the spread of short video rumors, our group decides to detect short video rumors by constructing multimodal feature fusion and introducing external knowledge after considering the advantages and disadvantages of each algorithm. The ideas of detection are as follows: (1) dataset creation: to build a short video dataset with multiple features; (2) multimodal rumor detection model: firstly, we use TSN (Temporal Segment Networks) video coding model to extract video features; then, we use OCR (Optical Character Recognition) and ASR (Automatic Character Recognition) to extract video features. Recognition) and ASR (Automatic Speech Recognition) fusion to extract text, and then use the BERT model to fuse text features with video features (3) Finally, use contrast learning to achieve distinction: first crawl external knowledge, then use the vector database to achieve the introduction of external knowledge and the final structure of the classification output. Our research process is always oriented to practical needs, and the related knowledge results will play an important role in many practical scenarios such as short video rumor identification and social opinion control.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI