Multi-Modal Discussion Transformer: Integrating Text, Images and Graph Transformers to Detect Hate Speech on Social Media

要約

Reddit ディスカッションなどのオンライン ソーシャル ネットワークにおけるヘイトスピーチを検出するための新しいマルチモーダル グラフベースのトランスフォーマー モデルであるマルチモーダル ディスカッション トランスフォーマー (mDT) を紹介します。
従来のコメントのみの方法とは対照的に、コメントをヘイトスピーチとしてラベル付けするための私たちのアプローチには、ディスカッションの文脈に基づいたテキストと画像の総合的な分析が含まれます。
これは、グラフ トランスフォーマーを活用して、コメントを取り巻くディスカッション全体の文脈上の関係をキャプチャし、モダリティを個別に処理するのではなく、個々のコメントのテキストと画像の埋め込みを結合する織り交ぜられたフュージョン レイヤーを基盤とすることによって行われます。
私たちはモデルのパフォーマンスを、個々のコメントのみを処理し、広範なアブレーション研究を実施するベースラインと比較します。
私たちの取り組みを評価するために、Reddit 上の複数のオンライン コミュニティからの完全なマルチモーダル ディスカッションで構成される新しいデータセット HatefulDiscussions を紹介します。
最後に、オンラインのコンテキストで社会的価値を提供するためのマルチモーダル ソリューションの今後の取り組みについて結論付け、会話の全体像を把握することで反社会的行為を検出する取り組みが大幅に前進すると主張します。

要約(オリジナル)

We present the Multi-Modal Discussion Transformer (mDT), a novel multi-modal graph-based transformer model for detecting hate speech in online social networks, such as Reddit discussions. In contrast to traditional comment-only methods, our approach to labelling a comment as hate speech involves a holistic analysis of text and images grounded in the discussion context. This is done by leveraging graph transformers to capture the contextual relationships in the entire discussion surrounding a comment and grounding the interwoven fusion layers that combine individual comments’ text and image embeddings instead of processing modalities separately. We compare the performance of our model to baselines that only process individual comments and conduct extensive ablation studies. To evaluate our work, we present a new dataset, HatefulDiscussions, comprising complete multi-modal discussions from multiple online communities on Reddit. We conclude with future work for multimodal solutions to deliver social value in online contexts, arguing that capturing a holistic view of a conversation significantly advances the effort to detect anti-social behaviour.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google