Multi-Modal Discussion Transformer: Integrating Text, Images and Graph Transformers to Detect Hate Speech on Social Media

要約

Reddit ディスカッションなどのオンライン ソーシャル ネットワークでヘイトスピーチを検出する新しい方法であるマルチモーダル ディスカッション トランスフォーマー (mDT) を紹介します。
従来のコメントのみの方法とは対照的に、コメントをヘイトスピーチとしてラベル付けするための私たちのアプローチには、ディスカッションの文脈に基づいたテキストと画像の総合的な分析が含まれます。
これは、グラフ トランスフォーマーを活用して、コメントを囲むディスカッション内の文脈上の関係をキャプチャし、モダリティを個別に処理するのではなく、テキストと画像の埋め込みを組み合わせる織り交ぜられたフュージョン レイヤーを基盤にすることによって行われます。
私たちの取り組みを評価するために、Reddit 上の複数のオンライン コミュニティからの完全なマルチモーダル ディスカッションで構成される新しいデータセット HatefulDiscussions を紹介します。
私たちはモデルのパフォーマンスを、個々のコメントのみを処理し、広範なアブレーション研究を実施するベースラインと比較します。

要約(オリジナル)

We present the Multi-Modal Discussion Transformer (mDT), a novel methodfor detecting hate speech in online social networks such as Reddit discussions. In contrast to traditional comment-only methods, our approach to labelling a comment as hate speech involves a holistic analysis of text and images grounded in the discussion context. This is done by leveraging graph transformers to capture the contextual relationships in the discussion surrounding a comment and grounding the interwoven fusion layers that combine text and image embeddings instead of processing modalities separately. To evaluate our work, we present a new dataset, HatefulDiscussions, comprising complete multi-modal discussions from multiple online communities on Reddit. We compare the performance of our model to baselines that only process individual comments and conduct extensive ablation studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google