Multi3Hate: Multimodal, Multilingual, and Multicultural Hate Speech Detection with Vision-Language Models

要約

警告: この文書には攻撃的または動揺する可能性のあるコンテンツが含まれています。グローバル プラットフォームにおけるヘイト スピーチのモデレーションは、コンテンツのマルチモーダルおよび多言語の性質に加え、文化的認識の変化により、独特の課題を引き起こします。
現在のビジョン言語モデル (VLM) は、これらの微妙な違いをどの程度うまく処理できるでしょうか?
これを調査するために、Multi3Hate と呼ばれる、多文化のアノテーター セットによってアノテーションが付けられた、初のマルチモーダルかつ多言語の並列ヘ​​イト スピーチ データセットを作成しました。
英語、ドイツ語、スペイン語、ヒンディー語、北京語の 5 つの言語にわたる 300 の並列ミーム サンプルが含まれています。
私たちは、文化的背景がデータセット内のマルチモーダル ヘイトスピーチ アノテーションに大きな影響を与えることを実証します。
各国間のペアごとの平均一致率はわずか 74% であり、ランダムに選択されたアノテーター グループの一致率よりも大幅に低くなります。
私たちの定性分析によると、ペアごとのラベルの一致率が最も低いのは、米国とインドの間でわずか 67% であり、文化的要因に起因する可能性があることが示されています。
次に、ゼロショット設定で 5 つの大きな VLM を使用した実験を行ったところ、ミームやプロンプトが他文化の主要な言語で表示されている場合でも、これらのモデルは他の文化の注釈よりも米国の注釈とより密接に一致することがわかりました。
。
コードとデータセットは https://github.com/MinhDucBui/Multi3Hate で入手できます。

要約(オリジナル)

Warning: this paper contains content that may be offensive or upsetting Hate speech moderation on global platforms poses unique challenges due to the multimodal and multilingual nature of content, along with the varying cultural perceptions. How well do current vision-language models (VLMs) navigate these nuances? To investigate this, we create the first multimodal and multilingual parallel hate speech dataset, annotated by a multicultural set of annotators, called Multi3Hate. It contains 300 parallel meme samples across 5 languages: English, German, Spanish, Hindi, and Mandarin. We demonstrate that cultural background significantly affects multimodal hate speech annotation in our dataset. The average pairwise agreement among countries is just 74%, significantly lower than that of randomly selected annotator groups. Our qualitative analysis indicates that the lowest pairwise label agreement-only 67% between the USA and India-can be attributed to cultural factors. We then conduct experiments with 5 large VLMs in a zero-shot setting, finding that these models align more closely with annotations from the US than with those from other cultures, even when the memes and prompts are presented in the dominant language of the other culture. Code and dataset are available at https://github.com/MinhDucBui/Multi3Hate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google