ARC-NLP at Multimodal Hate Speech Event Detection 2023: Multimodal Methods Boosted by Ensemble Learning, Syntactical and Entity Features

要約

テキストが埋め込まれた画像は、ヘイトスピーチ、プロパガンダ、過激派の信念を広める手段として機能する可能性があります。
ロシア・ウクライナ戦争を通じて、対立する両派はプロパガンダやヘイトスピーチを広める手段としてテキストが埋め込まれた画像に大きく依存していた。
ヘイトスピーチやプロパガンダを効果的に検出することは、ヘイトスピーチの蔓延による悪影響を軽減するために最も重要です。
このペーパーでは、マルチモーダル ヘイト スピーチ イベント検出 2023 の 2 つのサブタスクの方法論の概要を説明します。最初のサブタスクであるヘイト スピーチ検出では、アンサンブル学習と構文テキスト属性によって強化されたマルチモーダル ディープ ラーニング モデルを利用します。
2 番目のサブタスクであるターゲット検出では、名前付きエンティティの特徴によって強化されたマルチモーダル深層学習モデルを採用します。
実験を通じて、マルチモーダルなヘイトスピーチ検出で使用されるすべてのテキスト、ビジュアル、およびテキストとビジュアルのベースラインと比較して、モデルのパフォーマンスが優れていることを実証しました。
さらに、私たちのモデルは、共有タスクの最終リーダーボードの両方のサブタスクで 1 位を獲得しました。

要約(オリジナル)

Text-embedded images can serve as a means of spreading hate speech, propaganda, and extremist beliefs. Throughout the Russia-Ukraine war, both opposing factions heavily relied on text-embedded images as a vehicle for spreading propaganda and hate speech. Ensuring the effective detection of hate speech and propaganda is of utmost importance to mitigate the negative effect of hate speech dissemination. In this paper, we outline our methodologies for two subtasks of Multimodal Hate Speech Event Detection 2023. For the first subtask, hate speech detection, we utilize multimodal deep learning models boosted by ensemble learning and syntactical text attributes. For the second subtask, target detection, we employ multimodal deep learning models boosted by named entity features. Through experimentation, we demonstrate the superior performance of our models compared to all textual, visual, and text-visual baselines employed in multimodal hate speech detection. Furthermore, our models achieve the first place in both subtasks on the final leaderboard of the shared task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google