A Survey of Machine Learning Models and Datasets for the Multi-label Classification of Textual Hate Speech in English

要約

オンラインヘイトスピーチの普及は、個人、オンラインコミュニティ、および社会全体に深刻な否定的な結果をもたらす可能性があります。
これと大量の憎むべきオンラインコンテンツは、両方の開業医、つまり、コンテンツの節度や法執行機関、およびヘイトスピーチのインスタンスを自動的に分類する機械学習モデルに対する研究者の関心を促しました。
ほとんどの科学的作品は、ヘイトスピーチの分類にバイナリタスクとして対処しますが、実践では、例えば、ターゲット、重大度、または合法性に応じてサブタイプへの区別が必要であり、個々のコンテンツに重複する場合があります。
したがって、研究者は、マルチラベルの問題としてテキストデータのヘイトスピーチ分類にアプローチするデータセットと機械学習モデルを作成しました。
この研究は、英語のこの新たな研究景観に関する科学文献に関する最初の体系的かつ包括的な調査を提示します（n = 46）。
ラベルセット、サイズ、メタコンセプト、注釈プロセス、およびアノテーター間契約に関する重要な不均一性を明らかにするマルチラベル分類モデルのトレーニングに適した28のデータセットの簡潔な概要に貢献します。
適切な分類モデルを提案する24の出版物の分析は、評価における矛盾と、変圧器（BERT）および再発性ニューラルネットワーク（RNN）からの双方向エンコーダー表現に基づくアーキテクチャの好みをさらに確立します。
不均衡なトレーニングデータ、クラウドソーシングプラットフォームへの依存、小さくてまばらなデータセット、および方法論的アライメントの欠落を重要なオープンな問題として特定し、研究のための10の推奨事項を策定します。

要約(オリジナル)

The dissemination of online hate speech can have serious negative consequences for individuals, online communities, and entire societies. This and the large volume of hateful online content prompted both practitioners’, i.e., in content moderation or law enforcement, and researchers’ interest in machine learning models to automatically classify instances of hate speech. Whereas most scientific works address hate speech classification as a binary task, practice often requires a differentiation into sub-types, e.g., according to target, severity, or legality, which may overlap for individual content. Hence, researchers created datasets and machine learning models that approach hate speech classification in textual data as a multi-label problem. This work presents the first systematic and comprehensive survey of scientific literature on this emerging research landscape in English (N=46). We contribute with a concise overview of 28 datasets suited for training multi-label classification models that reveals significant heterogeneity regarding label-set, size, meta-concept, annotation process, and inter-annotator agreement. Our analysis of 24 publications proposing suitable classification models further establishes inconsistency in evaluation and a preference for architectures based on Bidirectional Encoder Representation from Transformers (BERT) and Recurrent Neural Networks (RNNs). We identify imbalanced training data, reliance on crowdsourcing platforms, small and sparse datasets, and missing methodological alignment as critical open issues and formulate ten recommendations for research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google