Beyond Dataset Creation: Critical View of Annotation Variation and Bias Probing of a Dataset for Online Radical Content Detection

要約

オンライン プラットフォーム上での過激なコンテンツの拡散は、暴力の扇動や過激派イデオロギーの拡散など、重大なリスクをもたらします。
研究が進行中であるにもかかわらず、既存のデータセットやモデルでは、多言語で多様なデータの複雑さに対処できないことがよくあります。
このギャップを埋めるために、英語、フランス語、アラビア語で過激化レベル、行動の呼びかけ、名前付きエンティティの注釈が付けられた、公開されている多言語データセットを導入します。
このデータセットは、コンテキスト情報を維持しながら個人のプライバシーを保護するために仮名化されています。
無料で利用できるデータセットを提示するだけでなく、アノテーションのプロセスを分析し、アノテーター間の偏見や意見の相違、およびそれらがモデルのパフォーマンスに及ぼす影響を明らかにします。
さらに、合成データを使用して、アノテーション パターンとモデル予測に対する社会人口統計的特性の影響を調査します。
私たちの研究は、モデル開発における公平性と透明性の重要性を強調しながら、根本的なコンテンツ検出のための堅牢なデータセットを構築する際の課題と機会についての包括的な調査を提供します。

要約(オリジナル)

The proliferation of radical content on online platforms poses significant risks, including inciting violence and spreading extremist ideologies. Despite ongoing research, existing datasets and models often fail to address the complexities of multilingual and diverse data. To bridge this gap, we introduce a publicly available multilingual dataset annotated with radicalization levels, calls for action, and named entities in English, French, and Arabic. This dataset is pseudonymized to protect individual privacy while preserving contextual information. Beyond presenting our freely available dataset, we analyze the annotation process, highlighting biases and disagreements among annotators and their implications for model performance. Additionally, we use synthetic data to investigate the influence of socio-demographic traits on annotation patterns and model predictions. Our work offers a comprehensive examination of the challenges and opportunities in building robust datasets for radical content detection, emphasizing the importance of fairness and transparency in model development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google