ToXCL: A Unified Framework for Toxic Speech Detection and Explanation

要約

オンラインでの有害な言論の蔓延は、人口統計上のグループに脅威をもたらす関連問題です。
明示的な有害な音声には攻撃的な語彙シグナルが含まれていますが、暗黙的な音声には暗号化された言語または間接的な言語が含まれます。
したがって、モデルにとって、暗黙の有害な音声を検出するだけでなく、その有害性を説明することも重要です。
このため、暗黙の有害な音声を効果的に検出して説明できる統一フレームワークに対する独特のニーズが生じています。
従来の研究では、主に有害な音声の検出と説明のタスクをテキスト生成問題として定式化しました。
それにもかかわらず、この戦略を使用してトレーニングされたモデルは、結果として生じるエラー伝播の問題に悩まされる傾向があります。
さらに、私たちの実験では、そのようなモデルの検出結果は、検出タスクのみに焦点を当てたモデルよりもはるかに低いことが明らかになりました。
これらのギャップを埋めるために、暗黙の有害音声の検出と説明のための統一フレームワークである ToXCL を導入します。
私たちのモデルは 3 つのモジュールで構成されています。 (i) 特定の投稿のターゲットとなる人口統計グループを生成するターゲット グループ ジェネレーター。
(ii) エンコーダ – デコーダ モデル。このモデルでは、エンコーダは暗黙の有害音声の検出に重点を置き、(iii) 知識の蒸留を介して教師分類器によって強化され、デコーダが必要な説明を生成します。
ToXCL は、新たな最先端の有効性を実現し、ベースラインを大幅に上回ります。

要約(オリジナル)

The proliferation of online toxic speech is a pertinent problem posing threats to demographic groups. While explicit toxic speech contains offensive lexical signals, implicit one consists of coded or indirect language. Therefore, it is crucial for models not only to detect implicit toxic speech but also to explain its toxicity. This draws a unique need for unified frameworks that can effectively detect and explain implicit toxic speech. Prior works mainly formulated the task of toxic speech detection and explanation as a text generation problem. Nonetheless, models trained using this strategy can be prone to suffer from the consequent error propagation problem. Moreover, our experiments reveal that the detection results of such models are much lower than those that focus only on the detection task. To bridge these gaps, we introduce ToXCL, a unified framework for the detection and explanation of implicit toxic speech. Our model consists of three modules: a (i) Target Group Generator to generate the targeted demographic group(s) of a given post; an (ii) Encoder-Decoder Model in which the encoder focuses on detecting implicit toxic speech and is boosted by a (iii) Teacher Classifier via knowledge distillation, and the decoder generates the necessary explanation. ToXCL achieves new state-of-the-art effectiveness, and outperforms baselines significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google