Focal Inferential Infusion Coupled with Tractable Density Discrimination for Implicit Hate Speech Detection

要約

事前トレーニングされた大規模言語モデル (PLM) は、多くの NLP タスクで最先端の性能を実現していますが、暗黙のヘイトスピーチの微妙な表現に対する理解が不足しています。
このような微妙な暗黙の憎悪は、非憎悪として誤って分類されることがよくあります。
外部コンテキストを強化したり、距離ベースのメトリクスを介してラベル分離を強制したりすることで、(暗黙の) ヘイト コンテンツの検出を強化するさまざまな試みが行われてきました。
これら 2 つのアプローチを組み合わせて、新しい集中推論適応型密度弁別フレームワークである FiADD を導入します。
FiADD は、さまざまなクラス ラベル間のクラスター間距離を増加させながら、暗黙のヘイト スピーチの表面的な形式を暗黙の形式に近づけることにより、PLM 微調整パイプラインを強化します。
3 つの暗黙的ヘイト データセットで FiADD をテストし、二方向および三方向のヘイト分類タスクで大幅な改善が観察されました。
さらに、他の 3 つのタスク、つまり表面的な形式と暗黙的な形式が異なる皮肉、皮肉、スタンスの検出について FiADD の一般化可能性を実験し、同様のパフォーマンスの向上を観察しました。
生成された潜在空間を分析して、FiADD の下でのその進化を理解します。これは、暗黙的なヘイトスピーチ検出に FiADD を採用する利点を裏付けます。

要約(オリジナル)

Although pre-trained large language models (PLMs) have achieved state-of-the-art on many NLP tasks, they lack understanding of subtle expressions of implicit hate speech. Such nuanced and implicit hate is often misclassified as non-hate. Various attempts have been made to enhance the detection of (implicit) hate content by augmenting external context or enforcing label separation via distance-based metrics. We combine these two approaches and introduce FiADD, a novel Focused Inferential Adaptive Density Discrimination framework. FiADD enhances the PLM finetuning pipeline by bringing the surface form of an implicit hate speech closer to its implied form while increasing the inter-cluster distance among various class labels. We test FiADD on three implicit hate datasets and observe significant improvement in the two-way and three-way hate classification tasks. We further experiment on the generalizability of FiADD on three other tasks, namely detecting sarcasm, irony, and stance, in which surface and implied forms differ, and observe similar performance improvement. We analyze the generated latent space to understand its evolution under FiADD, which corroborates the advantage of employing FiADD for implicit hate speech detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google