Deep Prompt Multi-task Network for Abuse Language Detection

要約

ソーシャルネットワークの広範な利用に伴い、暴言の検出は依然として長年の課題となっています。
暴言の検出タスクは精度が限られています。
私たちは、既存の検出方法は事前トレーニング済み言語モデル (PLM) の微調整技術を利用して下流のタスクを処理すると主張します。
したがって、これらの方法は PLM の一般的な知識を刺激することができません。
この問題に対処するために、私たちは乱用言語検出のための新しいディープ プロンプト マルチタスク ネットワーク (DPMN) を提案します。
具体的には、DPMN はまず、PLM 用のディープ プロンプト チューニングとライト プロンプト チューニングの 2 つの形式の設計を試みます。
さまざまなプロンプトの長さ、調整戦略、プロンプトの初期化方法が暴言の検出に及ぼす影響が研究されています。
さらに、短いテキスト分類子として使用できる Bi-LSTM と FFN に基づくタスク ヘッドを提案します。
最終的に、DPMN はマルチタスク学習を利用して、検出メトリックをさらに改善します。
マルチタスクネットワークは、有効な知識を伝達する機能を備えています。
提案された DPMN は、OLID、SOLID、AbuseAnalyzer の 3 つの公開データセットに対する 8 つの典型的な方法に対して評価されます。
実験結果は、当社の DPMN が最先端の方法よりも優れていることを示しています。

要約(オリジナル)

The detection of abusive language remains a long-standing challenge with the extensive use of social networks. The detection task of abusive language suffers from limited accuracy. We argue that the existing detection methods utilize the fine-tuning technique of the pre-trained language models (PLMs) to handle downstream tasks. Hence, these methods fail to stimulate the general knowledge of the PLMs. To address the problem, we propose a novel Deep Prompt Multi-task Network (DPMN) for abuse language detection. Specifically, DPMN first attempts to design two forms of deep prompt tuning and light prompt tuning for the PLMs. The effects of different prompt lengths, tuning strategies, and prompt initialization methods on detecting abusive language are studied. In addition, we propose a Task Head based on Bi-LSTM and FFN, which can be used as a short text classifier. Eventually, DPMN utilizes multi-task learning to improve detection metrics further. The multi-task network has the function of transferring effective knowledge. The proposed DPMN is evaluated against eight typical methods on three public datasets: OLID, SOLID, and AbuseAnalyzer. The experimental results show that our DPMN outperforms the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google