Mitigating Negative Transfer with Task Awareness for Sexism, Hate Speech, and Toxic Language Detection

要約

この論文では、負の転移問題を軽減するための新しいアプローチを提案します。
機械学習の分野では、特定のタスクを解決する教師ありモデルをトレーニングするためにシングルタスク学習アプローチを適用するのが一般的な戦略です。
堅牢なモデルをトレーニングするには、大量のデータと大量の計算リソースが必要となるため、データが利用できない場合や収集に費用がかかる場合には、このソリューションは実現できません。
したがって、タスク間の情報共有に基づいた別のソリューションであるマルチタスク学習 (MTL) が開発されました。
MTL に関する最近の進展にもかかわらず、負の転移の問題はまだ解決されていません。
負の転送とは、ノイズの多い情報がタスク間で共有されると発生し、パフォーマンスが低下する現象です。
この論文は、タスク認識概念に基づいて負の転送問題を軽減するための新しいアプローチを提案します。
提案されたアプローチにより、負の転送が減少し、従来の MTL ソリューションよりもパフォーマンスが向上します。
さらに、提案されたアプローチは、テキスト コメント内の性差別、ヘイトスピーチ、有害な言語を検出するために 2 つの統合アーキテクチャに実装されています。
提案されたアーキテクチャは、EXIST-2021 ベンチマークと HatEval-2019 ベンチマークの両方で新しい最先端を確立します。

要約(オリジナル)

This paper proposes a novelty approach to mitigate the negative transfer problem. In the field of machine learning, the common strategy is to apply the Single-Task Learning approach in order to train a supervised model to solve a specific task. Training a robust model requires a lot of data and a significant amount of computational resources, making this solution unfeasible in cases where data are unavailable or expensive to gather. Therefore another solution, based on the sharing of information between tasks, has been developed: Multi-Task Learning (MTL). Despite the recent developments regarding MTL, the problem of negative transfer has still to be solved. Negative transfer is a phenomenon that occurs when noisy information is shared between tasks, resulting in a drop in performance. This paper proposes a new approach to mitigate the negative transfer problem based on the task awareness concept. The proposed approach results in diminishing the negative transfer together with an improvement of performance over classic MTL solution. Moreover, the proposed approach has been implemented in two unified architectures to detect Sexism, Hate Speech, and Toxic Language in text comments. The proposed architectures set a new state-of-the-art both in EXIST-2021 and HatEval-2019 benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google