A Text-to-Text Model for Multilingual Offensive Language Identification

要約

ソーシャルメディア上に攻撃的なコンテンツが蔓延していることが、企業や政府機関の間で懸念の原因となっています。
最近、BERT、XLNET、XLM-R などのトランスベースのモデルは、さまざまな形の攻撃的なコンテンツ (ヘイトスピーチ、ネットいじめ、サイバー攻撃など) の検出において最先端のパフォーマンスを達成しました。
ただし、これらのモデルの大部分は、エンコーダのみのアーキテクチャにより機能が制限されており、ダウンストリーム タスクのラベルの数と種類が制限されています。
これらの制限に対処するために、この研究では、2 つの大規模な攻撃的言語識別データセットでトレーニングされたテキストからテキストへの変換器 (T5) を使用した攻撃的言語識別のためのエンコーダー/デコーダー アーキテクチャを備えた最初の事前トレーニング済みモデルを紹介します。
ソリッドとCCTK。
T5 再トレーニング ステップで、SOLID の半教師ありインスタンスで 2 つのデータセットを組み合わせて最適なしきい値を選択することの有効性を調査します。
当社の事前トレーニング済み T5 モデルは、複数の英語ベンチマークにおいて、fBERT や HateBERT など、不快な言語検出用に微調整された他のトランスフォーマー ベースのモデルよりも優れたパフォーマンスを示します。
同様のアプローチに従って、mT5 を使用して不快な言語を識別するための最初の多言語事前トレーニング済みモデルをトレーニングし、6 つの異なる言語 (ドイツ語、ヒンディー語、韓国語、マラーティー語、シンハラ語、スペイン語) のセットでそのパフォーマンスを評価します。
結果は、この多言語モデルが上記のすべてのデータセットで最先端の技術を実現し、多言語シナリオでの有用性を示していることを示しています。
私たちが提案する T5 ベースのモデルは、コミュニティに無料で公開されます。

要約(オリジナル)

The ubiquity of offensive content on social media is a growing cause for concern among companies and government organizations. Recently, transformer-based models such as BERT, XLNET, and XLM-R have achieved state-of-the-art performance in detecting various forms of offensive content (e.g. hate speech, cyberbullying, and cyberaggression). However, the majority of these models are limited in their capabilities due to their encoder-only architecture, which restricts the number and types of labels in downstream tasks. Addressing these limitations, this study presents the first pre-trained model with encoder-decoder architecture for offensive language identification with text-to-text transformers (T5) trained on two large offensive language identification datasets; SOLID and CCTK. We investigate the effectiveness of combining two datasets and selecting an optimal threshold in semi-supervised instances in SOLID in the T5 retraining step. Our pre-trained T5 model outperforms other transformer-based models fine-tuned for offensive language detection, such as fBERT and HateBERT, in multiple English benchmarks. Following a similar approach, we also train the first multilingual pre-trained model for offensive language identification using mT5 and evaluate its performance on a set of six different languages (German, Hindi, Korean, Marathi, Sinhala, and Spanish). The results demonstrate that this multilingual model achieves a new state-of-the-art on all the above datasets, showing its usefulness in multilingual scenarios. Our proposed T5-based models will be made freely available to the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google