You Only Prompt Once: On the Capabilities of Prompt Learning on Large Language Models to Tackle Toxic Content

要約

オンラインでの有害なコンテンツの拡散は、オンラインおよび社会全体のユーザー エクスペリエンスに悪影響を与える重要な問題です。
問題の重要性と影響を動機として、研究は有害なコンテンツを検出するソリューションの開発に焦点を当てており、通常は人間が注釈を付けたデータセットでトレーニングされた機械学習 (ML) モデルを活用しています。
これらの取り組みは重要ですが、これらのモデルは通常、うまく一般化できず、新しい傾向 (新しい有害な用語の出現など) に対処できません。
現在、私たちはオンラインで社会問題に取り組むアプローチの変化を目の当たりにしており、特に、膨大なコーパスでトレーニングされ、強力な一般化可能性を持つ GPT-3 や T5 などの大規模言語モデル (LLM) を活用しています。
この研究では、LLM を使用して有害なコンテンツの問題に取り組むための学習を促進する方法を調査し、特に 3 つのタスクに焦点を当てます。
1) 毒性分類、2) 毒性スパン検出、および 3) 解毒。
私たちは 5 つのモデル アーキテクチャと 8 つのデータセットにわたって広範な評価を実行し、迅速な学習を備えた LLM が、これらの特定のタスクでトレーニングされたモデルと比較して同等またはそれ以上のパフォーマンスを達成できることを実証しました。
迅速な学習により、ベースラインと比較して毒性分類タスクで約 10\% の改善が達成されることがわかりました。一方、毒性スパン検出タスクでは、最良のベースライン ($F_1$ スコアに関して 0.643 対 0.640) に対してパフォーマンスが向上していることがわかりました。
。
最後に、解毒タスクについては、即時学習により、意味論的な意味を維持しながら、平均毒性スコアを首尾よく下げることができる (0.775 から 0.213 に) ことがわかりました。

要約(オリジナル)

The spread of toxic content online is an important problem that has adverse effects on user experience online and in our society at large. Motivated by the importance and impact of the problem, research focuses on developing solutions to detect toxic content, usually leveraging machine learning (ML) models trained on human-annotated datasets. While these efforts are important, these models usually do not generalize well and they can not cope with new trends (e.g., the emergence of new toxic terms). Currently, we are witnessing a shift in the approach to tackling societal issues online, particularly leveraging large language models (LLMs) like GPT-3 or T5 that are trained on vast corpora and have strong generalizability. In this work, we investigate how we can use LLMs and prompt learning to tackle the problem of toxic content, particularly focusing on three tasks; 1) Toxicity Classification, 2) Toxic Span Detection, and 3) Detoxification. We perform an extensive evaluation over five model architectures and eight datasets demonstrating that LLMs with prompt learning can achieve similar or even better performance compared to models trained on these specific tasks. We find that prompt learning achieves around 10\% improvement in the toxicity classification task compared to the baselines, while for the toxic span detection task we find better performance to the best baseline (0.643 vs. 0.640 in terms of $F_1$-score). Finally, for the detoxification task, we find that prompt learning can successfully reduce the average toxicity score (from 0.775 to 0.213) while preserving semantic meaning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google