DoDo Learning: DOmain-DemOgraphic Transfer in Language Models for Detecting Abuse Targeted at Public Figures

要約

著名人はソーシャルメディア上で不当に多くの虐待を受けており、公生活への積極的な参加に影響を与えています。
自動化されたシステムは大規模な不正行為を特定できますが、トレーニング データのラベル付けは高価で複雑で、潜在的に有害です。
したがって、システムが効率的かつ汎用化可能であり、オンライン虐待の共有側面と特定側面の両方に対処できることが望ましいです。
私たちは、より一般化可能な乱用分類器を構築することを目的として、1 つのドメインまたは人口統計でトレーニングされた分類器が他の分類器にどの程度うまく移行できるかを理解するために、グループ間テキスト分類のダイナミクスを調査します。
私たちは、4 つのドメインと人口統計のペアに均等に分割された 28,000 のラベル付きエントリを含む新しい DODO データセットを使用して、言語モデルを微調整して、ドメイン (スポーツと政治) と人口統計 (女性と男性) 全体で公人を対象としたツイートを分類します。
私たちは、(i) 少量の多様なデータが一般化とモデルの適応に非常に有益であることを発見しました。
(ii) モデルは人口統計間でより簡単に移行できますが、クロスドメイン データでトレーニングされたモデルはより一般化可能です。
(iii) 一部のグループは他のグループよりも一般化に貢献します。
(iv) データセットの類似性は転送可能性のシグナルです。

要約(オリジナル)

Public figures receive a disproportionate amount of abuse on social media, impacting their active participation in public life. Automated systems can identify abuse at scale but labelling training data is expensive, complex and potentially harmful. So, it is desirable that systems are efficient and generalisable, handling both shared and specific aspects of online abuse. We explore the dynamics of cross-group text classification in order to understand how well classifiers trained on one domain or demographic can transfer to others, with a view to building more generalisable abuse classifiers. We fine-tune language models to classify tweets targeted at public figures across DOmains (sport and politics) and DemOgraphics (women and men) using our novel DODO dataset, containing 28,000 labelled entries, split equally across four domain-demographic pairs. We find that (i) small amounts of diverse data are hugely beneficial to generalisation and model adaptation; (ii) models transfer more easily across demographics but models trained on cross-domain data are more generalisable; (iii) some groups contribute more to generalisability than others; and (iv) dataset similarity is a signal of transferability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google