Measuring Misogyny in Natural Language Generation: Preliminary Results from a Case Study on two Reddit Communities

要約

一般的な「毒性」分類子は、その欠点を示す証拠が増えているにもかかわらず、自然言語生成における害の可能性を評価するために使用され続けています。
我々は、自然言語生成における女性蔑視を測定するという課題を検討し、一般的な「毒性」分類器はこの課題には不十分であると主張します。
私たちは、主に女性蔑視の度合いが異なる Reddit 上の 2 つのよく特徴付けられた「Incel」コミュニティからのデータを使用して、2 つの言語モデルを微調整するために使用する 1 対のトレーニング コーパスを構築します。
我々は、オープンソースの「毒性」分類器がこれらのモデルから世代間を有意義に区別できないことを示します。
私たちはこれを、フェミニストの主題専門家によって最近提案された女性蔑視に特化した語彙と対比し、単純な語彙ベースのアプローチには限界があるにもかかわらず、これが女性蔑視の言語モデルを評価するためのベンチマークとして有望であること、そして十分に敏感であることを実証しています。
これらの Reddit コミュニティにおける既知の違いを明らかにします。
私たちの予備的な調査結果は、危害を評価するための一般的なアプローチの限界を強調し、自然言語評価における慎重なベンチマーク設計と選択の必要性をさらに強調しています。

要約(オリジナル)

Generic `toxicity’ classifiers continue to be used for evaluating the potential for harm in natural language generation, despite mounting evidence of their shortcomings. We consider the challenge of measuring misogyny in natural language generation, and argue that generic `toxicity’ classifiers are inadequate for this task. We use data from two well-characterised `Incel’ communities on Reddit that differ primarily in their degrees of misogyny to construct a pair of training corpora which we use to fine-tune two language models. We show that an open source `toxicity’ classifier is unable to distinguish meaningfully between generations from these models. We contrast this with a misogyny-specific lexicon recently proposed by feminist subject-matter experts, demonstrating that, despite the limitations of simple lexicon-based approaches, this shows promise as a benchmark to evaluate language models for misogyny, and that it is sensitive enough to reveal the known differences in these Reddit communities. Our preliminary findings highlight the limitations of a generic approach to evaluating harms, and further emphasise the need for careful benchmark design and selection in natural language evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google