On Bias and Fairness in NLP: Investigating the Impact of Bias and Debiasing in Language Models on the Fairness of Toxicity Detection

要約

言語モデルは、新しい最先端の自然言語処理 (NLP) モデルであり、多くの NLP タスクで使用されることが増えています。
言語モデルに偏りがあるという証拠はありますが、その偏りが下流の NLP タスクの公平性に及ぼす影響については、まだ十分に研究されていません。
さらに、多数のバイアス除去方法が文献で提案されているにもかかわらず、バイアス除去方法が NLP タスクの公平性に及ぼす影響についても十分に研究されていません。
この研究では、NLP モデルにおける 3 つの異なるバイアス源、つまり表現バイアス、選択バイアス、過剰増幅バイアスを調査し、それらが毒性検出の下流タスクの公平性にどのような影響を与えるかを調べます。
さらに、さまざまなバイアス除去技術を使用してこれらのバイアスを除去した場合の毒性検出の公平性への影響を調査します。
結果は、下流のバイアス源、特に過剰増幅バイアスが、毒性検出タスクの公平性に最も影響を与えるタイプのバイアスであるという強力な証拠を示しています。
また、バランスの取れた文脈表現と異なるアイデンティティグループ間の肯定的な例の比率を備えたデータセットで言語モデルを微調整することによって過剰増幅バイアスを除去することで、毒性検出タスクの公平性を向上できるという強力な証拠も発見しました。
最後に、我々の発見に基づいて、毒性検出のタスクの公平性を確保するためのガイドラインのリストを紹介します。

要約(オリジナル)

Language models are the new state-of-the-art natural language processing (NLP) models and they are being increasingly used in many NLP tasks. Even though there is evidence that language models are biased, the impact of that bias on the fairness of downstream NLP tasks is still understudied. Furthermore, despite that numerous debiasing methods have been proposed in the literature, the impact of bias removal methods on the fairness of NLP tasks is also understudied. In this work, we investigate three different sources of bias in NLP models, i.e. representation bias, selection bias and overamplification bias, and examine how they impact the fairness of the downstream task of toxicity detection. Moreover, we investigate the impact of removing these biases using different bias removal techniques on the fairness of toxicity detection. Results show strong evidence that downstream sources of bias, especially overamplification bias, are the most impactful types of bias on the fairness of the task of toxicity detection. We also found strong evidence that removing overamplification bias by fine-tuning the language models on a dataset with balanced contextual representations and ratios of positive examples between different identity groups can improve the fairness of the task of toxicity detection. Finally, we build on our findings and introduce a list of guidelines to ensure the fairness of the task of toxicity detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google