Gender-tuning: Empowering Fine-tuning for Debiasing Pre-trained Language Models

要約

最近の研究では、広く使用されている事前トレーニング済み言語モデル (PLM) が、調整されていない大規模な事前トレーニング コーパスから社会的バイアスを伝播していることが明らかになりました。
既存のソリューションでは、バイアス除去トレーニング プロセスとバイアス除去用のデータセットが必要ですが、これにはリソースが大量に消費され、コストがかかります。
さらに、これらの方法は、ダウンストリーム タスクにおける PLM のパフォーマンスに悪影響を及ぼします。
この研究では、下流タスクのデータセットを微調整することで PLM のバイアスを軽減する、ジェンダー チューニングを提案します。
この目的のために、ジェンダーチューニングでは、マスク言語モデリング (MLM) のトレーニング目標をファインチューニングのトレーニング プロセスに統合します。
包括的な実験により、ジェンダーチューニングは、下流タスクのデータセットのみを使用して下流タスクでの PLM のパフォーマンスを向上させながら、PLM の平均ジェンダーバイアススコアの点で最先端のベースラインを上回っていることが示されています。
また、ジェンダー チューニングは、独自の微調整で機能するあらゆる PLM に展開可能なバイアス除去ツールです。

要約(オリジナル)

Recent studies have revealed that the widely-used Pre-trained Language Models (PLMs) propagate societal biases from the large unmoderated pre-training corpora. Existing solutions require debiasing training processes and datasets for debiasing, which are resource-intensive and costly. Furthermore, these methods hurt the PLMs’ performance on downstream tasks. In this study, we propose Gender-tuning, which debiases the PLMs through fine-tuning on downstream tasks’ datasets. For this aim, Gender-tuning integrates Masked Language Modeling (MLM) training objectives into fine-tuning’s training process. Comprehensive experiments show that Gender-tuning outperforms the state-of-the-art baselines in terms of average gender bias scores in PLMs while improving PLMs’ performance on downstream tasks solely using the downstream tasks’ dataset. Also, Gender-tuning is a deployable debiasing tool for any PLM that works with original fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google