The Gender-GAP Pipeline: A Gender-Aware Polyglot Pipeline for Gender Characterisation in 55 Languages

要約

言語生成システムにおけるジェンダーバイアスを軽減するのは困難です。
これらのバイアスの考えられる原因の 1 つは、トレーニング データと評価データにおける性別による表現の違いです。
この問題の文書化における最近の進歩と、それを軽減するための多くの試みにもかかわらず、大規模なデータセットにおける性別の表現を報告するための共有された方法論とツールがまだ不足しています。
このような定量的なレポートにより、データの増強などによるさらなる緩和が可能になります。
このペーパーでは、55 言語の大規模データセットにおける性別表現を特徴付ける自動パイプラインである Gender-GAP パイプライン (Gender-Aware Polyglot Pipeline 用) について説明します。
このパイプラインは、性別の人称名詞の多言語辞書を使用して、テキスト内の性別表現を定量化します。
WMT トレーニング データとニュース タスクの開発データにおける性別表現を報告するためにこれを紹介し、現在のデータが男性表現に偏っていることを確認します。
バランスの取れていないデータセットがあると、ある性別が他の性別よりも優れたパフォーマンスを発揮するようにシステムが間接的に最適化される可能性があります。
現在のデータセットに性別定量化パイプラインを導入し、理想的にはバランスのとれた表現に向けてデータセットを変更することをお勧めします。

要約(オリジナル)

Gender biases in language generation systems are challenging to mitigate. One possible source for these biases is gender representation disparities in the training and evaluation data. Despite recent progress in documenting this problem and many attempts at mitigating it, we still lack shared methodology and tooling to report gender representation in large datasets. Such quantitative reporting will enable further mitigation, e.g., via data augmentation. This paper describes the Gender-GAP Pipeline (for Gender-Aware Polyglot Pipeline), an automatic pipeline to characterize gender representation in large-scale datasets for 55 languages. The pipeline uses a multilingual lexicon of gendered person-nouns to quantify the gender representation in text. We showcase it to report gender representation in WMT training data and development data for the News task, confirming that current data is skewed towards masculine representation. Having unbalanced datasets may indirectly optimize our systems towards outperforming one gender over the others. We suggest introducing our gender quantification pipeline in current datasets and, ideally, modifying them toward a balanced representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google