Model-based Counterfactual Generator for Gender Bias Mitigation

要約

反事実データ拡張 (CDA) は、自然言語モデルにおけるジェンダー バイアスを軽減するための推奨される手法の 1 つです。
CDA 技術では、主に辞書に基づいた単語置換が使用されてきました。
このような辞書ベースの CDA 技術は、ジェンダーバイアスの緩和を大幅に改善することが示されていますが、本稿では、非文法的な構成の影響を受けやすいことや、一般化の欠如など、辞書ベースの反事実データ拡張技術のいくつかの制限を強調します。
事前に定義された辞書の単語のセット。
モデルベースのソリューションはこれらの問題を軽減できますが、質的な並行トレーニング データの欠如がこの方向の開発を妨げています。
したがって、性別による偏見を軽減するための反事実を生成するためのモデルベースのソリューションを開発するために、データ処理技術と双目的トレーニング計画の組み合わせを提案します。
私たちは提案したソリューションを実装し、私たちのモデルが辞書ベースのソリューションの欠点をどのように軽減するかを示す経験的評価を実行しました。

要約(オリジナル)

Counterfactual Data Augmentation (CDA) has been one of the preferred techniques for mitigating gender bias in natural language models. CDA techniques have mostly employed word substitution based on dictionaries. Although such dictionary-based CDA techniques have been shown to significantly improve the mitigation of gender bias, in this paper, we highlight some limitations of such dictionary-based counterfactual data augmentation techniques, such as susceptibility to ungrammatical compositions, and lack of generalization outside the set of predefined dictionary words. Model-based solutions can alleviate these problems, yet the lack of qualitative parallel training data hinders development in this direction. Therefore, we propose a combination of data processing techniques and a bi-objective training regime to develop a model-based solution for generating counterfactuals to mitigate gender bias. We implemented our proposed solution and performed an empirical evaluation which shows how our model alleviates the shortcomings of dictionary-based solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google