Dual Debiasing: Remove Stereotypes and Keep Factual Gender for Fair Language Modeling and Translation

要約

言語モデルのジェンダーステレオタイプへの依存などのバイアスを軽減することは、信頼性が高く有用な言語テクノロジーを作成するために必要な重要な取り組みです。
バイアス除去の重要な側面は、言語タスクを解決し、さまざまな性別を公平に表現する能力を含む、モデルの多用途な能力を確実に維持することです。
この問題に対処するために、モデル適応による合理化されたデュアル ダバイアス アルゴリズム (2DAMA) を導入します。
新しいデュアル デバイアスにより、言語モデルによってエンコードされた望ましい事実の性別情報を維持しながら、固定観念の偏見を確実に軽減できます。
我々は、2DAMA が英語におけるジェンダーバイアスを効果的に軽減し、翻訳における固定観念の傾向の緩和を促進する最初のアプローチの 1 つであることを示します。
提案された方法の主な利点は、事実上の性別の手がかりが保存されることであり、これは幅広い自然言語処理タスクで役立ちます。

要約(オリジナル)

Mitigation of biases, such as language models’ reliance on gender stereotypes, is a crucial endeavor required for the creation of reliable and useful language technology. The crucial aspect of debiasing is to ensure that the models preserve their versatile capabilities, including their ability to solve language tasks and equitably represent various genders. To address this issue, we introduce a streamlined Dual Dabiasing Algorithm through Model Adaptation (2DAMA). Novel Dual Debiasing enables robust reduction of stereotypical bias while preserving desired factual gender information encoded by language models. We show that 2DAMA effectively reduces gender bias in English and is one of the first approaches facilitating the mitigation of stereotypical tendencies in translation. The proposed method’s key advantage is the preservation of factual gender cues, which are useful in a wide range of natural language processing tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google