BLIND: Bias Removal With No Demographics

要約

実世界のデータに基づいてトレーニングされたモデルは、社会的な偏見を模倣し、増幅する傾向があります。
バイアスを軽減する一般的な方法では、軽減すべきバイアスの種類 (性別や人種の偏見など) と各データ サンプルに関連付けられた社会グループに関する事前情報が必要です。
この研究では、データセット内の人口統計に関する事前知識がなくてもバイアスを除去する手法である BLIND を紹介します。
BLIND は、ダウンストリーム タスクでモデルをトレーニングしているときに、メイン モデルの成功を予測する補助モデルを使用して偏ったサンプルを検出し、トレーニング プロセス中にそれらのサンプルの重みを下げます。
感情分類および職業分類タスクにおける人種および性別のバイアスに関する実験では、BLIND がコストのかかる人口統計上の注釈プロセスに依存せずに社会的バイアスを軽減できることが実証されています。
私たちの方法は、人口統計情報を必要とする他の方法と競合し、場合によってはそれを上回ることさえあります。

要約(オリジナル)

Models trained on real-world data tend to imitate and amplify social biases. Common methods to mitigate biases require prior information on the types of biases that should be mitigated (e.g., gender or racial bias) and the social groups associated with each data sample. In this work, we introduce BLIND, a method for bias removal with no prior knowledge of the demographics in the dataset. While training a model on a downstream task, BLIND detects biased samples using an auxiliary model that predicts the main model’s success, and down-weights those samples during the training process. Experiments with racial and gender biases in sentiment classification and occupation classification tasks demonstrate that BLIND mitigates social biases without relying on a costly demographic annotation process. Our method is competitive with other methods that require demographic information and sometimes even surpasses them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google