Evaluating Bias and Fairness in Gender-Neutral Pretrained Vision-and-Language Models

要約

事前トレーニングされた機械学習モデルは、データ内の既存のバイアスを永続化し、さらには増幅することが知られており、その結果、最終的にユーザー エクスペリエンスに影響を与える不公平な結果が生じる可能性があります。
したがって、モデルのパフォーマンスが特定のグループや集団に対する差別的な行動を引き起こさないようにするには、これらの偏見の背後にあるメカニズムを理解することが重要です。
この研究では、ケーススタディとしてジェンダーバイアスを定義します。
視覚および言語モデルの 3 つのファミリーの事前トレーニングおよび微調整後のバイアス増幅を定量化します。
2 つの学習段階間に関連性がある場合はそれを調査し、バイアス増幅がモデルのパフォーマンスにどのように反映されるかを評価します。
全体として、トレーニング前と微調整後のバイアス増幅は独立していることがわかります。
次に、性別中立データに対する継続的な事前トレーニングの効果を調べ、これにより、タスクのパフォーマンスを大幅に損なうことなく、VQAv2 および検索タスクに対するグループの格差が軽減され、つまり公平性が促進されることがわかりました。

要約(オリジナル)

Pretrained machine learning models are known to perpetuate and even amplify existing biases in data, which can result in unfair outcomes that ultimately impact user experience. Therefore, it is crucial to understand the mechanisms behind those prejudicial biases to ensure that model performance does not result in discriminatory behaviour toward certain groups or populations. In this work, we define gender bias as our case study. We quantify bias amplification in pretraining and after fine-tuning on three families of vision-and-language models. We investigate the connection, if any, between the two learning stages, and evaluate how bias amplification reflects on model performance. Overall, we find that bias amplification in pretraining and after fine-tuning are independent. We then examine the effect of continued pretraining on gender-neutral data, finding that this reduces group disparities, i.e., promotes fairness, on VQAv2 and retrieval tasks without significantly compromising task performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google