Gender and Racial Bias in Visual Question Answering Datasets

要約

機械学習モデルで人間のような推論を評価する手段として、視覚と言語のタスクがますます注目を集めています。
この分野で人気のあるタスクは、画像に関する質問に答えることを目的とした視覚的な質問応答（VQA）です。
ただし、VQAモデルは、画像の内容を調べずに質問と回答の統計的相関関係を学習することで、言語の偏りを利用することが示されています。たとえば、画像内のバナナが緑色であっても、バナナの色に関する質問には黄色で回答します。
。
社会的偏見（性差別、人種差別、障害者差別など）がトレーニングデータに存在する場合、この問題によりVQAモデルが有害なステレオタイプを学習する可能性があります。
このため、5つのVQAデータセットで性別と人種のバイアスを調査します。
私たちの分析では、回答の分布は、女性と男性に関する質問間で大きく異なり、有害な性別のステレオタイプのサンプルが存在することがわかりました。
同様に、特定の人種関連の属性が過小評価されているのに対し、分析されたデータセットには差別的なサンプルが表示される可能性があることを確認します。
私たちの調査結果は、潜在的に有害なステレオタイプを考慮および処理せずにVQAデータセットを使用することに関連する危険性があることを示唆しています。
データセット収集プロセスの前、最中、および後に問題を軽減するためのソリューションを提案することで、このペーパーを締めくくります。

要約(オリジナル)

Vision-and-language tasks have increasingly drawn more attention as a means to evaluate human-like reasoning in machine learning models. A popular task in the field is visual question answering (VQA), which aims to answer questions about images. However, VQA models have been shown to exploit language bias by learning the statistical correlations between questions and answers without looking into the image content: e.g., questions about the color of a banana are answered with yellow, even if the banana in the image is green. If societal bias (e.g., sexism, racism, ableism, etc.) is present in the training data, this problem may be causing VQA models to learn harmful stereotypes. For this reason, we investigate gender and racial bias in five VQA datasets. In our analysis, we find that the distribution of answers is highly different between questions about women and men, as well as the existence of detrimental gender-stereotypical samples. Likewise, we identify that specific race-related attributes are underrepresented, whereas potentially discriminatory samples appear in the analyzed datasets. Our findings suggest that there are dangers associated to using VQA datasets without considering and dealing with the potentially harmful stereotypes. We conclude the paper by proposing solutions to alleviate the problem before, during, and after the dataset collection process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google