Model-Agnostic Gender Debiased Image Captioning

要約

タイトル: モデル非依存性ジェンダー補正画像キャプショニング
要約:
– 画像キャプショニングモデルは、訓練セット内の有害な社会的バイアスを永続的に拡大することが知られている。
– 本研究では、画像キャプショニングモデルでこのようなジェンダーバイアスを軽減することを目的としている。
– 以前の研究では、モデルが人物に焦点を当てることでジェンダーの誤分類を減らすようにしたが、それによってジェンダーに関するステレオタイプな単語が生成され、正しいジェンダーを予測するための費用がかかることが判明した。
– この観察から、画像キャプショニングモデルに影響を与える2つのタイプのジェンダーバイアスがあると仮定している
– LIBRAと呼ばれるフレームワークを提案し、合成バイアスのサンプルから学習して、両方のバイアスを減らし、ジェンダーの誤分類を修正し、ジェンダーに関するステレオタイプな言葉をより中立的なものに変えることで、両方のタイプのジェンダーバイアスを軽減することを提案している。

要約(オリジナル)

Image captioning models are known to perpetuate and amplify harmful societal bias in the training set. In this work, we aim to mitigate such gender bias in image captioning models. While prior work has addressed this problem by forcing models to focus on people to reduce gender misclassification, it conversely generates gender-stereotypical words at the expense of predicting the correct gender. From this observation, we hypothesize that there are two types of gender bias affecting image captioning models: 1) bias that exploits context to predict gender, and 2) bias in the probability of generating certain (often stereotypical) words because of gender. To mitigate both types of gender biases, we propose a framework, called LIBRA, that learns from synthetically biased samples to decrease both types of biases, correcting gender misclassification and changing gender-stereotypical words to more neutral ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI