Measuring Social Biases in Grounded Vision and Language Embeddings

要約

私たちは、言語の埋め込みから根拠のあるビジョンと言語の埋め込みまで、社会的バイアスの概念を一般化します。
バイアスは接地された埋め込みにも存在し、確かに接地されていない埋め込みの場合と同等かそれ以上に重大であるようです。
これは、視覚と言語が異なるバイアスを受ける可能性があるという事実にもかかわらず、両方のバイアスを軽減できると期待されるかもしれません。
この新しい設定に対する単語埋め込みのバイアスを測定するメトリクスを一般化する方法は複数あります。
我々は一般化の空間（Grounded-WEATとGrounded-SEAT）を導入し、バイアス、言語、視覚がどのように相互作用するかについての異なる、しかし重要な質問に3つの一般化が答えることを実証します。
これらの指標は、COCO、概念キャプション、および Google 画像からの 10,228 枚の画像を使用して拡張標準言語バイアス ベンチマークを強化することによって作成された、根拠のあるバイアスに関する最初の新しいデータセットで使用されます。
視覚データセット自体が非常に偏っているため、データセットの構築は困難です。
システム内にこれらのバイアスが存在することは、システムが導入されるにつれて現実世界に影響を及ぼし始め、公正な社会を構築するためにはバイアスを注意深く測定し、それを軽減することが重要となります。

要約(オリジナル)

We generalize the notion of social biases from language embeddings to grounded vision and language embeddings. Biases are present in grounded embeddings, and indeed seem to be equally or more significant than for ungrounded embeddings. This is despite the fact that vision and language can suffer from different biases, which one might hope could attenuate the biases in both. Multiple ways exist to generalize metrics measuring bias in word embeddings to this new setting. We introduce the space of generalizations (Grounded-WEAT and Grounded-SEAT) and demonstrate that three generalizations answer different yet important questions about how biases, language, and vision interact. These metrics are used on a new dataset, the first for grounded bias, created by augmenting extending standard linguistic bias benchmarks with 10,228 images from COCO, Conceptual Captions, and Google Images. Dataset construction is challenging because vision datasets are themselves very biased. The presence of these biases in systems will begin to have real-world consequences as they are deployed, making carefully measuring bias and then mitigating it critical to building a fair society.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google