VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution

要約

視覚言語モデルにおけるジェンダーバイアスをベンチマークするための新しいデータセットである VisoGender を紹介します。
私たちは、Winograd スキーマと Winogender スキーマに触発された、バイナリ ジェンダーの覇権システム内の職業関連のバイアスに焦点を当てます。各画像には、シーン内の主体とオブジェクトの代名詞関係を含むキャプションが関連付けられています。
VisoGender は、職業上の役割における性別表現によってバランスがとれており、次の 2 つの方法でバイアス評価をサポートします。i) 解像度バイアス。ここでは、ヒューマン アノテーターによって男性または女性として認識される性別表現を持つ画像主題の代名詞解像度の精度の違いを評価します。ii) 検索バイアス
ここでは、ジェンダー中立の検索クエリで検索された、男性的および女性的なジェンダー表現を持っていると認識されている専門家の割合を比較しています。
私たちはいくつかの最先端の視覚言語モデルをベンチマークし、それらが複雑なシーンにおけるバイナリジェンダーの解決に偏りを示していることを発見しました。
ジェンダーバイアスの方向と大きさはタスクと評価対象のモデルによって異なりますが、一般にキャプションモデルは視覚言語エンコーダーよりもバイアスが少ないです。
データセットとコードは https://github.com/oxai/visogender で入手できます。

要約(オリジナル)

We introduce VisoGender, a novel dataset for benchmarking gender bias in vision-language models. We focus on occupation-related biases within a hegemonic system of binary gender, inspired by Winograd and Winogender schemas, where each image is associated with a caption containing a pronoun relationship of subjects and objects in the scene. VisoGender is balanced by gender representation in professional roles, supporting bias evaluation in two ways: i) resolution bias, where we evaluate the difference between pronoun resolution accuracies for image subjects with gender presentations perceived as masculine versus feminine by human annotators and ii) retrieval bias, where we compare ratios of professionals perceived to have masculine and feminine gender presentations retrieved for a gender-neutral search query. We benchmark several state-of-the-art vision-language models and find that they demonstrate bias in resolving binary gender in complex scenes. While the direction and magnitude of gender bias depends on the task and the model being evaluated, captioning models are generally less biased than Vision-Language Encoders. Dataset and code are available at https://github.com/oxai/visogender

arxiv情報

提供元, 利用サービス

arxiv.jp, Google