Attention IoU: Examining Biases in CelebA using Attention Maps

要約

コンピュータービジョンモデルは、幅広いデータセットとタスクにわたってバイアスを展示および増幅することが示されています。
分類モデルのバイアスを定量化するための既存の方法は、主にサブグループのデータセット分布とモデルのパフォーマンスに焦点を当て、モデルの内部ワーキングを見落としています。
注意マップを使用してモデルの内部表現内のバイアスを明らかにし、潜在的にバイアスを引き起こす画像機能を特定するために、注意マップを使用して、注意マップ（組合上の注意交差）メトリックと関連スコアを紹介します。
まず、合成水鳥データセットで注意を検証し、メトリックがモデルバイアスを正確に測定することを示します。
次に、celebaデータセットを分析して、注意が正確さの格差を超えて相関関係を明らかにしていることがわかります。
男性の保護された属性を通じて個々の属性の調査を通じて、セレバでバイアスが表現される明確な方法を調べます。
最後に、属性相関を変更するためにトレーニングセットをサブサンプリングすることにより、注意 – データセットラベルに存在しない潜在的な交絡変数が明らかになることを示します。

要約(オリジナル)

Computer vision models have been shown to exhibit and amplify biases across a wide array of datasets and tasks. Existing methods for quantifying bias in classification models primarily focus on dataset distribution and model performance on subgroups, overlooking the internal workings of a model. We introduce the Attention-IoU (Attention Intersection over Union) metric and related scores, which use attention maps to reveal biases within a model’s internal representations and identify image features potentially causing the biases. First, we validate Attention-IoU on the synthetic Waterbirds dataset, showing that the metric accurately measures model bias. We then analyze the CelebA dataset, finding that Attention-IoU uncovers correlations beyond accuracy disparities. Through an investigation of individual attributes through the protected attribute of Male, we examine the distinct ways biases are represented in CelebA. Lastly, by subsampling the training set to change attribute correlations, we demonstrate that Attention-IoU reveals potential confounding variables not present in dataset labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google