Evaluating the Fairness of Discriminative Foundation Models in Computer Vision

要約

我々は、ラベル付けタスクに使用されるContrastive Language-Pretraining (CLIP)などの識別基礎モデルのバイアス評価のための新しい分類法を提案します。
次に、分類法に関してこれらのモデルのバイアスを軽減するための既存の方法を系統的に評価します。
具体的には、ゼロショット分類、画像検索、画像キャプションなどの主要なアプリケーションについて、OpenAI の CLIP および OpenCLIP モデルを評価します。
私たちは、次の 3 つの軸に基づいて望ましい行動を分類します。(i) タスクが人間に関するものであるかどうか。
(ii) タスクがどの程度主観的であるか (つまり、さまざまな背景を持つ人々がラベル付けに同意する可能性がどの程度あるか)。
(iii) タスクの意図された目的、および公平性を保つには、公平性 (つまり、保護されている属性に依存せずに意思決定を行う) または代表性 (つまり、多様性を最大化するための意思決定を行う) のどちらが適しているか。
最後に、10 の多様なデータセットにわたって、バイナリ値と多値の両方の保護属性の定量的公平性評価を提供します。
公平な表現のための後処理方法である公平な PCA は、前述のタスクのほとんどでバイアスの除去に非常にうまく機能し、パフォーマンスの低下はわずかであることがわかりました。
ただし、さまざまなバイアス除去アプローチの有効性はタスクに応じて異なります。
したがって、特定の使用例に応じてバイアス除去アプローチを選択する必要があります。

要約(オリジナル)

We propose a novel taxonomy for bias evaluation of discriminative foundation models, such as Contrastive Language-Pretraining (CLIP), that are used for labeling tasks. We then systematically evaluate existing methods for mitigating bias in these models with respect to our taxonomy. Specifically, we evaluate OpenAI’s CLIP and OpenCLIP models for key applications, such as zero-shot classification, image retrieval and image captioning. We categorize desired behaviors based around three axes: (i) if the task concerns humans; (ii) how subjective the task is (i.e., how likely it is that people from a diverse range of backgrounds would agree on a labeling); and (iii) the intended purpose of the task and if fairness is better served by impartiality (i.e., making decisions independent of the protected attributes) or representation (i.e., making decisions to maximize diversity). Finally, we provide quantitative fairness evaluations for both binary-valued and multi-valued protected attributes over ten diverse datasets. We find that fair PCA, a post-processing method for fair representations, works very well for debiasing in most of the aforementioned tasks while incurring only minor loss of performance. However, different debiasing approaches vary in their effectiveness depending on the task. Hence, one should choose the debiasing approach depending on the specific use case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google