Explaining Visual Biases as Words by Generating Captions

要約

画像分類器の潜在的なバイアスを診断することを目指しています。
この目的のために、以前の作品は手動でラベル付けされた偏った属性または視覚化された偏った特徴であり、高い注釈コストが必要であるか、しばしば解釈があいまいです。
代わりに、事前にトレーニングされた視覚言語モデルの 2 種類 (生成型と識別型) を活用して、視覚バイアスを単語として記述します。
具体的には、事前トレーニング済みのキャプションモデルを使用して予測ミスの画像のキャプションを生成し、視覚的バイアスを説明する可能性のある一般的なキーワードを抽出するバイアストゥテキスト (B2T) を提案します。
次に、クラスごとに誤って予測された画像の類似性と、事前にトレーニングされた視覚言語ジョイント埋め込み空間のキーワードに基づいて、それがクラスに固有であるか不可知論的であるかをチェックすることにより、バイアスの種類をスプリアス相関または多数派バイアスとして分類します。
例えば、クリップ。
提案されたシンプルで直感的なスキームが、よく知られている性別と背景のバイアスを回復し、現実世界のデータセットで新しいものを発見できることを示します。
さらに、B2T を利用して、異なるアーキテクチャまたはトレーニング方法を使用して分類子を比較します。
最後に、B2T バイアス キーワードと CLIP を使用して、ゼロ ショットとフル ショットの両方の方法で、バイアスに関する人間の注釈を使用せずに、バイアスの軽減された分類子を取得できることを示します。

要約(オリジナル)

We aim to diagnose the potential biases in image classifiers. To this end, prior works manually labeled biased attributes or visualized biased features, which need high annotation costs or are often ambiguous to interpret. Instead, we leverage two types (generative and discriminative) of pre-trained vision-language models to describe the visual bias as a word. Specifically, we propose bias-to-text (B2T), which generates captions of the mispredicted images using a pre-trained captioning model to extract the common keywords that may describe visual biases. Then, we categorize the bias type as spurious correlation or majority bias by checking if it is specific or agnostic to the class, based on the similarity of class-wise mispredicted images and the keyword upon a pre-trained vision-language joint embedding space, e.g., CLIP. We demonstrate that the proposed simple and intuitive scheme can recover well-known gender and background biases, and discover novel ones in real-world datasets. Moreover, we utilize B2T to compare the classifiers using different architectures or training methods. Finally, we show that one can obtain debiased classifiers using the B2T bias keywords and CLIP, in both zero-shot and full-shot manners, without using any human annotation on the bias.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google