SANER: Annotation-free Societal Attribute Neutralizer for Debiasing CLIP

要約

CLIP などの大規模な視覚言語モデルには、保護された属性 (性別や年齢など) に関する有害な社会的偏見が含まれていることが知られています。
この論文では、CLIP における社会的偏見の問題に取り組むことを目的としています。
これまでの研究では、敵対的学習やテスト時の投影を通じて社会的偏見を解消することが提案されていましたが、これらの研究に関する私たちの包括的な研究では、1) 入力で明示的に開示された場合の属性情報の損失、2) 属性の使用という 2 つの重大な制限が特定されました。
バイアス除去プロセス中の注釈。
CLIP における社会的偏見を軽減し、これらの制限を同時に克服するために、属性中立的な説明のみの CLIP テキスト特徴から属性情報を削除する、SANER (社会的属性中和器) と呼ばれる、シンプルかつ効果的なバイアス緩和手法を導入します。
実験結果は、属性アノテーションを必要とせず、属性固有の記述の元の情報を保存する SANER が、既存の手法よりも優れたバイアス除去能力を実証することを示しています。

要約(オリジナル)

Large-scale vision-language models, such as CLIP, are known to contain harmful societal bias regarding protected attributes (e.g., gender and age). In this paper, we aim to address the problems of societal bias in CLIP. Although previous studies have proposed to debias societal bias through adversarial learning or test-time projecting, our comprehensive study of these works identifies two critical limitations: 1) loss of attribute information when it is explicitly disclosed in the input and 2) use of the attribute annotations during debiasing process. To mitigate societal bias in CLIP and overcome these limitations simultaneously, we introduce a simple-yet-effective debiasing method called SANER (societal attribute neutralizer) that eliminates attribute information from CLIP text features only of attribute-neutral descriptions. Experimental results show that SANER, which does not require attribute annotations and preserves original information for attribute-specific descriptions, demonstrates superior debiasing ability than the existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google