Fairness-aware Vision Transformer via Debiased Self-Attention

要約

ビジョン トランスフォーマー (ViT) は、有益な特徴を抽出し、自己注意メカニズムを介して長期的な依存関係をモデル化する機能により、コンピューター ビジョン (CV) の問題を解決することに最近大きな関心を集めています。
実世界のアプリケーションで ViT の利点を完全に実現するために、最近の研究では、堅牢性や説明可能性など、ViT の信頼性が調査されています。
ただし、もう 1 つの必要事項である公平性については、文献ではまだ十分に扱われていません。
既存の公平性を意識したアルゴリズム (主に CNN 用に設計されたもの) は、ViT ではうまく機能しないことがわかりました。
これには、Debiased Self-Attention (DSA) を介して新しいフレームワークを開発する必要があります。
DSA は、偏見を軽減するために機密属性と相関する偽の特徴を ViT に強制的に排除させる、盲目的な公平性アプローチです。
特に、敵対的な例を活用して、入力画像パッチの偽の特徴を見つけてマスクします。
さらに、DSA はトレーニング目的でアテンション ウェイト アラインメント正則化を利用して、ターゲット予測のための有益な機能の学習を促進します。
重要なことは、私たちの DSA フレームワークは、ターゲット予測のパフォーマンスを損なうことなく、複数の予測タスクに関する以前の作業よりも公平性の保証を改善することにつながります。

要約(オリジナル)

Vision Transformer (ViT) has recently gained significant interest in solving computer vision (CV) problems due to its capability of extracting informative features and modeling long-range dependencies through the self-attention mechanism. To fully realize the advantages of ViT in real-world applications, recent works have explored the trustworthiness of ViT, including its robustness and explainability. However, another desiderata, fairness has not yet been adequately addressed in the literature. We establish that the existing fairness-aware algorithms (primarily designed for CNNs) do not perform well on ViT. This necessitates the need for developing our novel framework via Debiased Self-Attention (DSA). DSA is a fairness-through-blindness approach that enforces ViT to eliminate spurious features correlated with the sensitive attributes for bias mitigation. Notably, adversarial examples are leveraged to locate and mask the spurious features in the input image patches. In addition, DSA utilizes an attention weights alignment regularizer in the training objective to encourage learning informative features for target prediction. Importantly, our DSA framework leads to improved fairness guarantees over prior works on multiple prediction tasks without compromising target prediction performance

arxiv情報

提供元, 利用サービス

arxiv.jp, Google