Fairness-aware Vision Transformer via Debiased Self-Attention

要約

Vision Transformer (ViT) は、自己注意メカニズムを通じて有益な特徴を抽出し、長距離の依存関係をモデル化する機能により、コンピューター ビジョン (CV) 問題の解決に最近大きな関心を集めています。
現実世界のアプリケーションで ViT の利点を十分に理解するために、最近の研究では、堅牢性や説明可能性を含め、ViT の信頼性が調査されています。
しかし、もう 1 つの要望である公平性については、文献ではまだ十分に取り上げられていません。
既存の公平性を意識したアルゴリズム (主に CNN 用に設計された) は ViT ではうまく機能しないことが確認されています。
このため、偏りのない自己注意 (DSA) による新しいフレームワークを開発する必要があります。
DSA は、バイアスを軽減するために機密属性に相関する偽の特徴を排除するよう ViT に強制するブラインドネスによる公平性アプローチです。
特に、敵対的な例は、入力画像パッチ内の偽の特徴を特定してマスクするために利用されます。
さらに、DSA はトレーニング目標でアテンション ウェイト アラインメント レギュラーライザーを利用して、ターゲット予測のための有益な特徴の学習を促進します。
重要なのは、当社の DSA フレームワークにより、ターゲット予測のパフォーマンスを損なうことなく、複数の予測タスクに対する以前の作業よりも公平性の保証が向上することです。

要約(オリジナル)

Vision Transformer (ViT) has recently gained significant interest in solving computer vision (CV) problems due to its capability of extracting informative features and modeling long-range dependencies through the self-attention mechanism. To fully realize the advantages of ViT in real-world applications, recent works have explored the trustworthiness of ViT, including its robustness and explainability. However, another desiderata, fairness has not yet been adequately addressed in the literature. We establish that the existing fairness-aware algorithms (primarily designed for CNNs) do not perform well on ViT. This necessitates the need for developing our novel framework via Debiased Self-Attention (DSA). DSA is a fairness-through-blindness approach that enforces ViT to eliminate spurious features correlated with the sensitive attributes for bias mitigation. Notably, adversarial examples are leveraged to locate and mask the spurious features in the input image patches. In addition, DSA utilizes an attention weights alignment regularizer in the training objective to encourage learning informative features for target prediction. Importantly, our DSA framework leads to improved fairness guarantees over prior works on multiple prediction tasks without compromising target prediction performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google