From Hope to Safety: Unlearning Biases of Deep Models by Enforcing the Right Reasons in Latent Space

要約

ディープ ニューラル ネットワークは、トレーニング データに埋め込まれた偽の相関を学習する傾向があり、潜在的に偏った予測につながります。
これは、医療アプリケーションなど、一か八かの意思決定にこれらのモデルを導入する場合にリスクをもたらします。
事後モデル修正の現在の方法は、空間的に局所的なバイアスに対してのみ可能である入力レベルのアノテーションを必要とするか、潜在特徴空間を拡張して、それによって正しい理由を強制することを期待しています。
勾配によるバイアスに対するモデルの感度を低減することで、概念レベルで正しい理由を保証する新しい方法を提案します。
コンセプト アクティベーション ベクトルを介してバイアスをモデル化する場合、サポート ベクター マシンなどの従来の回帰ベースのアプローチでは方向が発散する傾向があるため、堅牢な方向を選択することの重要性を強調します。
VGG、ResNet、および EfficientNet アーキテクチャを使用して、ISIC、骨年齢、ImageNet、および CelebA データセット上の制御された現実世界の設定におけるバイアスを効果的に軽減します。

要約(オリジナル)

Deep Neural Networks are prone to learning spurious correlations embedded in the training data, leading to potentially biased predictions. This poses risks when deploying these models for high-stake decision-making, such as in medical applications. Current methods for post-hoc model correction either require input-level annotations, which are only possible for spatially localized biases, or augment the latent feature space, thereby hoping to enforce the right reasons. We present a novel method ensuring the right reasons on the concept level by reducing the model’s sensitivity towards biases through the gradient. When modeling biases via Concept Activation Vectors, we highlight the importance of choosing robust directions, as traditional regression-based approaches such as Support Vector Machines tend to result in diverging directions. We effectively mitigate biases in controlled and real-world settings on the ISIC, Bone Age, ImageNet and CelebA datasets using VGG, ResNet and EfficientNet architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google