Towards Fairness for the Right Reasons: Using Saliency Maps to Evaluate Bias Removal in Neural Networks

要約

機械学習システムの広範な採用は、公平性とバイアスに関する重要な懸念を提起し、AI開発に不可欠な有害なバイアスを軽減しています。
この論文では、コンピュータービジョンタスクに適用されるニューラルネットワークにおける公平性の改善と有害なバイアスの除去との関係を調査します。
まず、モデルの意思決定プロセスのシフトを評価するために顕著性マップを分析する新しいXaiベースのメトリックのセットを紹介します。
次に、成功したデビアティングメソッドが、保護された属性からモデルの焦点を体系的にリダイレクトすることを実証します。
さらに、もともとアーティファクトの除去のために開発された技術は、公平のために効果的に再利用できることを示しています。
これらの調査結果は、モデルが正しい理由で公平であることを保証することの重要性を強調し、より倫理的で信頼できるAIシステムの開発に貢献しています。

要約(オリジナル)

The widespread adoption of machine learning systems has raised critical concerns about fairness and bias, making mitigating harmful biases essential for AI development. In this paper, we investigate the relationship between fairness improvement and the removal of harmful biases in neural networks applied to computer vision tasks. First, we introduce a set of novel XAI-based metrics that analyze saliency maps to assess shifts in a model’s decision-making process. Then, we demonstrate that successful debiasing methods systematically redirect model focus away from protected attributes. Additionally, we show that techniques originally developed for artifact removal can be effectively repurposed for fairness. These findings underscore the importance of ensuring that models are fair for the right reasons, contributing to the development of more ethical and trustworthy AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google