Learning Fair Robustness via Domain Mixup

要約

敵対的トレーニングは、敵対的攻撃に対して堅牢な分類子をトレーニングするための主要な手法の 1 つです。
しかし、最近の研究では、分類器全体を堅牢にする敵対的トレーニングが、必ずしもすべてのクラスに同等の堅牢性を提供するとは限らないことが判明しました。
この論文では、公平でロバストな分類器を学習する問題に対してミックスアップを使用することを提案します。これにより、すべてのクラスにわたって同様のロバスト性を実現できます。
具体的には、同じクラスからの入力を混合し、混合された入力に対して敵対的トレーニングを実行するというアイデアです。
我々は、線形分類器の場合についてこのアイデアの理論的分析を提示し、敵対的トレーニングと組み合わせたミックスアップがクラスごとの堅牢性の不均衡を明らかに削減できることを示します。
この方法は、階級ごとの敵対的リスクの格差の縮小に貢献するだけでなく、階級ごとの自然リスクの格差の縮小にも貢献します。
私たちの理論的分析を補完するために、合成データと現実世界のデータセット (CIFAR-10) の両方に関する実験結果も提供します。これは、自然リスクと敵対的リスクの両方についてクラスごとの格差が改善されていることを示しています。

要約(オリジナル)

Adversarial training is one of the predominant techniques for training classifiers that are robust to adversarial attacks. Recent work, however has found that adversarial training, which makes the overall classifier robust, it does not necessarily provide equal amount of robustness for all classes. In this paper, we propose the use of mixup for the problem of learning fair robust classifiers, which can provide similar robustness across all classes. Specifically, the idea is to mix inputs from the same classes and perform adversarial training on mixed up inputs. We present a theoretical analysis of this idea for the case of linear classifiers and show that mixup combined with adversarial training can provably reduce the class-wise robustness disparity. This method not only contributes to reducing the disparity in class-wise adversarial risk, but also the class-wise natural risk. Complementing our theoretical analysis, we also provide experimental results on both synthetic data and the real world dataset (CIFAR-10), which shows improvement in class wise disparities for both natural and adversarial risks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google