Towards Fair Class-wise Robustness: Class Optimal Distribution Adversarial Training

要約

敵対的トレーニングは、敵対的攻撃に対するディープ ニューラル ネットワークの堅牢性を向上させるための非常に効果的な方法であることが証明されています。
それにもかかわらず、異なるクラス間での堅牢性の大幅な差を特徴とする、堅牢な公平性の点で限界があることが観察されています。
この問題を軽減するための最近の取り組みは、クラスごとに再重み付けされたメソッドに移行しています。
ただし、これらの方法では、主に既存のヒューリスティック アルゴリズムや重みの計算に依存するため、厳密な理論的分析が不足しており、重み空間の探索が制限されています。
さらに、これらの方法では、重みとモデル パラメーターの最適化が分離されているため、最適化方向の一貫性を保証できません。
これらは潜在的に次善の重み割り当てにつながり、その結果、次善のモデルにつながる可能性があります。
これらの問題に対処するために、この論文では、新しい最小-最大トレーニング フレームワークであるクラス最適分布敵対的トレーニング (CODAT) を提案します。このフレームワークは、分布的にロバストな最適化を採用してクラスごとの重み空間を完全に調査し、理論に基づいて最適な重みを特定できるようにします。
保証します。
さらに、内部最大化に対する閉形式の最適解を導出し、決定論的な等価目的関数を取得します。これは、重みとモデル パラメーターの同時最適化の理論的基礎を提供します。
一方、ロバスト性とロバスト公平性の両方に関するアルゴリズムを評価するための公平性弾性係数を提案します。
さまざまなデータセットに関する実験結果は、提案された方法がモデルのロバストな公平性を効果的に改善し、最先端のアプローチを上回るパフォーマンスを発揮できることを示しています。

要約(オリジナル)

Adversarial training has proven to be a highly effective method for improving the robustness of deep neural networks against adversarial attacks. Nonetheless, it has been observed to exhibit a limitation in terms of robust fairness, characterized by a significant disparity in robustness across different classes. Recent efforts to mitigate this problem have turned to class-wise reweighted methods. However, these methods suffer from a lack of rigorous theoretical analysis and are limited in their exploration of the weight space, as they mainly rely on existing heuristic algorithms or intuition to compute weights. In addition, these methods fail to guarantee the consistency of the optimization direction due to the decoupled optimization of weights and the model parameters. They potentially lead to suboptimal weight assignments and consequently, a suboptimal model. To address these problems, this paper proposes a novel min-max training framework, Class Optimal Distribution Adversarial Training (CODAT), which employs distributionally robust optimization to fully explore the class-wise weight space, thus enabling the identification of the optimal weight with theoretical guarantees. Furthermore, we derive a closed-form optimal solution to the internal maximization and then get a deterministic equivalent objective function, which provides a theoretical basis for the joint optimization of weights and model parameters. Meanwhile, we propose a fairness elasticity coefficient for the evaluation of the algorithm with regard to both robustness and robust fairness. Experimental results on various datasets show that the proposed method can effectively improve the robust fairness of the model and outperform the state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google