Principal Eigenvalue Regularization for Improved Worst-Class Certified Robustness of Smoothed Classifiers

要約

最近の研究では、「堅牢な公平性」として知られる深いニューラルネットワーク（DNNS）における重大な課題が特定されており、モデルは異なるクラスで堅牢な精度で有意な格差を示しています。
以前の研究では、この問題に敵対的な堅牢性に対処しようとしましたが、平滑化された分類器に対する最悪の認定堅牢性の研究は未開拓のままです。
私たちの仕事は、平滑化された分類器の最悪のクラスのエラーに縛られたPACベイジアンを開発することにより、このギャップを橋渡しします。
理論分析を通じて、滑らかな混乱マトリックスの最大の固有値が、平滑化された分類器の最悪のクラスエラーに根本的に影響することを実証します。
この洞察に基づいて、平滑化された混乱マトリックスの最大の固有値を最適化して、平滑化された分類器の最悪のクラスの精度を高め、最悪のクラスの認定堅牢性をさらに向上させる正規化方法を導入します。
複数のデータセットとモデルアーキテクチャで広範な実験的検証を提供して、アプローチの有効性を実証します。

要約(オリジナル)

Recent studies have identified a critical challenge in deep neural networks (DNNs) known as “robust fairness’, where models exhibit significant disparities in robust accuracy across different classes. While prior work has attempted to address this issue in adversarial robustness, the study of worst-class certified robustness for smoothed classifiers remains unexplored. Our work bridges this gap by developing a PAC-Bayesian bound for the worst-class error of smoothed classifiers. Through theoretical analysis, we demonstrate that the largest eigenvalue of the smoothed confusion matrix fundamentally influences the worst-class error of smoothed classifiers. Based on this insight, we introduce a regularization method that optimizes the largest eigenvalue of smoothed confusion matrix to enhance worst-class accuracy of the smoothed classifier and further improve its worst-class certified robustness. We provide extensive experimental validation across multiple datasets and model architectures to demonstrate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google