Certified Robust Accuracy of Neural Networks Are Bounded due to Bayes Errors

要約

敵対的な例は、ニューラル ネットワーク上に構築された多くの重要なシステムにセキュリティ上の脅威をもたらします。
認定トレーニングにより堅牢性は向上しますが、精度も著しく低下します。
この問題に対処するためのさまざまな提案にもかかわらず、精度の大幅な低下が依然として残っています。
さらに重要なことは、精度を維持しながら堅牢性を達成する上で、一定の基本的な制限があるかどうかが明らかになっていないことです。
この研究では、ベイズ誤差に基づいた新しい視点を提供します。
ロバスト性分析にベイズ誤差を採用することで、データ分布の不確実性を考慮して、認定されたロバスト精度の限界を調査します。
まず、ロバスト性を追求すると、データ分布が変化するとベイズ誤差が変化するため、必然的に精度が低下することを示す。
その後、個々のクラスの分布とその境界を考慮して、保証された堅牢な精度の上限を確立します。
私たちの理論的結果は実世界のデータセットで経験的に評価されており、既存の認定トレーニング結果の限定的な成功と一致していることが示されています。たとえば、CIFAR10 の場合、私たちの分析結果は（認定された堅牢な精度の）上限が 67.49% です。
一方、既存のアプローチでは、2017 年の 53.89\% から 2023 年の 62.84\% までしか増加できません。

要約(オリジナル)

Adversarial examples pose a security threat to many critical systems built on neural networks. While certified training improves robustness, it also decreases accuracy noticeably. Despite various proposals for addressing this issue, the significant accuracy drop remains. More importantly, it is not clear whether there is a certain fundamental limit on achieving robustness whilst maintaining accuracy. In this work, we offer a novel perspective based on Bayes errors. By adopting Bayes error to robustness analysis, we investigate the limit of certified robust accuracy, taking into account data distribution uncertainties. We first show that the accuracy inevitably decreases in the pursuit of robustness due to changed Bayes error in the altered data distribution. Subsequently, we establish an upper bound for certified robust accuracy, considering the distribution of individual classes and their boundaries. Our theoretical results are empirically evaluated on real-world datasets and are shown to be consistent with the limited success of existing certified training results, e.g., for CIFAR10, our analysis results in an upper bound (of certified robust accuracy) of 67.49\%, meanwhile existing approaches are only able to increase it from 53.89\% in 2017 to 62.84\% in 2023.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google