Probabilistically Robust Learning: Balancing Average- and Worst-case Performance

要約

機械学習の成功の多くは、平均化された損失関数を最小化することに基づいている。しかし、このパラダイムはロバスト性の問題を抱えていることがよく知られており、セーフティクリティカルな領域への適用を阻んでいる。このような問題に対しては、最悪のケースを想定した学習（敵対的学習）がよく用いられます。経験的には効果的であるが、敵対的学習は過度に保守的であり、名目上の性能とロバスト性の間の好ましくないトレードオフをもたらすことがある。このため、本論文では確率的ロバスト性という枠組みを提案する。この枠組みは、すべての摂動に対してではなく、ほとんどの摂動に対してロバスト性を強制することにより、正確だが脆い平均ケースと、ロバストだが保守的な最悪ケースの間のギャップを埋めるものである。理論的には、このフレームワークは、ワーストケース学習と平均ケース学習の性能とサンプル数のトレードオフを克服している。実用的な観点からは、リスクを考慮した最適化に基づく新しいアルゴリズムを提案し、敵対的学習に比べてかなり低い計算コストで平均ケースとワーストケースの性能を効果的にバランスさせることができる。MNIST、CIFAR-10、SVHNにおける我々の結果は、平均ケースから最悪ケースまでの頑健性の範囲において、このフレームワークの利点を示している。

要約(オリジナル)

Many of the successes of machine learning are based on minimizing an averaged loss function. However, it is well-known that this paradigm suffers from robustness issues that hinder its applicability in safety-critical domains. These issues are often addressed by training against worst-case perturbations of data, a technique known as adversarial training. Although empirically effective, adversarial training can be overly conservative, leading to unfavorable trade-offs between nominal performance and robustness. To this end, in this paper we propose a framework called probabilistic robustness that bridges the gap between the accurate, yet brittle average case and the robust, yet conservative worst case by enforcing robustness to most rather than to all perturbations. From a theoretical point of view, this framework overcomes the trade-offs between the performance and the sample-complexity of worst-case and average-case learning. From a practical point of view, we propose a novel algorithm based on risk-aware optimization that effectively balances average- and worst-case performance at a considerably lower computational cost relative to adversarial training. Our results on MNIST, CIFAR-10, and SVHN illustrate the advantages of this framework on the spectrum from average- to worst-case robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL