It begins with a boundary: A geometric view on probabilistically robust learning

要約

ディープ ニューラル ネットワークは、多くの分類タスクで超人間的なパフォーマンスを達成していますが、多くの場合、敵対的に生成された例に対する堅牢性が懸念されるほど欠如しています。
したがって、標準的なリスク最小化 (RM) を敵対的に堅牢なフレームワークに再定式化するために多大な努力が費やされてきました。
最近では、敵対的トレーニングによってもたらされる堅牢性と、RM のより高いクリーンな精度とより速いトレーニング時間の間を補間するアプローチに注目が移ってきています。
この論文では、そのような手法の 1 つである確率的ロバスト学習 (PRL) について、新鮮かつ幾何学的観点から考察します。
我々は、PRL を理解するための数学的枠組みを提案します。これにより、元の定式化における幾何学的病状を特定し、それらを修正するために確率的非局所的周囲汎関数のファミリーを導入することができます。
新しい緩和法を使用して元の問題と修正された問題に対する解決策の存在を証明し、導入された境界の特性と局所限界も研究します。
また、適切な $\Gamma$ 収束分析を通じて、元の PRL モデルと修正された PRL モデルがリスク最小化と敵対的トレーニングの間を補間する方法を明らかにします。

要約(オリジナル)

Although deep neural networks have achieved super-human performance on many classification tasks, they often exhibit a worrying lack of robustness towards adversarially generated examples. Thus, considerable effort has been invested into reformulating standard Risk Minimization (RM) into an adversarially robust framework. Recently, attention has shifted towards approaches which interpolate between the robustness offered by adversarial training and the higher clean accuracy and faster training times of RM. In this paper, we take a fresh and geometric view on one such method — Probabilistically Robust Learning (PRL). We propose a mathematical framework for understanding PRL, which allows us to identify geometric pathologies in its original formulation and to introduce a family of probabilistic nonlocal perimeter functionals to rectify them. We prove existence of solutions to the original and modified problems using novel relaxation methods and also study properties, as well as local limits, of the introduced perimeters. We also clarify, through a suitable $\Gamma$-convergence analysis, the way in which the original and modified PRL models interpolate between risk minimization and adversarial training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google