The Price of Implicit Bias in Adversarially Robust Generalization

要約

我々は、ロバストな経験的リスク最小化（ロバストなERM）における最適化の暗黙的なバイアスとロバストな一般化との関係を研究します。
線形モデルによる敵対的摂動下の分類設定では、(ロバストな) 一般化を向上させるために、特定の摂動セットにどのような種類の正則化を理想的に適用すべきかを研究します。
次に、堅牢な ERM における最適化の暗黙的なバイアスがモデルの堅牢性に大きな影響を与える可能性があることを示し、これが発生する 2 つの方法を特定します。
最適化アルゴリズムまたはアーキテクチャを通じて。
私たちは合成データを使用したシミュレーションで予測を検証し、ディープ ニューラル ネットワークを使用した堅牢な ERM における暗黙的なバイアスの重要性を実験的に研究します。

要約(オリジナル)

We study the implicit bias of optimization in robust empirical risk minimization (robust ERM) and its connection with robust generalization. In classification settings under adversarial perturbations with linear models, we study what type of regularization should ideally be applied for a given perturbation set to improve (robust) generalization. We then show that the implicit bias of optimization in robust ERM can significantly affect the robustness of the model and identify two ways this can happen; either through the optimization algorithm or the architecture. We verify our predictions in simulations with synthetic data and experimentally study the importance of implicit bias in robust ERM with deep neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google