Some Fundamental Aspects about Lipschitz Continuity of Neural Network Functions

要約

リプシッツ連続性は、堅牢性、一般化、および敵対的脆弱性の中核にある予測モデルのシンプルでありながら極めて重要な機能的特性です。
私たちの目的は、ニューラル ネットワークを介して学習された関数のリプシッツ動作を徹底的に調査し、特徴付けることです。
近年の範囲の大幅な引き締めにもかかわらず、リプシッツ定数を正確に推定することは依然として実際的な課題であり、厳密な理論的分析も同様に扱いにくいままです。
したがって、視点を変えて、代わりに、最も単純で最も一般的な上限と下限に頼ることによって、ニューラル ネットワーク関数のリプシッツ定数の性質に関する洞察を明らかにしようとします。
さまざまな設定 (アーキテクチャ、損失、オプティマイザー、ラベル ノイズなど) で実証的調査を行い、ニューラル ネットワーク関数のリプシッツ連続性のいくつかの基本的で興味深い特性を明らかにします。
リプシッツ定数の上限と下限の両方の降下傾向は、テスト損失の典型的な二重降下傾向と密接に一致しています。

要約(オリジナル)

Lipschitz continuity is a simple yet pivotal functional property of any predictive model that lies at the core of its robustness, generalisation, and adversarial vulnerability. Our aim is to thoroughly investigate and characterise the Lipschitz behaviour of the functions learned via neural networks. Despite the significant tightening of the bounds in the recent years, precisely estimating the Lipschitz constant continues to be a practical challenge and tight theoretical analyses, similarly, remain intractable. Therefore, we shift our perspective and instead attempt to uncover insights about the nature of Lipschitz constant of neural networks functions — by relying on the simplest and most general upper and lower bounds. We carry out an empirical investigation in a range of different settings (architectures, losses, optimisers, label noise, etc.), which reveals several fundamental and intriguing traits of the Lipschitz continuity of neural networks functions, In particular, we identify a remarkable double descent trend in both upper and lower bounds to the Lipschitz constant which tightly aligns with the typical double descent trend in the test loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google