Some Intriguing Aspects about Lipschitz Continuity of Neural Networks

要約

リプシッツの連続性は、あらゆる予測モデルの重要な機能特性であり、その堅牢性、一般化、および敵対的な脆弱性を自然に制御します。
より厳密な境界を取得し、特定のリプシッツ特性を強制するためのさまざまな実践的な戦略を開発することに焦点を当てた他の研究とは対照的に、私たちはニューラル ネットワークのリプシッツ動作を徹底的に調査し、特徴付けることを目的としています。
したがって、最も単純で最も一般的な下限と上限の限界を徹底的に調べることによって、さまざまな設定 (つまり、アーキテクチャ、データセット、ラベル ノイズなど) で実証的調査を実行します。
この調査のハイライトとして、リプシッツの下限の驚くべき忠実度を紹介し、リプシッツの上限と下限の両方で顕著な二重降下傾向を特定し、関数の滑らかさと一般化に対するラベル ノイズの興味深い影響を説明します。

要約(オリジナル)

Lipschitz continuity is a crucial functional property of any predictive model, that naturally governs its robustness, generalisation, as well as adversarial vulnerability. Contrary to other works that focus on obtaining tighter bounds and developing different practical strategies to enforce certain Lipschitz properties, we aim to thoroughly examine and characterise the Lipschitz behaviour of Neural Networks. Thus, we carry out an empirical investigation in a range of different settings (namely, architectures, datasets, label noise, and more) by exhausting the limits of the simplest and the most general lower and upper bounds. As a highlight of this investigation, we showcase a remarkable fidelity of the lower Lipschitz bound, identify a striking Double Descent trend in both upper and lower bounds to the Lipschitz and explain the intriguing effects of label noise on function smoothness and generalisation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google