1-Lipschitz Layers Compared: Memory, Speed, and Certifiable Robustness

要約

大きさが制限された入力摂動に対するニューラル ネットワークの堅牢性は、セーフティ クリティカルなシステムでの深層学習モデルの展開において重大な懸念事項となります。
最近、科学コミュニティは、リプシッツ有界の密層と畳み込み層を活用する 1-リプシッツ ニューラル ネットワークを作成することにより、認証可能な堅牢性の保証を強化することに焦点を当てています。
この目標を達成するために文献ではさまざまな方法が提案されていますが、アプリケーションごとに異なる指標（トレーニング時間、メモリ使用量、精度、証明可能な堅牢性など）が関連する可能性があるため、そのような方法のパフォーマンスを理解するのは簡単ではありません。
このため、この研究では、メモリ使用量、速度、および証明可能な堅牢な精度の観点からメソッドを評価することにより、メソッド間の徹底的な理論的および経験的比較を提供します。
このペーパーでは、利用可能なリソースに応じて最適な方法をユーザーが選択できるようにするための、いくつかのガイドラインと推奨事項も提供します。
コードは https://github.com/berndprach/1LipschitzLayersCompare で提供されています。

要約(オリジナル)

The robustness of neural networks against input perturbations with bounded magnitude represents a serious concern in the deployment of deep learning models in safety-critical systems. Recently, the scientific community has focused on enhancing certifiable robustness guarantees by crafting 1-Lipschitz neural networks that leverage Lipschitz bounded dense and convolutional layers. Although different methods have been proposed in the literature to achieve this goal, understanding the performance of such methods is not straightforward, since different metrics can be relevant (e.g., training time, memory usage, accuracy, certifiable robustness) for different applications. For this reason, this work provides a thorough theoretical and empirical comparison between methods by evaluating them in terms of memory usage, speed, and certifiable robust accuracy. The paper also provides some guidelines and recommendations to support the user in selecting the methods that work best depending on the available resources. We provide code at https://github.com/berndprach/1LipschitzLayersCompared.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google