Direct Parameterization of Lipschitz-Bounded Deep Networks

要約

タイトル：リプシッツ制限を持つ深層ネットワークの直接パラメータ化
要約：
– この論文は、保証されたリプシッツ制限（すなわち、摂動への感度の限界）を持つ深層ニューラルネットワーク（完全接続型および畳み込み型の両方）の新しいパラメータ化を紹介しています。
– リプシッツ保証は、大規模なモデルに対してスケーリングしない半正定値プログラム（SDP）による認証に基づく最も厳密な制限に相当します。
– SDPの手法とは対照的に、我々は「直接」パラメータ化を提供し、つまりリプシッツ制限を持つネットワークの重みの集合から$\mathbb R^N$における滑らかなマッピングを提供します。
– これは、計算的に負荷の高いプロジェクションやバリア項なしで標準的な勾配法によるトレーニングを可能にします。
– 新しいパラメータ化は同じく新しいレイヤータイプ（\textit{sandwich layer}）として、または隣接するレイヤー間でのパラメータ共有を持つ標準的なフィードフォワードネットワークの新しいパラメータ化とみなすことができます。
– 最後に、画像分類に関する包括的な実験セットにより、サンドイッチ層が従来の方法よりも実証された頑健性と正確性の両方で優れた成績を収めていることが示されています。

要約(オリジナル)

This paper introduces a new parameterization of deep neural networks (both fully-connected and convolutional) with guaranteed Lipschitz bounds, i.e. limited sensitivity to perturbations. The Lipschitz guarantees are equivalent to the tightest-known bounds based on certification via a semidefinite program (SDP), which does not scale to large models. In contrast to the SDP approach, we provide a “direct” parameterization, i.e. a smooth mapping from $\mathbb R^N$ onto the set of weights of Lipschitz-bounded networks. This enables training via standard gradient methods, without any computationally intensive projections or barrier terms. The new parameterization can equivalently be thought of as either a new layer type (the \textit{sandwich layer}), or a novel parameterization of standard feedforward networks with parameter sharing between neighbouring layers. Finally, the comprehensive set of experiments on image classification shows that sandwich layers outperform previous approaches on both empirical and certified robust accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI