LipKernel: Lipschitz-Bounded Convolutional Neural Networks via Dissipative Layers

要約

我々は、規定のリプシッツ限界を強制することによる堅牢性保証を組み込んだ畳み込みニューラル ネットワーク (CNN) 用の新しい層ごとのパラメーター化を提案します。
パラメータ化の各層は、線形行列不等式 (LMI) を満たすように設計されており、これは特定の供給率に関する散逸率を意味します。
これらの層ごとの LMI は集合的に、ニューラル ネットワークの入出力マッピングのリプシッツ境界を保証し、スペクトル境界や直交層を介するよりも表現力豊かなパラメーター化を実現します。
私たちの新しいメソッド LipKernel は、2 次元 Roesser 型状態空間モデルを使用して散逸畳み込みカーネルを直接パラメータ化します。
これは、畳み込み層がトレーニング後に標準形式で与えられ、計算オーバーヘッドなしで評価できることを意味します。
数値実験では、私たちの手法を使用した実行時間が、フーリエ領域で畳み込みをパラメータ化する最先端のリプシッツ有界ネットワークよりも桁違いに高速であることを示し、学習のロバスト性を向上させる上で私たちのアプローチが特に魅力的であることを示しています。
ロボット工学、自動運転車、または自動化システムにおけるリアルタイムの認識または制御に基づいたもの。
私たちは CNN に焦点を当てており、これまでの研究とは対照的に、私たちのアプローチは、1 次元および 2 次元の畳み込み層、最大プーリング層と平均プーリング層、ストライド畳み込みと拡張畳み込み、および
ゼロパディング。
ただし、段階的に散逸する任意のレイヤーを組み込むことができるため、私たちのアプローチは当然 CNN を超えて拡張されます。

要約(オリジナル)

We propose a novel layer-wise parameterization for convolutional neural networks (CNNs) that includes built-in robustness guarantees by enforcing a prescribed Lipschitz bound. Each layer in our parameterization is designed to satisfy a linear matrix inequality (LMI), which in turn implies dissipativity with respect to a specific supply rate. Collectively, these layer-wise LMIs ensure Lipschitz boundedness for the input-output mapping of the neural network, yielding a more expressive parameterization than through spectral bounds or orthogonal layers. Our new method LipKernel directly parameterizes dissipative convolution kernels using a 2-D Roesser-type state space model. This means that the convolutional layers are given in standard form after training and can be evaluated without computational overhead. In numerical experiments, we show that the run-time using our method is orders of magnitude faster than state-of-the-art Lipschitz-bounded networks that parameterize convolutions in the Fourier domain, making our approach particularly attractive for improving robustness of learning-based real-time perception or control in robotics, autonomous vehicles, or automation systems. We focus on CNNs, and in contrast to previous works, our approach accommodates a wide variety of layers typically used in CNNs, including 1-D and 2-D convolutional layers, maximum and average pooling layers, as well as strided and dilated convolutions and zero padding. However, our approach naturally extends beyond CNNs as we can incorporate any layer that is incrementally dissipative.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google