L-Lipschitz Gershgorin ResNet Network

要約

深い残留ネットワーク（RESNET）は、ディープアーキテクチャを通る勾配の流れを維持する能力に起因する、コンピュータービジョンタスクでの顕著な成功を実証しています。
同時に、ニューラルネットワークにバインドされたリプシッツを制御することは、敵対的な堅牢性とネットワークの認定可能性を高めるための重要な研究領域として浮上しています。
このペーパーでは、厳密なアプローチを使用して、線形マトリックス不等式（LMI）フレームワークを使用して、$ \ mathcal {l} $ -lipschitzディープ残留ネットワークを設計します。
resNetアーキテクチャは、$ \ mathcal {l} $ -lipschitzの連続性を確保するために、ネットワークパラメーターの導出された閉じた要素と派生した閉じた形式を備えた擬似三角LMIとして再定式化されました。
このようなマトリックス構造の明示的な固有値計算の欠如に対処するために、Gershgorin Circle定理は、LMIの負の半定義を保証する固有値位置を近似するために使用されました。
私たちの貢献には、リプシッツが制約したネットワークを構築するための証明可能なパラメーター化方法論と、階層アーキテクチャ内で再帰システムを管理するための構成フレームワークが含まれます。
これらの調査結果により、敵対的な堅牢性、認定トレーニング、および制御システムに適用可能な堅牢なネットワーク設計が可能になります。
ただし、ガーシュゴリンベースの近似で制限が特定され、システムが過剰に制約され、非線形ダイナミクスが抑制され、ネットワークの表現能力が低下しました。

要約(オリジナル)

Deep residual networks (ResNets) have demonstrated outstanding success in computer vision tasks, attributed to their ability to maintain gradient flow through deep architectures. Simultaneously, controlling the Lipschitz bound in neural networks has emerged as an essential area of research for enhancing adversarial robustness and network certifiability. This paper uses a rigorous approach to design $\mathcal{L}$-Lipschitz deep residual networks using a Linear Matrix Inequality (LMI) framework. The ResNet architecture was reformulated as a pseudo-tri-diagonal LMI with off-diagonal elements and derived closed-form constraints on network parameters to ensure $\mathcal{L}$-Lipschitz continuity. To address the lack of explicit eigenvalue computations for such matrix structures, the Gershgorin circle theorem was employed to approximate eigenvalue locations, guaranteeing the LMI’s negative semi-definiteness. Our contributions include a provable parameterization methodology for constructing Lipschitz-constrained networks and a compositional framework for managing recursive systems within hierarchical architectures. These findings enable robust network designs applicable to adversarial robustness, certified training, and control systems. However, a limitation was identified in the Gershgorin-based approximations, which over-constrain the system, suppressing non-linear dynamics and diminishing the network’s expressive capacity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google