Learning Robust Deep Equilibrium Models

要約

タイトル：ロバストな深層均衡モデルの学習
要約：
– 深層均衡（DEQ）モデルは、従来の深層学習の深さを捨て、単一の非線形層の固定点を求めることで暗黙的な層モデルとして実現することができる。
– これらのモデルの安定性については、未だに十分に理解されていない。
– Neural ODEという別のタイプの暗黙的な層モデルに対してLyapunov理論が適用され、敵対的なロバスト性が確保された。
– DEQモデルを非線形動的システムとして考えて、Lyapunov理論を用いた確実に安定化されたロバストなDEQモデル（LyaDEQ）を提案する。
– 我々の手法の核心は、DEQモデルの固定点がリアプノフ安定であることを確認することであり、これによりLyaDEQモデルは軽微な初期摂動からの抵抗性を獲得することができる。
– リアプノフ安定な固定点が互いに近接しているため、ロバスト性の低い敵対的な防御を避けるため、Lyapunov安定性モジュールの後に直交する完全結合層を追加する。
– LyaDEQモデルをいくつかのよく知られた敵対的攻撃に対して、多数の共通データセット上で評価し、実験結果はロバスト性の大幅な向上を示している。
– さらに、敵対的なトレーニングなどの他の防御手法と組み合わせることで、LyaDEQモデルの敵対的なロバスト性をさらに向上させることができることを示す。「Lyapunov」は名前ではなく、数学上の歴史的な理論の名前です。

要約(オリジナル)

Deep equilibrium (DEQ) models have emerged as a promising class of implicit layer models in deep learning, which abandon traditional depth by solving for the fixed points of a single nonlinear layer. Despite their success, the stability of the fixed points for these models remains poorly understood. Recently, Lyapunov theory has been applied to Neural ODEs, another type of implicit layer model, to confer adversarial robustness. By considering DEQ models as nonlinear dynamic systems, we propose a robust DEQ model named LyaDEQ with guaranteed provable stability via Lyapunov theory. The crux of our method is ensuring the fixed points of the DEQ models are Lyapunov stable, which enables the LyaDEQ models to resist minor initial perturbations. To avoid poor adversarial defense due to Lyapunov-stable fixed points being located near each other, we add an orthogonal fully connected layer after the Lyapunov stability module to separate different fixed points. We evaluate LyaDEQ models on several widely used datasets under well-known adversarial attacks, and experimental results demonstrate significant improvement in robustness. Furthermore, we show that the LyaDEQ model can be combined with other defense methods, such as adversarial training, to achieve even better adversarial robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI