Learning Robust Deep Equilibrium Models

要約

タイトル：ロバストなディープ平衡モデルの学習

要約：

– 深層学習において、従来の階層を捨て、1つの非線形層の定常点を求めることで表現できる、暗黙的な層モデルの有望なクラスである深層平衡（DEQ）モデルが登場しています。
– しかし、これらのモデルの定常点の安定性は未だによく理解されていません。この問題に対して、Lyapunov理論を応用したニューラルODEsなどの他の暗黙的な層モデルで、敵対的なロバスト性を与える手法が提案されています。
– これに基づき、DEQモデルを非線形動的システムとして考慮し、Lyapunov理論による保証付きの安定性を持つロバストなDEQモデルであるLyaDEQモデルを提案します。
– LyaDEQモデルの重要な点は、DEQモデルの定常点がLyapunov安定であることを確実にすることで、初期微小乱数の耐性を持たせることができることです。
– Lyapunov安定な定常点が近接しているために耐敵対的防御が低下することを回避するため、Lyapunov安定性モジュールの後に直交フル接続層を追加して異なる定常点を分離します。
– LyaDEQモデルをよく知られた敵対的攻撃の下でいくつかの広く使用されているデータセットで評価し、実験結果はロバスト性が大幅に向上していることを示します。
– さらに、LyaDEQモデルを敵対的訓練などの他の防御手法と組み合わせることで、さらに良い敵対的ロバスト性を実現できることを示します。

要約(オリジナル)

Deep equilibrium (DEQ) models have emerged as a promising class of implicit layer models in deep learning, which abandon traditional depth by solving for the fixed points of a single nonlinear layer. Despite their success, the stability of the fixed points for these models remains poorly understood. Recently, Lyapunov theory has been applied to Neural ODEs, another type of implicit layer model, to confer adversarial robustness. By considering DEQ models as nonlinear dynamic systems, we propose a robust DEQ model named LyaDEQ with guaranteed provable stability via Lyapunov theory. The crux of our method is ensuring the fixed points of the DEQ models are Lyapunov stable, which enables the LyaDEQ models to resist the minor initial perturbations. To avoid poor adversarial defense due to Lyapunov-stable fixed points being located near each other, we add an orthogonal fully connected layer after the Lyapunov stability module to separate different fixed points. We evaluate LyaDEQ models on several widely used datasets under well-known adversarial attacks, and experimental results demonstrate significant improvement in robustness. Furthermore, we show that the LyaDEQ model can be combined with other defense methods, such as adversarial training, to achieve even better adversarial robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI