Efficient Certified Training and Robustness Verification of Neural ODEs

要約

ニューラル常微分方程式 (NODE) は、推論中に解決される学習ダイナミクスによる初期値問題を中心に構築された新しいニューラル アーキテクチャです。
本質的に敵対的摂動に対してより堅牢であると考えられていましたが、最近、強力な敵対的攻撃に対して脆弱であることが示され、正式な保証の必要性が強調されました。
ただし、標準的なフィードフォワード アーキテクチャのロバスト性検証が大幅に進歩したにもかかわらず、高次元 NODE の検証は未解決の問題のままです。
この作業では、この課題に対処し、次の 3 つの重要なアイデアを組み合わせた NODE の分析フレームワークである GAINS を提案します。
、および（iii）このグラフ表現で動作する新しい抽象化アルゴリズム。
これらの進歩により、実行時間を扱いにくい $O(\exp(d)+\exp(T))$ から ${O}(d+T^
次元 $d$ の 2 \log^2T)$ と統合時間 $T$。
コンピューター ビジョン (MNIST および FMNIST) と時系列予測 (PHYSIO-NET) の問題に関する広範な評価で、認定されたトレーニングと検証方法の両方の有効性を実証します。

要約(オリジナル)

Neural Ordinary Differential Equations (NODEs) are a novel neural architecture, built around initial value problems with learned dynamics which are solved during inference. Thought to be inherently more robust against adversarial perturbations, they were recently shown to be vulnerable to strong adversarial attacks, highlighting the need for formal guarantees. However, despite significant progress in robustness verification for standard feed-forward architectures, the verification of high dimensional NODEs remains an open problem. In this work, we address this challenge and propose GAINS, an analysis framework for NODEs combining three key ideas: (i) a novel class of ODE solvers, based on variable but discrete time steps, (ii) an efficient graph representation of solver trajectories, and (iii) a novel abstraction algorithm operating on this graph representation. Together, these advances enable the efficient analysis and certified training of high-dimensional NODEs, by reducing the runtime from an intractable $O(\exp(d)+\exp(T))$ to ${O}(d+T^2 \log^2T)$ in the dimensionality $d$ and integration time $T$. In an extensive evaluation on computer vision (MNIST and FMNIST) and time-series forecasting (PHYSIO-NET) problems, we demonstrate the effectiveness of both our certified training and verification methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google