Toward Certified Robustness Against Real-World Distribution Shifts

要約

我々は、ディープニューラルネットワークの現実の分布の変化に対する頑健性を証明する問題を考察する。このフレームワークでは、生成モデルを訓練してデータから摂動を学習し、学習したモデルの出力に関する仕様を定義します。この設定から生じるユニークな課題は、既存の検証機が、多くの最新世代モデルの基本であるシグモイド活性化を厳密に近似できないことである。この課題に対処するため、我々は、シグモイド活性を扱うための一般的なメタアルゴリズムを提案する。このメタアルゴリズムは、対例誘導型抽象化洗練の古典的概念を活用する。このメタアルゴリズムは、シグモイド関数の抽象化を「遅延的に」洗練させ、以前の抽象化で見つかった偽の反例を除外することで、状態空間を小さく保ちながら検証プロセスの進捗を保証するものである。MNISTとCIFAR-10データセットでの実験により、我々のフレームワークは、様々な困難な分布シフトにおいて、既存の手法を大幅に上回ることが示された。

要約(オリジナル)

We consider the problem of certifying the robustness of deep neural networks against real-world distribution shifts. To do so, we bridge the gap between hand-crafted specifications and realistic deployment settings by proposing a novel neural-symbolic verification framework, in which we train a generative model to learn perturbations from data and define specifications with respect to the output of the learned model. A unique challenge arising from this setting is that existing verifiers cannot tightly approximate sigmoid activations, which are fundamental to many state-of-the-art generative models. To address this challenge, we propose a general meta-algorithm for handling sigmoid activations which leverages classical notions of counter-example-guided abstraction refinement. The key idea is to ‘lazily’ refine the abstraction of sigmoid functions to exclude spurious counter-examples found in the previous abstraction, thus guaranteeing progress in the verification process while keeping the state-space small. Experiments on the MNIST and CIFAR-10 datasets show that our framework significantly outperforms existing methods on a range of challenging distribution shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL