End-To-End Set-Based Training for Neural Network Verification

要約

ニューラル ネットワークは敵対的な攻撃に対して脆弱です。つまり、小さな入力の摂動によって、ニューラル ネットワークの出力が大きく異なる可能性があります。
安全性が重要な環境では、入力の摂動に対して堅牢なニューラル ネットワークが必要です。
ただし、堅牢なニューラル ネットワークをトレーニングして正式に検証することは困難です。
私たちは、正式な検証のために堅牢なニューラル ネットワークをトレーニングするエンドツーエンドのセットベースのトレーニング手順を初めて採用することで、この課題に対処します。
私たちのトレーニング手順により、その後のトレーニング済みニューラル ネットワークの正式なロバスト性検証が大幅に簡素化されます。
これまでの研究は主に敵対的攻撃によるニューラル ネットワーク トレーニングの強化に焦点を当てていましたが、私たちのアプローチはセットベース コンピューティングを利用して、摂動された入力のセット全体でニューラル ネットワークをトレーニングします。
さらに、セットベースのトレーニング手順が、検証が容易な堅牢なニューラル ネットワークを効果的にトレーニングすることを実証します。
多くの場合、セットベースでトレーニングされたニューラル ネットワークは、最先端の敵対的攻撃でトレーニングされたニューラル ネットワークよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Neural networks are vulnerable to adversarial attacks, i.e., small input perturbations can result in substantially different outputs of a neural network. Safety-critical environments require neural networks that are robust against input perturbations. However, training and formally verifying robust neural networks is challenging. We address this challenge by employing, for the first time, a end-to-end set-based training procedure that trains robust neural networks for formal verification. Our training procedure drastically simplifies the subsequent formal robustness verification of the trained neural network. While previous research has predominantly focused on augmenting neural network training with adversarial attacks, our approach leverages set-based computing to train neural networks with entire sets of perturbed inputs. Moreover, we demonstrate that our set-based training procedure effectively trains robust neural networks, which are easier to verify. In many cases, set-based trained neural networks outperform neural networks trained with state-of-the-art adversarial attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google