Architecture-Preserving Provable Repair of Deep Neural Networks

要約

タイトル：深層ニューラルネットワークのアーキテクチャを保持する証明可能な修復方法

要約：

– DNNは、画像認識などの問題に対する最先端のソリューションとして、ソフトウェアの重要なコンポーネントとなっている。
– しかし、DNNの間違った振る舞いは、現実世界で壊滅的な結果をもたらす可能性があるため、信頼性に問題がある。
– この論文は、DNNのアーキテクチャを保持しながら、V-polytopeを使った証明可能な修復方法について述べている。
– V-polytopeは、頂点表現を使用して凸境界ポリトープを定義する。
– V-polytopeを使った証明可能な修復方法は、修復されたDNNが、指定されたV-polytope内の無限の点で与えられた仕様を満たすことを保証する。
– この修復方法は、DNNのパラメータのみを変更し、アーキテクチャを変更しないアーキテクチャを保持する。
– 修復方法は、DNNの複数の層を変更する柔軟性があり、多項式時間で実行される。
– DNNには、一部の線形部分を持つ活性化関数、完全接続、畳み込み、プーリング、残余層をサポートしている。
– MNIST、ImageNet、ACAS Xu DNNを使用して、先行研究であるPRDNNとREASSUREよりも効率性、スケーラビリティ、一般化性に優れたAPRNNと呼ばれるツールでの実装を示す。

要約(オリジナル)

Deep neural networks (DNNs) are becoming increasingly important components of software, and are considered the state-of-the-art solution for a number of problems, such as image recognition. However, DNNs are far from infallible, and incorrect behavior of DNNs can have disastrous real-world consequences. This paper addresses the problem of architecture-preserving V-polytope provable repair of DNNs. A V-polytope defines a convex bounded polytope using its vertex representation. V-polytope provable repair guarantees that the repaired DNN satisfies the given specification on the infinite set of points in the given V-polytope. An architecture-preserving repair only modifies the parameters of the DNN, without modifying its architecture. The repair has the flexibility to modify multiple layers of the DNN, and runs in polynomial time. It supports DNNs with activation functions that have some linear pieces, as well as fully-connected, convolutional, pooling and residual layers. To the best our knowledge, this is the first provable repair approach that has all of these features. We implement our approach in a tool called APRNN. Using MNIST, ImageNet, and ACAS Xu DNNs, we show that it has better efficiency, scalability, and generalization compared to PRDNN and REASSURE, prior provable repair methods that are not architecture preserving.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI