Taming Reachability Analysis of DNN-Controlled Systems via Abstraction-Based Training

要約

ディープ ニューラル ネットワーク (DNN) は本質的に複雑であるため、ネットワーク自体だけでなく、ホストとなる DNN によって制御されるシステムの検証も困難になります。
これらのシステムの到達可能性分析も同じ課題に直面しています。
既存のアプローチは、より単純な多項式モデルを使用して DNN を過近似することに依存しています。
ただし、効率が低く、過大評価が大きいという欠点があり、特定の種類の DNN に限定されます。
この論文では、到達可能性分析における DNN の過近似の核心を回避するための、新しい抽象化ベースのアプローチを紹介します。
具体的には、実数をトレーニング用の間隔に抽象化する追加の抽象化レイヤーを挿入することで、従来の DNN を拡張します。
挿入された抽象化レイヤーにより、トレーニングと意思決定の両方において、間隔によって表される値がネットワークで区別できないことが保証されます。
これを活用して、DNN 制御システム向けの最初のブラック ボックス到達可能性分析アプローチを考案します。このアプローチでは、トレーニング済み DNN は、抽象状態に対するアクションのブラック ボックス オラクルとしてのみクエリされます。
私たちのアプローチは、健全で、厳密で、効率的であり、DNN の種類やサイズに依存しません。
幅広いベンチマークの実験結果は、私たちのアプローチを使用してトレーニングされた DNN が同等のパフォーマンスを示す一方、対応するシステムの到達可能性分析は、最先端のホワイト ネットワークに比べて大幅な緊密性と効率の向上により、より適用しやすくなることを示しています。
箱が近づいてくる。

要約(オリジナル)

The intrinsic complexity of deep neural networks (DNNs) makes it challenging to verify not only the networks themselves but also the hosting DNN-controlled systems. Reachability analysis of these systems faces the same challenge. Existing approaches rely on over-approximating DNNs using simpler polynomial models. However, they suffer from low efficiency and large overestimation, and are restricted to specific types of DNNs. This paper presents a novel abstraction-based approach to bypass the crux of over-approximating DNNs in reachability analysis. Specifically, we extend conventional DNNs by inserting an additional abstraction layer, which abstracts a real number to an interval for training. The inserted abstraction layer ensures that the values represented by an interval are indistinguishable to the network for both training and decision-making. Leveraging this, we devise the first black-box reachability analysis approach for DNN-controlled systems, where trained DNNs are only queried as black-box oracles for the actions on abstract states. Our approach is sound, tight, efficient, and agnostic to any DNN type and size. The experimental results on a wide range of benchmarks show that the DNNs trained by using our approach exhibit comparable performance, while the reachability analysis of the corresponding systems becomes more amenable with significant tightness and efficiency improvement over the state-of-the-art white-box approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google