Syntactic vs Semantic Linear Abstraction and Refinement of Neural Networks

要約

抽象化は、スケーラビリティを向上させるための重要な検証手法です。
ただし、ニューラル ネットワークでの使用はこれまでのところ非常に限定されています。
分類ネットワークを抽象化するためのこれまでのアプローチは、いくつかのニューロンを十分に類似したニューロンの 1 つに置き換えます。
類似性は、構文的に (ニューロン間の接続に関する量を使用して) または意味的に (さまざまな入力に対するニューロンの活性化値に基づいて) 定義されたとおりに分類できます。
残念ながら、これまでのアプローチは、たとえ実装されても中程度の削減しか達成できません。
この研究では、ニューロンを他のニューロンの線形結合に置き換えて削減を改善できる、より柔軟なフレームワークを提供します。
私たちはこのアプローチを構文的抽象化と意味的抽象化の両方に適用し、実験的に実装して評価します。
さらに、抽象化の改良方法を導入し、削減と精度の間のより良いバランスを見つけることができます。

要約(オリジナル)

Abstraction is a key verification technique to improve scalability. However, its use for neural networks is so far extremely limited. Previous approaches for abstracting classification networks replace several neurons with one of them that is similar enough. We can classify the similarity as defined either syntactically (using quantities on the connections between neurons) or semantically (on the activation values of neurons for various inputs). Unfortunately, the previous approaches only achieve moderate reductions, when implemented at all. In this work, we provide a more flexible framework where a neuron can be replaced with a linear combination of other neurons, improving the reduction. We apply this approach both on syntactic and semantic abstractions, and implement and evaluate them experimentally. Further, we introduce a refinement method for our abstractions, allowing for finding a better balance between reduction and precision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google