Towards Verifying the Geometric Robustness of Large-scale Neural Networks

要約

タイトル：大規模なニューラルネットワークの幾何学的な強靭性を検証するために

要約：

– DNNsは敵対的な幾何学的変換に対して弱いことが知られています。
– この論文は、複数の幾何学的変換の組み合わせに対する大規模なDNNの強靱性を検証することを目的としています。
– GeoRobustというブラックボックスの強靱性アナライザーを開発しました。このアナライザーは、新しいグローバル最適化戦略に基づいて構築されており、Lipschitz理論の最近の進展に基づいて最悪の組み合わせを見つけることができます。
– GeoRobustは、アーキテクチャ、活性化関数、ニューロンの数に関係なく、大規模なDNNに展開することができます。
– ResNet50モデルのImageNetに対して、GeoRobustは平均数秒で最悪の幾何学的変換を高精度で見つけることができます。
– 18個のImageNet分類器を評価し、ResNetファミリーとビジョントランスフォーマーを含み、ネットワークの幾何学的強靭性とパラメータ数の間に正の相関関係があることを発見しました。
– DNNの深さを増やすことが、幾何学的強靭性を向上させるために幅を増やすことよりも有益であることを観察しました。
– GeoRobustのツールは、https://github.com/TrustAI/GeoRobustで利用可能です。

要約(オリジナル)

Deep neural networks (DNNs) are known to be vulnerable to adversarial geometric transformation. This paper aims to verify the robustness of large-scale DNNs against the combination of multiple geometric transformations with a provable guarantee. Given a set of transformations (e.g., rotation, scaling, etc.), we develop GeoRobust, a black-box robustness analyser built upon a novel global optimisation strategy, for locating the worst-case combination of transformations that affect and even alter a network’s output. GeoRobust can provide provable guarantees on finding the worst-case combination based on recent advances in Lipschitzian theory. Due to its black-box nature, GeoRobust can be deployed on large-scale DNNs regardless of their architectures, activation functions, and the number of neurons. In practice, GeoRobust can locate the worst-case geometric transformation with high precision for the ResNet50 model on ImageNet in a few seconds on average. We examined 18 ImageNet classifiers, including the ResNet family and vision transformers, and found a positive correlation between the geometric robustness of the networks and the parameter numbers. We also observe that increasing the depth of DNN is more beneficial than increasing its width in terms of improving its geometric robustness. Our tool GeoRobust is available at https://github.com/TrustAI/GeoRobust.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI