Detecting Adversarial Attacks in Semantic Segmentation via Uncertainty Estimation: A Deep Analysis

要約

ディープ ニューラル ネットワークは、セマンティック セグメンテーションなどの幅広いタスクにわたって顕著な有効性を実証しています。
それにもかかわらず、これらのネットワークは、入力画像に知覚できない摂動を加え、誤った予測を引き起こす敵対的な攻撃に対して脆弱です。
この脆弱性は、自動運転などの安全性が重要なアプリケーションにおいて特に危険です。
敵対的な例と防御戦略は画像分類の文脈でよく研究されていますが、セマンティック セグメンテーションに焦点を当てた研究は比較的少ないです。
最近、私たちはセマンティックセグメンテーションのためのニューラルネットワークに対する敵対的攻撃を検出するための不確実性ベースの方法を提案しました。
出力分布のエントロピーによって測定される不確実性が、きれいな画像と逆に摂動された画像で異なる動作をすることを観察し、この特性を利用して 2 つを区別します。
私たちの研究のこの拡張バージョンでは、さまざまな一連の敵対的攻撃やさまざまな最先端のニューラル ネットワークを含む、不確実性に基づく敵対的攻撃の検出の詳細な分析を実行します。
私たちの数値実験は、提案された不確実性ベースの検出方法の有効性を示しています。この方法は軽量で、後処理ステップとして動作します。つまり、モデルの変更や敵対例生成プロセスの知識は必要ありません。

要約(オリジナル)

Deep neural networks have demonstrated remarkable effectiveness across a wide range of tasks such as semantic segmentation. Nevertheless, these networks are vulnerable to adversarial attacks that add imperceptible perturbations to the input image, leading to false predictions. This vulnerability is particularly dangerous in safety-critical applications like automated driving. While adversarial examples and defense strategies are well-researched in the context of image classification, there is comparatively less research focused on semantic segmentation. Recently, we have proposed an uncertainty-based method for detecting adversarial attacks on neural networks for semantic segmentation. We observed that uncertainty, as measured by the entropy of the output distribution, behaves differently on clean versus adversely perturbed images, and we utilize this property to differentiate between the two. In this extended version of our work, we conduct a detailed analysis of uncertainty-based detection of adversarial attacks including a diverse set of adversarial attacks and various state-of-the-art neural networks. Our numerical experiments show the effectiveness of the proposed uncertainty-based detection method, which is lightweight and operates as a post-processing step, i.e., no model modifications or knowledge of the adversarial example generation process are required.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google