Benchmarking the Spatial Robustness of DNNs via Natural and Adversarial Localized Corruptions

要約

DNNSの堅牢性は、特に局所的な腐敗が発生する可能性のある複雑で動的な環境では、安全性の高いアプリケーションの重要な要因です。
以前の研究では、全画像の自然腐敗または敵対的な腐敗の下でのセマンティックセグメンテーション（SS）モデルの堅牢性を評価していましたが、局所的な腐敗における密な視力モデルの空間的堅牢性に関する包括的な調査は、未熟なままでした。
このペーパーでは、セグメンテーションモデルの空間的堅牢性をベンチマークするための特殊なメトリックを導入し、局所的な腐敗の影響を評価するための評価フレームワークを導入することにより、このギャップを埋めます。
さらに、単一の局所的な敵対的摂動を使用して、最悪の堅牢性を特徴付けるという固有の複雑さを明らかにします。
これに対処するために、地域を認識しているマルチアタック敵対的分析を提案します。これは、特定の地域に適用される敵対的摂動に対するモデルの堅牢性のより深い理解を可能にする方法です。
提案されたメトリックと分析は、運転シナリオで14のセグメンテーションモデルを評価するために活用され、自然型と敵対的な形態の両方における局所的な腐敗の影響に関する重要な洞察を明らかにしました。
結果は、モデルがこれらの2種類の脅威に異なる反応をもたらすことを明らかにしています。
たとえば、トランスベースのセグメンテーションモデルは、局所的な自然腐敗に対する顕著な堅牢性を示していますが、敵対的な腐敗に対して非常に脆弱であり、CNNベースのモデルの逆も同様です。
その結果、アンサンブルモデルによって自然および敵対的な局所的な腐敗の両方に堅牢性のバランスをとるという課題にも対処し、それにより、より広範な脅威カバレッジと密な視力課題の信頼性が向上します。

要約(オリジナル)

The robustness of DNNs is a crucial factor in safety-critical applications, particularly in complex and dynamic environments where localized corruptions can arise. While previous studies have evaluated the robustness of semantic segmentation (SS) models under whole-image natural or adversarial corruptions, a comprehensive investigation into the spatial robustness of dense vision models under localized corruptions remained underexplored. This paper fills this gap by introducing specialized metrics for benchmarking the spatial robustness of segmentation models, alongside with an evaluation framework to assess the impact of localized corruptions. Furthermore, we uncover the inherent complexity of characterizing worst-case robustness using a single localized adversarial perturbation. To address this, we propose region-aware multi-attack adversarial analysis, a method that enables a deeper understanding of model robustness against adversarial perturbations applied to specific regions. The proposed metrics and analysis were exploited to evaluate 14 segmentation models in driving scenarios, uncovering key insights into the effects of localized corruption in both natural and adversarial forms. The results reveal that models respond to these two types of threats differently; for instance, transformer-based segmentation models demonstrate notable robustness to localized natural corruptions but are highly vulnerable to adversarial ones and vice-versa for CNN-based models. Consequently, we also address the challenge of balancing robustness to both natural and adversarial localized corruptions by means of ensemble models, thereby achieving a broader threat coverage and improved reliability for dense vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google