Towards Robust Semantic Segmentation against Patch-based Attack via Attention Refinement

要約

注意メカニズムは、近年、様々な視覚タスクにおいて有効であることが証明されている。セマンティックセグメンテーション課題では、畳み込みニューラルネットワーク(CNN)とビジョン変換器(ViT)の両方をバックボーンとする場合を含め、様々な手法で注意メカニズムが適用されている。しかし、注意メカニズムはパッチベースの敵対的攻撃に対して脆弱であることが観察された。有効な受容野の分析を通して、我々は、グローバルな注意によってもたらされる広い受容野が、敵対的なパッチの拡散につながる可能性があるという事実に起因している。この問題に対処するため、本論文ではセマンティックセグメンテーションモデルの頑健性を向上させるロバストアテンションメカニズム(RAM)を提案する。この2つのモジュールは、アテンションマトリックスを改良し、1つの敵対的パッチが他の位置のセマンティックセグメンテーション結果に与える影響を制限することを目的としている。広範な実験により、異なる攻撃設定の下で、様々なパッチベースの攻撃手法に対するセマンティックセグメンテーションモデルの頑健性を向上させる、我々のRAMの有効性が実証された。

要約(オリジナル)

The attention mechanism has been proven effective on various visual tasks in recent years. In the semantic segmentation task, the attention mechanism is applied in various methods, including the case of both Convolution Neural Networks (CNN) and Vision Transformer (ViT) as backbones. However, we observe that the attention mechanism is vulnerable to patch-based adversarial attacks. Through the analysis of the effective receptive field, we attribute it to the fact that the wide receptive field brought by global attention may lead to the spread of the adversarial patch. To address this issue, in this paper, we propose a Robust Attention Mechanism (RAM) to improve the robustness of the semantic segmentation model, which can notably relieve the vulnerability against patch-based attacks. Compared to the vallina attention mechanism, RAM introduces two novel modules called Max Attention Suppression and Random Attention Dropout, both of which aim to refine the attention matrix and limit the influence of a single adversarial patch on the semantic segmentation results of other positions. Extensive experiments demonstrate the effectiveness of our RAM to improve the robustness of semantic segmentation models against various patch-based attack methods under different attack settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL