Towards Reliable Evaluation and Fast Training of Robust Semantic Segmentation Models

要約

敵対的堅牢性は、画像分類、特に $\ell_\infty$ 脅威モデルに関して広く研究されていますが、オブジェクト検出やセマンティック セグメンテーションなどの関連タスクについてはあまり研究されていません。攻撃は最適化問題よりもはるかに困難であることが判明しています。
画像分類用。
私たちは、精度と mIoU のさまざまな指標を最小限に抑える、問題に特化したいくつかの新しい攻撃を提案します。
私たちの攻撃のアンサンブルである SEA は、既存の攻撃がセマンティック セグメンテーション モデルの堅牢性を大幅に過大評価していることを示しています。
驚くべきことに、セマンティック セグメンテーション モデルに対する敵対的トレーニングの既存の試みは弱いか、まったく堅牢ではないことが判明しています。
私たちは、これまでの敵対的トレーニングのセマンティック セグメンテーションへの適応が失敗した理由を調査し、最近提案された堅牢な ImageNet バックボーンを使用して、PASCAL-VOC およびより困難な ADE20k に対して最大 6 分の 1 のトレーニング時間で敵対的堅牢なセマンティック セグメンテーション モデルを取得できる方法を示します。
関連するコードと堅牢なモデルは、https://github.com/nmndeep/robust-segmentation で入手できます。

要約(オリジナル)

Adversarial robustness has been studied extensively in image classification, especially for the $\ell_\infty$-threat model, but significantly less so for related tasks such as object detection and semantic segmentation, where attacks turn out to be a much harder optimization problem than for image classification. We propose several problem-specific novel attacks minimizing different metrics in accuracy and mIoU. The ensemble of our attacks, SEA, shows that existing attacks severely overestimate the robustness of semantic segmentation models. Surprisingly, existing attempts of adversarial training for semantic segmentation models turn out to be weak or even completely non-robust. We investigate why previous adaptations of adversarial training to semantic segmentation failed and show how recently proposed robust ImageNet backbones can be used to obtain adversarially robust semantic segmentation models with up to six times less training time for PASCAL-VOC and the more challenging ADE20k. The associated code and robust models are available at https://github.com/nmndeep/robust-segmentation

arxiv情報

提供元, 利用サービス

arxiv.jp, Google