Robust Perception through Equivariance

要約

コンピューター ビジョンのディープ ネットワークは、敵対的な例に遭遇した場合、信頼できません。
この論文では、自然画像の密な固有の制約を使用して推論をロバスト化するフレームワークを紹介します。
推論時に制約を導入することで、ロバスト性の負担をトレーニングから推論アルゴリズムに移すことができます。これにより、推論時にモデルが個々の画像のユニークで潜在的に新しい特性に動的に調整できるようになります。
さまざまな制約の中で、等分散ベースの制約が最も効果的であることがわかりました。これは、細かいレベルで表現を過度に制約することなく、特徴空間で密な制約を許可するためです。
私たちの理論的結果は、推論時にこのような密な制約を持つことの重要性を検証しています。
私たちの経験的実験は、推論時に機能の同等性を復元することで、最悪の場合の敵対的摂動を防ぐことを示しています。
この方法は、画像認識、セマンティック セグメンテーション、およびインスタンス セグメンテーション タスクで、4 つのデータセット (ImageNet、Cityscapes、PASCAL VOC、および MS-COCO) で改善された敵対的ロバスト性を取得します。
プロジェクト ページは、equi4robust.cs.columbia.edu で入手できます。

要約(オリジナル)

Deep networks for computer vision are not reliable when they encounter adversarial examples. In this paper, we introduce a framework that uses the dense intrinsic constraints in natural images to robustify inference. By introducing constraints at inference time, we can shift the burden of robustness from training to the inference algorithm, thereby allowing the model to adjust dynamically to each individual image’s unique and potentially novel characteristics at inference time. Among different constraints, we find that equivariance-based constraints are most effective, because they allow dense constraints in the feature space without overly constraining the representation at a fine-grained level. Our theoretical results validate the importance of having such dense constraints at inference time. Our empirical experiments show that restoring feature equivariance at inference time defends against worst-case adversarial perturbations. The method obtains improved adversarial robustness on four datasets (ImageNet, Cityscapes, PASCAL VOC, and MS-COCO) on image recognition, semantic segmentation, and instance segmentation tasks. Project page is available at equi4robust.cs.columbia.edu.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google