Robustmix: Improving Robustness by Regularizing the Frequency Bias of Deep Nets

要約

タイトル: Robustmix: 深層ネットワークの周波数バイアスを正規化して頑健性を向上させる
要約:

– 既存のベンチマークデータセットに基づいて、深層ネットワークは印象的な結果を示しています。
– しかし、人間の実行にはほとんど影響を与えないような干渉に対しても、深層ネットワークのパフォーマンスが依然として敏感であることがわかっています。
– Robustmixは、Mixupの新しい拡張機能で、低い周波数の空間特徴に基づいて分類するようにネットワークを正規化することで、ベンチマーク（Imagenet-C、Stylized Imagenet）での頑健性を向上させることができることを示しています。
– このアプローチは、計算オーバーヘッドが少なく、また大規模なイメージ変換の先行知識を必要としません。
– EfficientNet-B8モデルとRandAugmentを用いて、mCEを44.8のステートオブジェアートに達成した。これは、ベースラインと比較してmCEを16減少させたものです。
– このアプローチは、最近のモデルアーキテクチャとデータ拡張の進歩を補完することがわかっています。

要約(オリジナル)

Deep networks have achieved impressive results on a range of well-curated benchmark datasets. Surprisingly, their performance remains sensitive to perturbations that have little effect on human performance. In this work, we propose a novel extension of Mixup called Robustmix that regularizes networks to classify based on lower-frequency spatial features. We show that this type of regularization improves robustness on a range of benchmarks such as Imagenet-C and Stylized Imagenet. It adds little computational overhead and, furthermore, does not require a priori knowledge of a large set of image transformations. We find that this approach further complements recent advances in model architecture and data augmentation, attaining a state-of-the-art mCE of 44.8 with an EfficientNet-B8 model and RandAugment, which is a reduction of 16 mCE compared to the baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI