Improving robustness to corruptions with multiplicative weight perturbations

要約

ディープ ニューラル ネットワーク (DNN) は、きれいな画像には優れていますが、破損した画像には苦労します。
特定の破損をデータ拡張パイプラインに組み込むと、それらの破損に対する堅牢性が向上しますが、クリーンなイメージや他の種類の歪みではパフォーマンスが損なわれる可能性があります。
このペーパーでは、クリーンな画像の精度を損なうことなく、幅広い破損に対する DNN の堅牢性を向上させる代替アプローチを紹介します。
まず、入力摂動が重み空間の乗算摂動によって模倣できることを示します。
これを活用して、ランダムな乗算重み摂動の下で DNN を最適化するトレーニング方法である乗算摂動によるデータ拡張 (DAMP) を提案します。
また、最近提案された Adaptive Sharpness-Aware Minimization (ASAM) を検証し、それが敵対的な乗算重み摂動の下で DNN を最適化することを示します。
画像分類データセット (CIFAR-10/100、TinyImageNet、ImageNet) とニューラル ネットワーク アーキテクチャ (ResNet50、ViT-S/16、ViT-B/16) に関する実験では、DAMP がさまざまな設定間で破損が存在する場合でもモデルの汎化パフォーマンスを向上させることが示されています。
。
特に、DAMP は ImageNet 上で ViT-S/16 をゼロからトレーニングでき、大規模なデータ拡張なしで ResNet50 に匹敵する 23.7% のトップ 1 エラーに達します。

要約(オリジナル)

Deep neural networks (DNNs) excel on clean images but struggle with corrupted ones. Incorporating specific corruptions into the data augmentation pipeline can improve robustness to those corruptions but may harm performance on clean images and other types of distortion. In this paper, we introduce an alternative approach that improves the robustness of DNNs to a wide range of corruptions without compromising accuracy on clean images. We first demonstrate that input perturbations can be mimicked by multiplicative perturbations in the weight space. Leveraging this, we propose Data Augmentation via Multiplicative Perturbation (DAMP), a training method that optimizes DNNs under random multiplicative weight perturbations. We also examine the recently proposed Adaptive Sharpness-Aware Minimization (ASAM) and show that it optimizes DNNs under adversarial multiplicative weight perturbations. Experiments on image classification datasets (CIFAR-10/100, TinyImageNet and ImageNet) and neural network architectures (ResNet50, ViT-S/16, ViT-B/16) show that DAMP enhances model generalization performance in the presence of corruptions across different settings. Notably, DAMP is able to train a ViT-S/16 on ImageNet from scratch, reaching the top-1 error of 23.7% which is comparable to ResNet50 without extensive data augmentations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google