IPMix: Label-Preserving Data Augmentation Method for Training Robust Classifiers

要約

データ拡張は、過剰適合を防止することで、高精度の畳み込みニューラル ネットワーク分類器をトレーニングするのに効果的であることが証明されています。
ただし、現実世界のシナリオでディープ ニューラル ネットワークを構築するには、クリーン データでの高精度だけでなく、データ分布が変化したときの堅牢性も必要です。
従来の方法では、精度と堅牢性の間にはトレードオフがあると提案されていましたが、本発明者らは、クリーンな精度を損なうことなく堅牢性を向上させるシンプルなデータ拡張アプローチである IPMix を提案します。
IPMix は、3 つのレベルのデータ拡張 (画像レベル、パッチ レベル、ピクセル レベル) を一貫性のあるラベル保持技術に統合し、限られた計算オーバーヘッドでトレーニング データの多様性を高めます。
堅牢性をさらに向上させるために、IPMix はさまざまなレベルで構造の複雑さを導入して、より多様な画像を生成し、マルチスケール情報融合のためのランダム混合法を採用しています。
実験では、IPMix が CIFAR-C および ImageNet-C 上で最先端の破損耐性を上回る性能を発揮することが実証されています。
さらに、IPMix は敵対的な摂動に対する堅牢性、キャリブレーション、予測の一貫性、異常検出などの他の安全対策も大幅に向上し、ImageNet-R を含むいくつかのベンチマークで最先端または同等の結果を達成することを示します。
ImageNet-A および ImageNet-O。

要約(オリジナル)

Data augmentation has been proven effective for training high-accuracy convolutional neural network classifiers by preventing overfitting. However, building deep neural networks in real-world scenarios requires not only high accuracy on clean data but also robustness when data distributions shift. While prior methods have proposed that there is a trade-off between accuracy and robustness, we propose IPMix, a simple data augmentation approach to improve robustness without hurting clean accuracy. IPMix integrates three levels of data augmentation (image-level, patch-level, and pixel-level) into a coherent and label-preserving technique to increase the diversity of training data with limited computational overhead. To further improve the robustness, IPMix introduces structural complexity at different levels to generate more diverse images and adopts the random mixing method for multi-scale information fusion. Experiments demonstrate that IPMix outperforms state-of-the-art corruption robustness on CIFAR-C and ImageNet-C. In addition, we show that IPMix also significantly improves the other safety measures, including robustness to adversarial perturbations, calibration, prediction consistency, and anomaly detection, achieving state-of-the-art or comparable results on several benchmarks, including ImageNet-R, ImageNet-A, and ImageNet-O.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google