Clarifying Myths About the Relationship Between Shape Bias, Accuracy, and Robustness

要約

深層学習モデルは、トレーニング セットと同じ分布からの画像に対して評価すると、良好なパフォーマンスを発揮します。
ただし、モデルの入力画像にノイズ、アーティファクト、オクルージョン、ブラーなどの形で小さな摂動を適用し、分布外 (OOD) データをモデルに供給すると、モデルの精度が大幅に低下する可能性があり、モデルには適用できなくなります。
現実世界のシナリオ。
データ拡張は、OOD データに対するモデルの堅牢性を向上させるためによく実践されている方法の 1 つです。
ただし、どの拡張タイプを選択するか、それが OOD の堅牢性にどのような影響を与えるかについては、まだ十分に研究されていません。
テクスチャベースの特徴ではなく形状ベースの特徴に対するモデルの偏りを改善するデータ拡張を使用してデータセットを拡張すると、ImageNet-1K データセットでトレーニングされた畳み込みニューラル ネットワークの OOD 堅牢性が向上するという考えが広まっています。
これは通常、「モデルの形状バイアスの増加により、OOD の堅牢性が増加する」と言われます。
この仮説に基づいて、文献の一部の研究では、モデルの形状バイアスに対する効果がより高い拡張を見つけて、それらをデータ拡張に使用することを目的としています。
広く使用されている OOD データセットで 39 種類のデータ拡張を評価することにより、OOD データに対するモデルの堅牢性に対する各データ拡張の影響を実証し、さらに、前述の仮説が真実ではないことを示します。
形状バイアスが増加しても、必ずしも OOD の堅牢性が高くなるわけではありません。
結果を分析すると、ImageNet-1K データセットにいくつかの偏りがあることもわかりました。これは、適切なデータ拡張を使用することで簡単に軽減できます。
さらに、私たちの評価結果は、ドメイン内の精度と OOD の堅牢性の間には必ずしもトレードオフがあるわけではなく、適切な拡張を選択することで、ドメイン内の精度と OOD の堅牢性の両方を同時に向上させることができることを示しています。

要約(オリジナル)

Deep learning models can perform well when evaluated on images from the same distribution as the training set. However, applying small perturbations in the forms of noise, artifacts, occlusions, blurring, etc. to a model’s input image and feeding the model with out-of-distribution (OOD) data can significantly drop the model’s accuracy, making it not applicable to real-world scenarios. Data augmentation is one of the well-practiced methods to improve model robustness against OOD data; however, examining which augmentation type to choose and how it affects the OOD robustness remains understudied. There is a growing belief that augmenting datasets using data augmentations that improve a model’s bias to shape-based features rather than texture-based features results in increased OOD robustness for Convolutional Neural Networks trained on the ImageNet-1K dataset. This is usually stated as “an increase in the model’s shape bias results in an increase in its OOD robustness’. Based on this hypothesis, some works in the literature aim to find augmentations with higher effects on model shape bias and use those for data augmentation. By evaluating 39 types of data augmentations on a widely used OOD dataset, we demonstrate the impact of each data augmentation on the model’s robustness to OOD data and further show that the mentioned hypothesis is not true; an increase in shape bias does not necessarily result in higher OOD robustness. By analyzing the results, we also find some biases in the ImageNet-1K dataset that can easily be reduced using proper data augmentation. Our evaluation results further show that there is not necessarily a trade-off between in-domain accuracy and OOD robustness, and choosing the proper augmentations can help increase both in-domain accuracy and OOD robustness simultaneously.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google