Assessing Visually-Continuous Corruption Robustness of Neural Networks Relative to Human Performance

要約

ニューラル ネットワーク (NN) は、ImageNet 上の画像分類において人間の精度を上回っていますが、多くの場合、画像破損に対する堅牢性、つまり破損堅牢性に欠けています。
しかし、このような堅牢性は、人間の知覚にとっては容易に実現できないように思えます。
この論文では、視覚的連続破損耐性 (VCR) を提案します。これは、人間の知覚品質に対応する広範囲かつ連続的な変化範囲 (つまり、元の画像から完全な画像まで) にわたって評価できるようにする破損耐性の拡張です。
知覚されたすべての視覚情報の歪み）と、NN 評価のための 2 つの新しい人間認識指標。
NN の VCR と人間の知覚を比較するために、7,718 人の人間の参加者と、さまざまなトレーニング目標 (標準、敵対、破損の堅牢性など) を備えた最先端の堅牢な NN モデルを使用して、一般的に使用される 14 の画像破損に関する広範な実験を実施しました。
アーキテクチャ (畳み込み NN、ビジョン トランスフォーマーなど)、およびさまざまな量のトレーニング データ拡張。
私たちの調査では、1) 継続的な破損に対する堅牢性を評価すると、既存のベンチマークでは検出されない不十分な堅牢性が明らかになる可能性があります。
その結果、2) NN と人間の堅牢性の間のギャップは、これまでに知られているよりも大きくなります。
そして最後に、3) 一部の画像破損は人間の知覚に同様の影響を及ぼし、より費用対効果の高い堅牢性評価の機会を提供します。
14 件の画像破損、人間の堅牢性データ、および評価コードを含む検証セットは、ツールボックスおよびベンチマークとして提供されます。

要約(オリジナル)

While Neural Networks (NNs) have surpassed human accuracy in image classification on ImageNet, they often lack robustness against image corruption, i.e., corruption robustness. Yet such robustness is seemingly effortless for human perception. In this paper, we propose visually-continuous corruption robustness (VCR) — an extension of corruption robustness to allow assessing it over the wide and continuous range of changes that correspond to the human perceptive quality (i.e., from the original image to the full distortion of all perceived visual information), along with two novel human-aware metrics for NN evaluation. To compare VCR of NNs with human perception, we conducted extensive experiments on 14 commonly used image corruptions with 7,718 human participants and state-of-the-art robust NN models with different training objectives (e.g., standard, adversarial, corruption robustness), different architectures (e.g., convolution NNs, vision transformers), and different amounts of training data augmentation. Our study showed that: 1) assessing robustness against continuous corruption can reveal insufficient robustness undetected by existing benchmarks; as a result, 2) the gap between NN and human robustness is larger than previously known; and finally, 3) some image corruptions have a similar impact on human perception, offering opportunities for more cost-effective robustness assessments. Our validation set with 14 image corruptions, human robustness data, and the evaluation code is provided as a toolbox and a benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google