Spurious Features Everywhere — Large-Scale Detection of Harmful Spurious Features in ImageNet

要約

ディープ ラーニング分類子のベンチマーク パフォーマンスだけでは、デプロイされたモデルのパフォーマンスを予測する信頼できる指標にはなりません。
特に、画像分類器がトレーニング データの誤った特徴を検出した場合、その予測は予期しない方法で失敗する可能性があります。
この論文では、ImageNet のような大規模なデータセットで偽の特徴を体系的に識別できるようにするフレームワークを開発します。
これは、ニューラル PCA コンポーネントとその視覚化に基づいています。
画像分類器の偽の特徴に関する以前の研究は、多くの場合、おもちゃの設定で動作するか、高価なピクセル単位の注釈を必要とします。
対照的に、クラスの有害なスプリアス機能の存在がそのクラスの予測をトリガーするのに十分であることを確認することにより、結果を検証します。
新しいデータセット「Spurious ImageNet」を導入し、既存の分類器が偽の特徴にどれだけ依存しているかを確認します。

要約(オリジナル)

Benchmark performance of deep learning classifiers alone is not a reliable predictor for the performance of a deployed model. In particular, if the image classifier has picked up spurious features in the training data, its predictions can fail in unexpected ways. In this paper, we develop a framework that allows us to systematically identify spurious features in large datasets like ImageNet. It is based on our neural PCA components and their visualization. Previous work on spurious features of image classifiers often operates in toy settings or requires costly pixel-wise annotations. In contrast, we validate our results by checking that presence of the harmful spurious feature of a class is sufficient to trigger the prediction of that class. We introduce a novel dataset ‘Spurious ImageNet’ and check how much existing classifiers rely on spurious features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google