Decoupled Mixup for Generalized Visual Recognition

要約

畳み込みニューラル ネットワーク (CNN) は、トレーニング データとテスト データが同じ分布からのものである場合に、驚くべきパフォーマンスを発揮しました。
ただし、このようなトレーニング済みの CNN モデルは、多くの場合、目に見えない分布外 (OOD) のテスト データで大幅に劣化します。
この問題に対処するために、OOD 視覚認識用に CNN モデルをトレーニングするための新しい「Decoupled-Mixup」方法を提案します。
画像のペアを均一に組み合わせた以前の研究とは異なり、私たちの方法は、各画像を識別可能なノイズが発生しやすい領域に分離し、これらの画像ペアの領域を不均一に組み合わせて CNN モデルをトレーニングします。
テクスチャやクラッターの背景などのノイズが発生しやすい領域は、トレーニング中の CNN モデルの一般化能力に悪影響を与えることが観察されているため、画像ペアを組み合わせるときに、識別可能な領域の特徴を強化し、ノイズが発生しやすい領域を抑制します。
トレーニングされたモデルの一般化能力をさらに向上させるために、周波数ベースおよびコンテキストベースの方法で、差別的でノイズが発生しやすい領域を解きほぐすことを提案します。
実験結果は、目に見えないコンテキストで構成されたデータをテストする上で、私たちの方法の高い汎化性能を示しています。私たちの方法は、NICO チャレンジのトラック 1 で 85.76\%、トラック 2 で 79.92\% のトップ 1 精度を達成しています。
ソース コードは、https://github.com/HaozheLiu-ST/NICOChallenge-OOD-Classification で入手できます。

要約(オリジナル)

Convolutional neural networks (CNN) have demonstrated remarkable performance when the training and testing data are from the same distribution. However, such trained CNN models often largely degrade on testing data which is unseen and Out-Of-the-Distribution (OOD). To address this issue, we propose a novel ‘Decoupled-Mixup’ method to train CNN models for OOD visual recognition. Different from previous work combining pairs of images homogeneously, our method decouples each image into discriminative and noise-prone regions, and then heterogeneously combines these regions of image pairs to train CNN models. Since the observation is that noise-prone regions such as textural and clutter backgrounds are adverse to the generalization ability of CNN models during training, we enhance features from discriminative regions and suppress noise-prone ones when combining an image pair. To further improve the generalization ability of trained models, we propose to disentangle discriminative and noise-prone regions in frequency-based and context-based fashions. Experiment results show the high generalization performance of our method on testing data that are composed of unseen contexts, where our method achieves 85.76\% top-1 accuracy in Track-1 and 79.92\% in Track-2 in the NICO Challenge. The source code is available at https://github.com/HaozheLiu-ST/NICOChallenge-OOD-Classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google