SMMix: Self-Motivated Image Mixing for Vision Transformers

要約

CutMix は、ビジョン トランスフォーマー (ViT) のパフォーマンスと一般化能力を決定する重要な拡張戦略です。
ただし、混合画像と対応するラベルの間の不一致は、その有効性を損ないます。
既存の CutMix バリアントは、より一貫性のある混合画像またはより正確な混合ラベルを生成することでこの問題に取り組んでいますが、必然的に大きなトレーニング オーバーヘッドが発生したり、追加の情報が必要になったりして、使いやすさが損なわれます。
この目的のために、トレーニング中のモデル自体によって画像とラベルの両方の強調を動機付ける、効率的で効果的な自己動機付け画像混合法 (SMMix) を提案します。
具体的には、混合画像内の注目オブジェクトを充実させる最大最小注目領域混合アプローチを提案します。
次に、混合画像の出力トークンをきめの細かい監督で共同トレーニングする、きめの細かいラベル割り当て手法を紹介します。
さらに、混合画像と混合されていない画像の特徴を揃えるために、新しい特徴の一貫性制約を考案しました。
自発的なパラダイムの微妙な設計により、SMMix は、他の CutMix バリアントよりもトレーニングのオーバーヘッドが小さく、パフォーマンスが優れているという点で重要です。
特に SMMix は、ImageNet-1k で DeiT-T/S、CaiT-XXS-24/36、および PVT-T/S/M/L の精度を +1% 以上向上させます。
私たちの方法の一般化機能は、下流のタスクと分布外のデータセットでも実証されています。
このプロジェクトのコードは、https://github.com/ChenMnZ/SMMix で入手できます。

要約(オリジナル)

CutMix is a vital augmentation strategy that determines the performance and generalization ability of vision transformers (ViTs). However, the inconsistency between the mixed images and the corresponding labels harms its efficacy. Existing CutMix variants tackle this problem by generating more consistent mixed images or more precise mixed labels, but inevitably introduce heavy training overhead or require extra information, undermining ease of use. To this end, we propose an efficient and effective Self-Motivated image Mixing method (SMMix), which motivates both image and label enhancement by the model under training itself. Specifically, we propose a max-min attention region mixing approach that enriches the attention-focused objects in the mixed images. Then, we introduce a fine-grained label assignment technique that co-trains the output tokens of mixed images with fine-grained supervision. Moreover, we devise a novel feature consistency constraint to align features from mixed and unmixed images. Due to the subtle designs of the self-motivated paradigm, our SMMix is significant in its smaller training overhead and better performance than other CutMix variants. In particular, SMMix improves the accuracy of DeiT-T/S, CaiT-XXS-24/36, and PVT-T/S/M/L by more than +1% on ImageNet-1k. The generalization capability of our method is also demonstrated on downstream tasks and out-of-distribution datasets. Code of this project is available at https://github.com/ChenMnZ/SMMix.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google