TokenMix: Rethinking Image Mixing for Data Augmentation in Vision Transformers

要約

タイトル：TokenMix：ビジョン・トランスフォーマーにおけるデータ拡張のためのイメージ・ミキシング再考

要約：

– CutMixは、現代の畳み込みニューラルネットワーク（CNN）やトランスフォーマー・ビジョン・ネットワークのトレーニングによく使用される人気のある拡張技術です。
– CutMixは、元々はCNNが画像のローカル情報ではなくグローバルなコンテキストに焦点を合わせることを促進するために設計されました。これにより、CNNのパフォーマンスが大幅に向上します。
– しかし、ビジョン・トランスフォーマーのようなアーキテクチャには元々グローバルリセプティブフィールドがあるため、その利益が限られたことがわかりました。
– この論文では、ビジョン・トランスフォーマーのパフォーマンスを改善するために、新しいデータ拡張技術TokenMixを提案します。
– TokenMixでは、ミキシング領域を複数の別々の部分に分割して、トークンレベルで2つの画像を混合します。
– また、CutMixの混合学習ターゲットは、ペアのグラウンドトゥルーのラベルの線形結合であるため、不正確で時に直感に反することがあります。より適切なターゲットを得るために、2つの画像のコンテンツベースのニューラル活性化マップから事前学習モデルによって目標スコアを割り当てることを提案します。
– TokenMixは、ビジョン・トランスフォーマーがクラスを推定するための前景領域に焦点を合わせ、遮蔽に対する彼らの頑強性を向上させるために役立ち、一定の性能向上が得られます。
– 特に、DeiT-T/S/Bを+1％のImageNetトップ-1精度に向上させました。また、トレーニング時間が長く81.2％のトップ-1精度を達成することができる。
– コードはhttps://github.com/Sense-X/TokenMixで入手可能です。

要約(オリジナル)

CutMix is a popular augmentation technique commonly used for training modern convolutional and transformer vision networks. It was originally designed to encourage Convolution Neural Networks (CNNs) to focus more on an image’s global context instead of local information, which greatly improves the performance of CNNs. However, we found it to have limited benefits for transformer-based architectures that naturally have a global receptive field. In this paper, we propose a novel data augmentation technique TokenMix to improve the performance of vision transformers. TokenMix mixes two images at token level via partitioning the mixing region into multiple separated parts. Besides, we show that the mixed learning target in CutMix, a linear combination of a pair of the ground truth labels, might be inaccurate and sometimes counter-intuitive. To obtain a more suitable target, we propose to assign the target score according to the content-based neural activation maps of the two images from a pre-trained teacher model, which does not need to have high performance. With plenty of experiments on various vision transformer architectures, we show that our proposed TokenMix helps vision transformers focus on the foreground area to infer the classes and enhances their robustness to occlusion, with consistent performance gains. Notably, we improve DeiT-T/S/B with +1% ImageNet top-1 accuracy. Besides, TokenMix enjoys longer training, which achieves 81.2% top-1 accuracy on ImageNet with DeiT-S trained for 400 epochs. Code is available at https://github.com/Sense-X/TokenMix.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI