Bridging the Gap Between Vision Transformers and Convolutional Neural Networks on Small Datasets

要約

小さなデータセットでゼロからトレーニングする場合、ビジョン トランスフォーマー (ViT) と畳み込みニューラル ネットワーク (CNN) の間には依然として極端なパフォーマンス ギャップが残っており、これは帰納的バイアスの欠如に帰着します。
このホワイト ペーパーでは、この問題をさらに検討し、誘導バイアスにおける ViT の 2 つの弱点、つまり、空間的関連性と多様なチャネル表現を指摘します。
まず、空間的な側面では、オブジェクトは局所的にコンパクトで関連性があるため、トークンとその近傍からきめの細かい特徴を抽出する必要があります。
データの欠如は、ViT が空間関連性に参加するのを妨げます。
第二に、チャネルの側面では、表現はさまざまなチャネルで多様性を示します。
しかし、データが不足しているため、ViT は正確な認識に十分な強度の表現を学習できません。
この目的のために、2 つの誘導バイアスを強化するソリューションとしてダイナミック ハイブリッド ビジョン トランスフォーマー (DHVT) を提案します。
空間的な側面では、畳み込みがパッチ埋め込みと多層パーセプトロンモジュールに統合されたハイブリッド構造を採用し、モデルにトークン機能とその隣接機能を強制的にキャプチャさせます。
チャネルの側面では、MLP に動的機能集約モジュールを導入し、マルチヘッド セルフアテンション モジュールにまったく新しい「ヘッド トークン」設計を導入して、チャネル表現を再調整し、異なるチャネル グループ表現が相互に作用するようにします。
弱いチャネル表現の融合により、分類に十分な強度の表現が形成されます。
この設計により、CNN と ViT の間のパフォーマンス ギャップを解消することに成功し、DHVT は軽量モデルで一連の最先端のパフォーマンスを達成し、22.8M パラメータの CIFAR-100 で 85.68%、ImageNet で 82.3% を達成しました。
24.0M パラメータで -1K。
コードは https://github.com/ArieSeirack/DHVT で入手できます。

要約(オリジナル)

There still remains an extreme performance gap between Vision Transformers (ViTs) and Convolutional Neural Networks (CNNs) when training from scratch on small datasets, which is concluded to the lack of inductive bias. In this paper, we further consider this problem and point out two weaknesses of ViTs in inductive biases, that is, the spatial relevance and diverse channel representation. First, on spatial aspect, objects are locally compact and relevant, thus fine-grained feature needs to be extracted from a token and its neighbors. While the lack of data hinders ViTs to attend the spatial relevance. Second, on channel aspect, representation exhibits diversity on different channels. But the scarce data can not enable ViTs to learn strong enough representation for accurate recognition. To this end, we propose Dynamic Hybrid Vision Transformer (DHVT) as the solution to enhance the two inductive biases. On spatial aspect, we adopt a hybrid structure, in which convolution is integrated into patch embedding and multi-layer perceptron module, forcing the model to capture the token features as well as their neighboring features. On channel aspect, we introduce a dynamic feature aggregation module in MLP and a brand new ‘head token’ design in multi-head self-attention module to help re-calibrate channel representation and make different channel group representation interacts with each other. The fusion of weak channel representation forms a strong enough representation for classification. With this design, we successfully eliminate the performance gap between CNNs and ViTs, and our DHVT achieves a series of state-of-the-art performance with a lightweight model, 85.68% on CIFAR-100 with 22.8M parameters, 82.3% on ImageNet-1K with 24.0M parameters. Code is available at https://github.com/ArieSeirack/DHVT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google