Self-slimmed Vision Transformer

要約

ビジョン トランスフォーマー (ViT) は一般的な構造になり、さまざまなビジョン タスクで畳み込みニューラル ネットワーク (CNN) を凌駕しています。
ただし、このような強力なトランスフォーマーは、トークン間の比較が大変なため、膨大な計算負荷をもたらします。
以前の作業は、ViT の計算コストを削減するために、重要でないトークンをドロップすることに焦点を当てていました。
しかし、ドロップ率が高くなると、このハードな方法では必然的に重要なトークンが破棄され、効率が制限されます。
この問題を解決するために、バニラ ViT、つまり SiT の一般的なセルフスリム化学習アプローチを提案します。
具体的には、まず、動的なトークン集約によって ViT の推論効率を高めることができる、新しいトークン スリミング モジュール (TSM) を設計します。
トークンのハード ドロップの一般的な方法として、TSM は冗長なトークンをより少ない有益なトークンにソフトに統合します。
スリム化率が高い場合でも、画像内の差別的なトークン関係を遮断することなく、視覚的注意を動的にズームできます。
さらに、簡潔な Feature Recalibration Distillation (FRD) フレームワークを導入します。このフレームワークでは、TSM の逆バージョン (RTSM) を設計して、柔軟な自動エンコーダー方式で非構造化トークンを再調整します。
教師と生徒の構造が似ているため、FRD は構造の知識を効果的に活用して収束を改善できます。
最後に、SiT を評価するために広範な実験を行います。
これは、私たちの方法がわずかな精度低下で ViT を 1.7 倍高速化し、パフォーマンスの 97% を維持しながら ViT を 3.6 倍高速化できることを示しています。
驚くべきことに、LV-ViT に当社の SiT を装備するだけで、ImageNet で最先端のパフォーマンスを達成できます。
コードは https://github.com/Sense-X/SiT で入手できます。

要約(オリジナル)

Vision transformers (ViTs) have become the popular structures and outperformed convolutional neural networks (CNNs) on various vision tasks. However, such powerful transformers bring a huge computation burden, because of the exhausting token-to-token comparison. The previous works focus on dropping insignificant tokens to reduce the computational cost of ViTs. But when the dropping ratio increases, this hard manner will inevitably discard the vital tokens, which limits its efficiency. To solve the issue, we propose a generic self-slimmed learning approach for vanilla ViTs, namely SiT. Specifically, we first design a novel Token Slimming Module (TSM), which can boost the inference efficiency of ViTs by dynamic token aggregation. As a general method of token hard dropping, our TSM softly integrates redundant tokens into fewer informative ones. It can dynamically zoom visual attention without cutting off discriminative token relations in the images, even with a high slimming ratio. Furthermore, we introduce a concise Feature Recalibration Distillation (FRD) framework, wherein we design a reverse version of TSM (RTSM) to recalibrate the unstructured token in a flexible auto-encoder manner. Due to the similar structure between teacher and student, our FRD can effectively leverage structure knowledge for better convergence. Finally, we conduct extensive experiments to evaluate our SiT. It demonstrates that our method can speed up ViTs by 1.7x with negligible accuracy drop, and even speed up ViTs by 3.6x while maintaining 97% of their performance. Surprisingly, by simply arming LV-ViT with our SiT, we achieve new state-of-the-art performance on ImageNet. Code is available at https://github.com/Sense-X/SiT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google