USDC: Unified Static and Dynamic Compression for Visual Transformer

要約

Visual Transformers は、分類、検出など、ほぼすべての視覚タスクで大きな成功を収めています。
ただし、ビジュアル トランスフォーマーのモデルの複雑さと推論速度により、工業製品への展開が妨げられます。
さまざまなモデル圧縮手法は、モデルのパフォーマンスを維持しながらビジュアル トランスフォーマーをより小さいものに直接圧縮することに重点を置いていますが、圧縮率が大きいとパフォーマンスが大幅に低下します。
さらに、いくつかの動的ネットワーク技術を適用してビジュアル トランスフォーマーを動的に圧縮し、推論段階で入力に適応した効率的なサブ構造を取得します。これにより、圧縮率とモデルのパフォーマンスの間でより適切なトレードオフを実現できます。
動的モデルのメモリの上限は、元のビジュアル トランスフォーマー モデル全体と追加のコントロール ゲーティング モジュールを一緒にデバイスにロードして推論する必要があるため、実際の展開では減りません。
2 つのカテゴリの方法の 2 つの欠点を軽減するために、静的圧縮技術と動的圧縮技術を統合して入力適応型圧縮モデルを取得することを提案します。これにより、全体の圧縮率とモデルのパフォーマンスのバランスがさらに良くなります。
さらに、実際の展開では、通常、トレーニング段階と推論段階のバッチ サイズが異なるため、モデル推論のパフォーマンスがモデルのトレーニング パフォーマンスよりも悪くなりますが、これまでの動的ネットワークの論文では触れられていませんでした。
このパフォーマンス低下の問題を解決するために、サブグループ ゲート拡張手法を提案します。
広範な実験により、DeiT、T2T-ViT などのさまざまなベースライン視覚変換機能に対するこの手法の優位性が実証されています。

要約(オリジナル)

Visual Transformers have achieved great success in almost all vision tasks, such as classification, detection, and so on. However, the model complexity and the inference speed of the visual transformers hinder their deployments in industrial products. Various model compression techniques focus on directly compressing the visual transformers into a smaller one while maintaining the model performance, however, the performance drops dramatically when the compression ratio is large. Furthermore, several dynamic network techniques have also been applied to dynamically compress the visual transformers to obtain input-adaptive efficient sub-structures during the inference stage, which can achieve a better trade-off between the compression ratio and the model performance. The upper bound of memory of dynamic models is not reduced in the practical deployment since the whole original visual transformer model and the additional control gating modules should be loaded onto devices together for inference. To alleviate two disadvantages of two categories of methods, we propose to unify the static compression and dynamic compression techniques jointly to obtain an input-adaptive compressed model, which can further better balance the total compression ratios and the model performances. Moreover, in practical deployment, the batch sizes of the training and inference stage are usually different, which will cause the model inference performance to be worse than the model training performance, which is not touched by all previous dynamic network papers. We propose a sub-group gates augmentation technique to solve this performance drop problem. Extensive experiments demonstrate the superiority of our method on various baseline visual transformers such as DeiT, T2T-ViT, and so on.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google