Dynamic Grained Encoder for Vision Transformers

要約

言語モデリングのデファクト スタンダードであるトランスフォーマーは、最近、ビジョン タスクに適用されています。
このホワイト ペーパーでは、ビジョン トランスフォーマーのスパース クエリを導入して、自然画像の固有の空間冗長性を活用し、計算コストを節約します。
具体的には、各空間領域に適切な数のクエリを適応的に割り当てることができるビジョン トランスフォーマー用の Dynamic Grained Encoder を提案します。
したがって、高い効率を維持しながら、識別領域でのきめの細かい表現を実現します。
さらに、ダイナミック グレイン エンコーダーは、ほとんどのビジョン トランスフォーマー フレームワークと互換性があります。
ベルとホイッスルがなければ、当社のエンコーダーにより、画像分類で同等のパフォーマンスを維持しながら、最先端のビジョン トランスフォーマーが計算の複雑さを 40% ～ 60% 削減できます。
オブジェクトの検出とセグメンテーションに関する広範な実験により、私たちのアプローチの一般化可能性がさらに実証されます。
コードは https://github.com/StevenGrove/vtpack で入手できます。

要約(オリジナル)

Transformers, the de-facto standard for language modeling, have been recently applied for vision tasks. This paper introduces sparse queries for vision transformers to exploit the intrinsic spatial redundancy of natural images and save computational costs. Specifically, we propose a Dynamic Grained Encoder for vision transformers, which can adaptively assign a suitable number of queries to each spatial region. Thus it achieves a fine-grained representation in discriminative regions while keeping high efficiency. Besides, the dynamic grained encoder is compatible with most vision transformer frameworks. Without bells and whistles, our encoder allows the state-of-the-art vision transformers to reduce computational complexity by 40%-60% while maintaining comparable performance on image classification. Extensive experiments on object detection and segmentation further demonstrate the generalizability of our approach. Code is available at https://github.com/StevenGrove/vtpack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google