Vision Big Bird: Random Sparsification for Full Attention

要約

最近、トランスフォーマーはさまざまな視覚タスクにおいて有望なパフォーマンスを示しています。
しかし、トランスフォーマーにとって、特に高解像度ビジョンタスクの場合、グローバルな自己注意にかかるコストが高いことが依然として課題となっています。
NLP で最も成功したトランスフォーマー ベースのモデルの 1 つである Big Bird からインスピレーションを得て、ビジョン トランスフォーマー (ViT) 用の新しいスパース アテンション メカニズムを提案します。
具体的には、頭部を 3 つのグループに分けます。最初のグループは畳み込みニューラル ネットワーク (CNN) を使用して局所特徴を抽出し、モデルに位置情報を提供します。2 番目のグループはランダム サンプリング ウィンドウ (RS-Win) を使用してスパース セルフ アテンションの計算を行います。
、3 番目のグループは、グローバルな注目を集めるための平均プーリングによってキーと値の解像度を下げます。
これらのコンポーネントに基づいて、ViT は Big Bird の利点を維持しながら、自己注意のまばらさを維持します (つまり、モデルはシーケンス関数の汎用近似器であり、チューリング完全です)。
さらに、私たちの結果は、ViT の重要なコンポーネントである位置エンコーディングがモデルから安全に削除できることを示しています。
実験によれば、Vision Big Bird は一般的な視覚タスクにおいて競争力のあるパフォーマンスを示しています。

要約(オリジナル)

Recently, Transformers have shown promising performance in various vision tasks. However, the high costs of global self-attention remain challenging for Transformers, especially for high-resolution vision tasks. Inspired by one of the most successful transformers-based models for NLP: Big Bird, we propose a novel sparse attention mechanism for Vision Transformers (ViT). Specifically, we separate the heads into three groups, the first group used convolutional neural network (CNN) to extract local features and provide positional information for the model, the second group used Random Sampling Windows (RS-Win) for sparse self-attention calculation, and the third group reduces the resolution of the keys and values by average pooling for global attention. Based on these components, ViT maintains the sparsity of self-attention while maintaining the merits of Big Bird (i.e., the model is a universal approximator of sequence functions and is Turing complete). Moreover, our results show that the positional encoding, a crucial component in ViTs, can be safely removed in our model. Experiments show that Vision Big Bird demonstrates competitive performance on common vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google