SWAT: Spatial Structure Within and Among Tokens

要約

アテンション メカニズム、フィードフォワード ネットワーク、または畳み込みを使用して視覚データをトークン (つまり、画像パッチ) としてモデル化することは、近年非常に効果的です。
このようなメソッドには通常、共通のパイプラインがあります。つまり、トークン化メソッドの後に、トークン内およびトークン間の両方で情報を混合するための一連のレイヤー/ブロックが続きます。
画像パッチがトークンに変換される場合、多くの場合、画像パッチは平坦化され、各パッチ内の空間構造が破棄されます。
その結果、その後の処理（例：マルチヘッドセルフアテンション）は、そのような情報を回復できなかったり、情報から利益を得られなかったりする可能性があります。
この論文では、空間構造がトークン化中に保存され、混合段階で明示的に使用される場合、モデルに大きな利点が生じる可能性があると主張します。
私たちは 2 つの重要な貢献を提案します。(1) 構造を意識したトークン化と (2) 構造を意識したミキシング。どちらも最小限の労力で既存のモデルと組み合わせることができます。
ImageNet 分類や ADE20K セグメンテーションを含む複数のベンチマークにわたって、DeiT、MLP-Mixer、Swin Transformer などの改善を示すモデル ファミリ (SWAT) を紹介します。
私たちのコードは https://github.com/kkahatapitiya/SWAT で入手できます。

要約(オリジナル)

Modeling visual data as tokens (i.e., image patches) using attention mechanisms, feed-forward networks or convolutions has been highly effective in recent years. Such methods usually have a common pipeline: a tokenization method, followed by a set of layers/blocks for information mixing, both within and among tokens. When image patches are converted into tokens, they are often flattened, discarding the spatial structure within each patch. As a result, any processing that follows (eg: multi-head self-attention) may fail to recover and/or benefit from such information. In this paper, we argue that models can have significant gains when spatial structure is preserved during tokenization, and is explicitly used during the mixing stage. We propose two key contributions: (1) Structure-aware Tokenization and, (2) Structure-aware Mixing, both of which can be combined with existing models with minimal effort. We introduce a family of models (SWAT), showing improvements over the likes of DeiT, MLP-Mixer and Swin Transformer, across multiple benchmarks including ImageNet classification and ADE20K segmentation. Our code is available at https://github.com/kkahatapitiya/SWAT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google