Multiscale Attention via Wavelet Neural Operators for Vision Transformers

要約

トランスフォーマーは、コンピューター ビジョンにおいて広く成功を収めてきました。
その中心には、入力内の各トークンを他のすべてのトークンと重み付けされた基準で関連付ける誘導バイアスであるセルフ アテンション (SA) メカニズムがあります。
標準的な SA メカニズムはシーケンスの長さに関して 2 次の複雑さを持ち、これが高解像度ビジョンに表示される長いシーケンスに対するその有用性を妨げます。
最近、偏微分方程式の演算子学習に触発されて、FFT を介して効率的に実装されるグローバル畳み込みに基づく高解像度アテンションのために、適応フーリエ ニューラル演算子 (AFNO) が導入されました。
ただし、AFNO グローバル フィルタリングは、自然画像に一般的に現れる小規模および中規模の構造をうまく表現できません。
粗いスケールから細かいスケールへの構造を活用するために、シーケンス サイズで線形の複雑さを引き起こすウェーブレット ニューラル演算子を活用することにより、マルチスケール ウェーブレット アテンション (MWA) を導入します。
ViT のアテンションを MWA に置き換え、CIFAR と Tiny-ImageNet 分類を用いた実験では、AFNO やグローバル フィルター ネットワーク (GFN) などの代替のフーリエベースのアテンションに比べて大幅な改善が実証されました。

要約(オリジナル)

Transformers have achieved widespread success in computer vision. At their heart, there is a Self-Attention (SA) mechanism, an inductive bias that associates each token in the input with every other token through a weighted basis. The standard SA mechanism has quadratic complexity with the sequence length, which impedes its utility to long sequences appearing in high resolution vision. Recently, inspired by operator learning for PDEs, Adaptive Fourier Neural Operators (AFNO) were introduced for high resolution attention based on global convolution that is efficiently implemented via FFT. However, the AFNO global filtering cannot well represent small and moderate scale structures that commonly appear in natural images. To leverage the coarse-to-fine scale structures we introduce a Multiscale Wavelet Attention (MWA) by leveraging wavelet neural operators which incurs linear complexity in the sequence size. We replace the attention in ViT with MWA and our experiments with CIFAR and Tiny-ImageNet classification demonstrate significant improvement over alternative Fourier-based attentions such as AFNO and Global Filter Network (GFN).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google