Visual Attention Network

要約

もともとは自然言語処理タスク用に設計されていましたが、最近、自己注意メカニズムがさまざまなコンピュータービジョン領域を席巻しました。
ただし、画像の2Dの性質は、コンピュータビジョンに自己注意を適用するための3つの課題をもたらします。
（1）画像を1Dシーケンスとして扱うと、2D構造が無視されます。
（2）2次の複雑さは、高解像度の画像には高すぎます。
（3）空間適応性のみをキャプチャし、チャネル適応性は無視します。
この論文では、ラージカーネルアテンション（LKA）と呼ばれる新しい線形アテンションを提案し、その欠点を回避しながら、自己アテンションの自己適応型および長距離相関を可能にします。
さらに、LKAに基づくニューラルネットワーク、すなわちVisual Attention Network（VAN）を紹介します。
VANは非常にシンプルですが、画像分類、オブジェクト検出、セマンティックセグメンテーション、パノラマセグメンテーション、ポーズ推定などのさまざまなタスクで、同様のサイズのビジョントランスフォーマー（ViT）や畳み込みニューラルネットワーク（CNN）を上回ります。たとえば、VAN-B6は87.8を達成します。
ImageNetベンチマークの％精度と、パノラマセグメンテーションの新しい最先端のパフォーマンス（58.2 PQ）を設定します。
さらに、VAN-B2は、ADE20KベンチマークでのセマンティックセグメンテーションでSwin-T 4％mIoU（50.1対46.1）、COCOデータセットでのオブジェクト検出で2.6％AP（48.8対46.2）を上回っています。
これは、コミュニティに斬新な方法とシンプルでありながら強力なベースラインを提供します。
コードはhttps://github.com/Visual-Attention-Networkで入手できます。

要約(オリジナル)

While originally designed for natural language processing tasks, the self-attention mechanism has recently taken various computer vision areas by storm. However, the 2D nature of images brings three challenges for applying self-attention in computer vision. (1) Treating images as 1D sequences neglects their 2D structures. (2) The quadratic complexity is too expensive for high-resolution images. (3) It only captures spatial adaptability but ignores channel adaptability. In this paper, we propose a novel linear attention named large kernel attention (LKA) to enable self-adaptive and long-range correlations in self-attention while avoiding its shortcomings. Furthermore, we present a neural network based on LKA, namely Visual Attention Network (VAN). While extremely simple, VAN surpasses similar size vision transformers(ViTs) and convolutional neural networks(CNNs) in various tasks, including image classification, object detection, semantic segmentation, panoptic segmentation, pose estimation, etc. For example, VAN-B6 achieves 87.8% accuracy on ImageNet benchmark and set new state-of-the-art performance (58.2 PQ) for panoptic segmentation. Besides, VAN-B2 surpasses Swin-T 4% mIoU (50.1 vs. 46.1) for semantic segmentation on ADE20K benchmark, 2.6% AP (48.8 vs. 46.2) for object detection on COCO dataset. It provides a novel method and a simple yet strong baseline for the community. Code is available at https://github.com/Visual-Attention-Network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google