Fully Attentional Network for Semantic Segmentation

要約

最近の非局所的自己注意法は、セマンティックセグメンテーションの長距離依存関係をキャプチャするのに効果的であることが証明されています。
これらの方法は通常、RC * C（空間次元の圧縮による）またはRHW * HW（チャネルの圧縮による）の類似性マップを形成して、チャネルまたは空間次元のいずれかに沿った特徴関係を記述します。ここで、Cはチャネルの数、HおよびWは
入力フィーチャマップの空間次元。
ただし、このような方法では、機能の依存関係が他の次元に沿って凝縮される傾向があるため、注意が失われ、小さい/薄いカテゴリの結果が低下したり、大きなオブジェクト内のセグメンテーションが一貫しなくなったりする可能性があります。
この問題に対処するために、新しいアプローチ、つまり完全注意ネットワーク（FLANet）を提案し、高い計算効率を維持しながら、空間的注意とチャネル注意の両方を単一の類似性マップにエンコードします。
具体的には、チャネルマップごとに、FLANetは、新しい完全注意モジュールを介して、他のすべてのチャネルマップからの特徴応答、および関連する空間位置も収集できます。
私たちの新しい方法は、3つの挑戦的なセマンティックセグメンテーションデータセット、つまり、Cityscapesテストセット、ADE20K検証セット、およびPASCAL VOCテストセットでそれぞれ83.6％、46.99％、および88.5％で最先端のパフォーマンスを達成しました。
。

要約(オリジナル)

Recent non-local self-attention methods have proven to be effective in capturing long-range dependencies for semantic segmentation. These methods usually form a similarity map of RC*C (by compressing spatial dimensions) or RHW*HW (by compressing channels) to describe the feature relations along either channel or spatial dimensions, where C is the number of channels, H and W are the spatial dimensions of the input feature map. However, such practices tend to condense feature dependencies along the other dimensions,hence causing attention missing, which might lead to inferior results for small/thin categories or inconsistent segmentation inside large objects. To address this problem, we propose anew approach, namely Fully Attentional Network (FLANet),to encode both spatial and channel attentions in a single similarity map while maintaining high computational efficiency. Specifically, for each channel map, our FLANet can harvest feature responses from all other channel maps, and the associated spatial positions as well, through a novel fully attentional module. Our new method has achieved state-of-the-art performance on three challenging semantic segmentation datasets,i.e., 83.6%, 46.99%, and 88.5% on the Cityscapes test set,the ADE20K validation set, and the PASCAL VOC test set,respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google