CSA-Net: Channel-wise Spatially Autocorrelated Attention Networks

要約

近年、チャネルごとの特徴洗練メカニズムを備えた畳み込みニューラル ネットワーク (CNN) が、チャネル依存関係のモデリングに顕著な利点をもたらしています。
しかし、現在のアテンションパラダイムは、特徴マップ間の統計的および空間的関係を同時に利用できる最適なチャネル記述子を推論することができません。
この論文では、この欠点を克服するために、新しいチャネルごとの空間的自己相関 (CSA) アテンション メカニズムを紹介します。
地理的分析に触発された提案された CSA は、特徴マップのチャネル間の空間的関係を利用して、効果的なチャネル記述子を生成します。
私たちの知る限り、地理空間分析の概念がディープ CNN で利用されるのはこれが初めてです。
提案された CSA は、ディープ モデルに無視できる学習パラメータと軽い計算オーバーヘッドを課すため、強力でありながら効率的な注意モジュールとして最適です。
私たちは、画像分類、オブジェクト検出、インスタンス セグメンテーションのための ImageNet および MS COCO ベンチマーク データセットに関する広範な実験と分析を通じて、提案された CSA ネットワーク (CSA-Nets) の有効性を検証します。
実験結果は、CSA-Net が、さまざまなベンチマーク タスクおよびデータセットにわたって、いくつかの最先端のアテンションベースの CNN よりも競争力のあるパフォーマンスと優れた一般化を一貫して達成できることを示しています。

要約(オリジナル)

In recent years, convolutional neural networks (CNNs) with channel-wise feature refining mechanisms have brought noticeable benefits to modelling channel dependencies. However, current attention paradigms fail to infer an optimal channel descriptor capable of simultaneously exploiting statistical and spatial relationships among feature maps. In this paper, to overcome this shortcoming, we present a novel channel-wise spatially autocorrelated (CSA) attention mechanism. Inspired by geographical analysis, the proposed CSA exploits the spatial relationships between channels of feature maps to produce an effective channel descriptor. To the best of our knowledge, this is the f irst time that the concept of geographical spatial analysis is utilized in deep CNNs. The proposed CSA imposes negligible learning parameters and light computational overhead to the deep model, making it a powerful yet efficient attention module of choice. We validate the effectiveness of the proposed CSA networks (CSA-Nets) through extensive experiments and analysis on ImageNet, and MS COCO benchmark datasets for image classification, object detection, and instance segmentation. The experimental results demonstrate that CSA-Nets are able to consistently achieve competitive performance and superior generalization than several state-of-the-art attention-based CNNs over different benchmark tasks and datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google