SDA-$x$Net: Selective Depth Attention Networks for Adaptive Multi-scale Feature Representation

要約

既存のマルチスケール ソ​​リューションは、小さな受容野を無視して、受容野のサイズを大きくするだけのリスクをもたらします。
したがって、さまざまな空間スケールのオブジェクトを認識するための適応ニューラル ネットワークを効果的に構築することは困難な問題です。
この問題に取り組むために、チャネル、空間、ブランチなどの既存の注意次元に加えて、新しい注意次元、つまり深さを最初に導入し、さまざまなビジョンでマルチスケールオブジェクトを対称的に処理するための新しい選択的深さ注意ネットワークを提示します。
タスク。
具体的には、特定のニューラル ネットワーク (ResNet) の各ステージ内のブロックは、同じ解像度を共有するが受容野サイズが異なる階層的特徴マップを出力します。
この構造特性に基づいて、トランクブランチとSEのようなアテンションブランチを含む段階的なビルディングモジュール、つまりSDAを設計します。
トランク ブランチのブロック出力は融合され、アテンション ブランチを介して深度アテンションの割り当てをグローバルにガイドします。
提案された注意メカニズムによれば、さまざまな深度機能を動的に選択できます。これは、可変サイズの入力オブジェクトの受容野サイズを適応的に調整するのに役立ちます。
このように、ブロック間の情報相互作用は、深さ方向に沿った長距離依存性につながります。
他のマルチスケール アプローチと比較して、当社の SDA メソッドは、前のブロックからの複数の受容野をステージ出力に結合するため、有効な受容野のより広く豊富な範囲を提供します。
さらに、私たちの方法は、SDA-$x$Net と呼ばれるアテンション ネットワークだけでなく、他のマルチスケール ネットワークへのプラグ可能なモジュールとしても機能します。
それらの組み合わせにより、有効な受容野の範囲が小さな受容野に向かってさらに拡張され、解釈可能なニューラル ネットワークが可能になります。
ソース コードは、\url{https://github.com/QingbeiGuo/SDA-xNet.git} で入手できます。

要約(オリジナル)

Existing multi-scale solutions lead to a risk of just increasing the receptive field sizes while neglecting small receptive fields. Thus, it is a challenging problem to effectively construct adaptive neural networks for recognizing various spatial-scale objects. To tackle this issue, we first introduce a new attention dimension, i.e., depth, in addition to existing attention dimensions such as channel, spatial, and branch, and present a novel selective depth attention network to symmetrically handle multi-scale objects in various vision tasks. Specifically, the blocks within each stage of a given neural network, i.e., ResNet, output hierarchical feature maps sharing the same resolution but with different receptive field sizes. Based on this structural property, we design a stage-wise building module, namely SDA, which includes a trunk branch and a SE-like attention branch. The block outputs of the trunk branch are fused to globally guide their depth attention allocation through the attention branch. According to the proposed attention mechanism, we can dynamically select different depth features, which contributes to adaptively adjusting the receptive field sizes for the variable-sized input objects. In this way, the cross-block information interaction leads to a long-range dependency along the depth direction. Compared with other multi-scale approaches, our SDA method combines multiple receptive fields from previous blocks into the stage output, thus offering a wider and richer range of effective receptive fields. Moreover, our method can be served as a pluggable module to other multi-scale networks as well as attention networks, coined as SDA-$x$Net. Their combination further extends the range of the effective receptive fields towards small receptive fields, enabling interpretable neural networks. Our source code is available at \url{https://github.com/QingbeiGuo/SDA-xNet.git}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google