Spatial Bias for Attention-free Non-local Neural Networks

要約

この論文では、畳み込みニューラルネットワークで自己注意なしでグローバル知識を学習するための空間バイアスを紹介します。
受容野が限られているため、従来の畳み込みニューラル ネットワークは、長距離依存関係の学習に悩まされていました。
非局所ニューラル ネットワークは、グローバルな知識の学習に苦労してきましたが、自己注意操作のためにネットワーク設計が重くなりすぎることは避けられません。
したがって、畳み込みニューラルネットワークで自己注意を払うことなくグローバル知識を効率的にエンコードする、高速で軽量な空間バイアスを提案します。
空間バイアスは特徴マップに積み重ねられ、畳み込み特徴の空間構造を調整するために一緒に畳み込まれます。
したがって、追加リソースをほとんど使用せずに、畳み込み層でグローバル知識を直接学習します。
私たちの方法は、ニューラルネットワークのパフォーマンスを大幅に改善しながら、注意のない非ローカル方法により非常に高速で軽量です。
非ローカル ニューラル ネットワークと比較して、空間バイアスは約 10 分の 1 のパラメーターしか使用せず、わずかな予算で 1.6 ～ 3.3 倍のスループットで同等のパフォーマンスを達成します。
さらに、空間バイアスを従来の非ローカル ニューラル ネットワークで使用して、バックボーン モデルのパフォーマンスをさらに向上させることができます。
空間バイアスが、ImageNet-1K および cifar100 データセットで分類精度を +0.79% および +1.5% 向上させる競争力のあるパフォーマンスを達成することを示します。
さらに、オブジェクト検出とセマンティック セグメンテーションを含むダウンストリーム タスクについて、MS-COCO および ADE20K データセットでメソッドを検証します。

要約(オリジナル)

In this paper, we introduce the spatial bias to learn global knowledge without self-attention in convolutional neural networks. Owing to the limited receptive field, conventional convolutional neural networks suffer from learning long-range dependencies. Non-local neural networks have struggled to learn global knowledge, but unavoidably have too heavy a network design due to the self-attention operation. Therefore, we propose a fast and lightweight spatial bias that efficiently encodes global knowledge without self-attention on convolutional neural networks. Spatial bias is stacked on the feature map and convolved together to adjust the spatial structure of the convolutional features. Therefore, we learn the global knowledge on the convolution layer directly with very few additional resources. Our method is very fast and lightweight due to the attention-free non-local method while improving the performance of neural networks considerably. Compared to non-local neural networks, the spatial bias use about 10 times fewer parameters while achieving comparable performance with 1.6 ~ 3.3 times more throughput on a very little budget. Furthermore, the spatial bias can be used with conventional non-local neural networks to further improve the performance of the backbone model. We show that the spatial bias achieves competitive performance that improves the classification accuracy by +0.79% and +1.5% on ImageNet-1K and cifar100 datasets. Additionally, we validate our method on the MS-COCO and ADE20K datasets for downstream tasks involving object detection and semantic segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google