Rethinking Efficacy of Softmax for Lightweight Non-Local Neural Networks

要約

非ローカル（NL）ブロックは、グローバルコンテキストをモデル化する機能を示す人気のあるモジュールです。
ただし、NLブロックは一般に計算コストとメモリコストが高いため、ブロックを高解像度のフィーチャマップに適用することは実用的ではありません。
この論文では、NLブロックの有効性を調査するために、入力特徴ベクトルの大きさと方向がベクトル間の注意に適切に影響するかどうかを経験的に分析します。
結果は、NLブロックのアテンションマップを正規化するために一般的に使用されるsoftmax操作の非効率性を示しています。
ソフトマックス演算で正規化されたアテンションマップは、キーベクトルの大きさに大きく依存し、大きさの情報が削除されるとパフォーマンスが低下します。
softmax操作をスケーリング係数に置き換えることにより、CIFAR-10、CIFAR-100、およびTiny-ImageNetでのパフォーマンスの向上を示します。
さらに、私たちの方法は、埋め込みチャネルの削減と埋め込みの重みの初期化に対する堅牢性を示しています。
特に、私たちの方法は、追加の計算コストなしでマルチヘッドアテンションを採用可能にします。

要約(オリジナル)

Non-local (NL) block is a popular module that demonstrates the capability to model global contexts. However, NL block generally has heavy computation and memory costs, so it is impractical to apply the block to high-resolution feature maps. In this paper, to investigate the efficacy of NL block, we empirically analyze if the magnitude and direction of input feature vectors properly affect the attention between vectors. The results show the inefficacy of softmax operation which is generally used to normalize the attention map of the NL block. Attention maps normalized with softmax operation highly rely upon magnitude of key vectors, and performance is degenerated if the magnitude information is removed. By replacing softmax operation with the scaling factor, we demonstrate improved performance on CIFAR-10, CIFAR-100, and Tiny-ImageNet. In Addition, our method shows robustness to embedding channel reduction and embedding weight initialization. Notably, our method makes multi-head attention employable without additional computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google