LSAS: Lightweight Sub-attention Strategy for Alleviating Attention Bias Problem

要約

タイトル – 『LSAS：注目バイアス問題を緩和するための軽量サブ注意戦略』
要約 – 深層ニューラルネットワーク（DNN）の性能は、画像内の重要なピクセル領域を認識し、注目する能力である特徴抽出能力に密接に関連しています。しかし、本論文では、DNNが多数の人気データセットから多数のサンプルに対して注目バイアス問題を持っていることを定量的に、統計的に示します。 (1) 位置バイアス：DNNはラベル非依存領域に完全に注目します。 (2) 範囲バイアス：DNNから注目された領域は理想的な領域に完全に含まれていません。さらに、既存の自己注意モジュールがこれらのバイアスをある程度緩和できますが、バイアスは無視できないままです。これらをさらに軽減するために、我々は高次のサブ注意モジュールを活用した軽量サブ注意戦略（LSAS）を提案します。LSASの効果は、広く使用されているベンチマークデータセットや人気の注意ネットワークでの実験によって示されています。 LSASの結果を再現するためのコードをリリースしています。

要約(オリジナル)

In computer vision, the performance of deep neural networks (DNNs) is highly related to the feature extraction ability, i.e., the ability to recognize and focus on key pixel regions in an image. However, in this paper, we quantitatively and statistically illustrate that DNNs have a serious attention bias problem on many samples from some popular datasets: (1) Position bias: DNNs fully focus on label-independent regions; (2) Range bias: The focused regions from DNN are not completely contained in the ideal region. Moreover, we find that the existing self-attention modules can alleviate these biases to a certain extent, but the biases are still non-negligible. To further mitigate them, we propose a lightweight sub-attention strategy (LSAS), which utilizes high-order sub-attention modules to improve the original self-attention modules. The effectiveness of LSAS is demonstrated by extensive experiments on widely-used benchmark datasets and popular attention networks. We release our code to help other researchers to reproduce the results of LSAS~\footnote{https://github.com/Qrange-group/LSAS}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI