Parameter-Free Average Attention Improves Convolutional Neural Network Performance (Almost) Free of Charge

要約

視覚は、周囲の世界の関連する側面に焦点を当てることによって促進されます。
この観察結果をコンピューターのデジタル情報処理に移すために、顕著な画像領域を強調する注意メカニズムが導入されました。
ここでは、シンプルでありながら効果的なモジュールである PfAAM と呼ばれるパラメーターフリーのアテンション メカニズムを紹介します。
モデルのサイズに影響を与えることなく、わずかな計算オーバーヘッドで、さまざまな畳み込みニューラル ネットワーク アーキテクチャにプラグインできます。
PfAAM は、分類とセグメント化のために複数のアーキテクチャでテストされ、テストされたすべてのケースでモデルのパフォーマンスが向上しました。
これは、コンピューター ビジョン タスク用の一般的な使いやすいモジュールとしての幅広い適用性を示しています。
PfAAM の実装は、https://github.com/nkoerb/pfaam にあります。

要約(オリジナル)

Visual perception is driven by the focus on relevant aspects in the surrounding world. To transfer this observation to the digital information processing of computers, attention mechanisms have been introduced to highlight salient image regions. Here, we introduce a parameter-free attention mechanism called PfAAM, that is a simple yet effective module. It can be plugged into various convolutional neural network architectures with a little computational overhead and without affecting model size. PfAAM was tested on multiple architectures for classification and segmentic segmentation leading to improved model performance for all tested cases. This demonstrates its wide applicability as a general easy-to-use module for computer vision tasks. The implementation of PfAAM can be found on https://github.com/nkoerb/pfaam.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google