Self-Supervised Implicit Attention: Guided Attention by The Model Itself

要約

モデル自体の特性を活用することにより、深層ニューラルネットワークモデルを適応的に誘導して注意を引く新しいアプローチである、自己教師あり暗黙的注意（SSIA）を提案します。
SSIAは、既存の注意メカニズムとは対照的に、推論中に追加のパラメーター、計算、またはメモリアクセスコストを必要としない新しい注意メカニズムです。
つまり、注意の重みを高レベルのセマンティック情報と見なすことにより、既存の注意メカニズムの実装を再検討し、さらに上位のネットワーク層から監視信号を生成して、下位のネットワーク層をパラメータの更新に導くことを提案しました。
これは、トレーニング段階でのみ機能するネットワーク自体の階層機能を使用して、自己教師あり学習タスクを構築することで実現しました。
SSIAの有効性を検証するために、畳み込みニューラルネットワークモデルで特定の実装（SSIAブロックと呼ばれる）を実行し、いくつかの画像分類データセットで検証しました。
実験結果は、SSIAブロックがモデルのパフォーマンスを大幅に改善できることを示しています。さらに、Squeeze-and-ExcitationやConvolutional Block Attention Moduleなど、追加のパラメーターと計算コストを必要とする多くの一般的な注意方法を上回っています。
私たちの実装はGitHubで利用できるようになります。

要約(オリジナル)

We propose Self-Supervised Implicit Attention (SSIA), a new approach that adaptively guides deep neural network models to gain attention by exploiting the properties of the models themselves. SSIA is a novel attention mechanism that does not require any extra parameters, computation, or memory access costs during inference, which is in contrast to existing attention mechanism. In short, by considering attention weights as higher-level semantic information, we reconsidered the implementation of existing attention mechanisms and further propose generating supervisory signals from higher network layers to guide lower network layers for parameter updates. We achieved this by building a self-supervised learning task using the hierarchical features of the network itself, which only works at the training stage. To verify the effectiveness of SSIA, we performed a particular implementation (called an SSIA block) in convolutional neural network models and validated it on several image classification datasets. The experimental results show that an SSIA block can significantly improve the model performance, even outperforms many popular attention methods that require additional parameters and computation costs, such as Squeeze-and-Excitation and Convolutional Block Attention Module. Our implementation will be available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google