要約
この論文では、任意の畳み込みニューラル ネットワークにおける中間アテンション マップの弱教師付き生成メカニズムに基づいて構築し、アテンション モジュールの有効性をより直接的に開示して、それらの可能性を十分に活用します。
任意のアテンション モジュールを備えた既存のニューラル ネットワークを考慮して、メイン ネットワークのアテンション マップの品質を評価するメタ クリティカ ネットワークを導入します。
設計された報酬の離散性により、提案された学習方法は強化学習設定に配置されます。ここでは、注意アクターと反復批評家が交互に最適化され、一時的な注意表現の即時の批評と修正を提供します。したがって、Deep REinforced Attention Learning と呼ばれます。
(夢)。
これは、さまざまなタイプの注意モジュールを備えたネットワークアーキテクチャに普遍的に適用でき、カテゴリとインスタンス認識ベンチマークの両方に関する広範な実験で実証されているように、個々の注意モジュールから生じる最終的な認識パフォーマンスの相対的なゲインを最大化することにより、表現能力を促進します。
要約(オリジナル)
In this paper, we build upon the weakly-supervised generation mechanism of intermediate attention maps in any convolutional neural networks and disclose the effectiveness of attention modules more straightforwardly to fully exploit their potential. Given an existing neural network equipped with arbitrary attention modules, we introduce a meta critic network to evaluate the quality of attention maps in the main network. Due to the discreteness of our designed reward, the proposed learning method is arranged in a reinforcement learning setting, where the attention actors and recurrent critics are alternately optimized to provide instant critique and revision for the temporary attention representation, hence coined as Deep REinforced Attention Learning (DREAL). It could be applied universally to network architectures with different types of attention modules and promotes their expressive ability by maximizing the relative gain of the final recognition performance arising from each individual attention module, as demonstrated by extensive experiments on both category and instance recognition benchmarks.
arxiv情報
著者 | Duo Li,Qifeng Chen |
発行日 | 2022-08-30 17:45:52+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google