ASR: Attention-alike Structural Re-parameterization

要約

タイトル：ASR：Attention-alike Structural Re-parameterization

要約：
– SRP技術は、異なるネットワークアーキテクチャの間で同等のパラメータ変換を行うことにより、パラメータサイズや推論時間など、トレーニング中のパフォーマンス向上のための追加コストを緩和することができる、新しいディープラーニング技術である。
– 既存のSRP方法は、正規化、プーリング、多段畳み込みなど、多くの一般的に使用されるアーキテクチャを考慮して成功しているが、自己アテンションモジュールは、バックボーンネットワーク上で乗算的に作用し、モジュールの出力が推論時に入力依存性があるため、直接SRPできない。
– 統計的な観点から広範な実験を行い、「ストライプ観察」という興味深い現象を発見した。この観察から、我々は自己注意的構造再パラメータ化（ASR）という単純で効果的な手法を提案し、自己注意メカニズムの有効性を享受しながら、あるネットワークのSRPを実現することができる。
– 一般的な既存のバックボーンネットワーク、自己注意モジュール、SRP方法の性能改善にASRが有効であることを示す、いくつかの標準ベンチマークでの広範な実験を行った。我々はまた、提案されたASRの強い頑健性のための実験的または理論的根拠を分析して提供している。

要約(オリジナル)

The structural re-parameterization (SRP) technique is a novel deep learning technique that achieves interconversion between different network architectures through equivalent parameter transformations. This technique enables the mitigation of the extra costs for performance improvement during training, such as parameter size and inference time, through these transformations during inference, and therefore SRP has great potential for industrial and practical applications. The existing SRP methods have successfully considered many commonly used architectures, such as normalizations, pooling methods, multi-branch convolution. However, the widely used self-attention modules cannot be directly implemented by SRP due to these modules usually act on the backbone network in a multiplicative manner and the modules’ output is input-dependent during inference, which limits the application scenarios of SRP. In this paper, we conduct extensive experiments from a statistical perspective and discover an interesting phenomenon Stripe Observation, which reveals that channel attention values quickly approach some constant vectors during training. This observation inspires us to propose a simple-yet-effective attention-alike structural re-parameterization (ASR) that allows us to achieve SRP for a given network while enjoying the effectiveness of the self-attention mechanism. Extensive experiments conducted on several standard benchmarks demonstrate the effectiveness of ASR in generally improving the performance of existing backbone networks, self-attention modules, and SRP methods without any elaborated model crafting. We also analyze the limitations and provide experimental or theoretical evidence for the strong robustness of the proposed ASR.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI