Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality

要約

ニューラルネットワークにSVDメタ層を挿入すると，共分散が不整合になりやすく，学習安定性や汎化能力においてモデルに悪影響を及ぼす可能性がある．本論文では、Pre-SVD層に直交性を持たせることで共分散の条件付けを改善する方法を系統的に研究する。まず、重みに対する既存の直交処理について検討する。しかし、これらの技術は条件付けを改善することはできるが、性能を低下させる。このような副作用を避けるために、我々は近接直交勾配(NOG)と最適学習率(OLR)を提案する。我々の手法の有効性は、2つのアプリケーション、すなわち、デコラティブ・バッチ正規化（BN）とグローバル共分散プーリング（GCP）において検証される。視覚認識に関する広範な実験により、我々の手法が共分散条件付けと汎化を同時に改善できることが示された。さらに、直交する重みとの組み合わせにより、さらに性能を向上させることができる。

要約(オリジナル)

Inserting an SVD meta-layer into neural networks is prone to make the covariance ill-conditioned, which could harm the model in the training stability and generalization abilities. In this paper, we systematically study how to improve the covariance conditioning by enforcing orthogonality to the Pre-SVD layer. Existing orthogonal treatments on the weights are first investigated. However, these techniques can improve the conditioning but would hurt the performance. To avoid such a side effect, we propose the Nearest Orthogonal Gradient (NOG) and Optimal Learning Rate (OLR). The effectiveness of our methods is validated in two applications: decorrelated Batch Normalization (BN) and Global Covariance Pooling (GCP). Extensive experiments on visual recognition demonstrate that our methods can simultaneously improve the covariance conditioning and generalization. Moreover, the combinations with orthogonal weight can further boost the performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL