Towards Better Orthogonality Regularization with Disentangled Norm in Training Deep CNNs

要約

直交性正則化は、ディープ CNN のトレーニングの不安定性や特徴の冗長性を防ぐために開発されました。
既存の提案のうち、カーネル直交性正則化は、畳み込みフィルタによって形成されたグラム行列と直交性行列との間の残差を最小化することによって直交性を強制する。
我々は、残差から対角情報と相関情報を解きほぐす、フィルター間のより良い直交性を達成するための新しい手段を提案します。
フィルタ間に厳密な直交性を課すという原理に基づいた対策を備えたモデルは、ほぼ直交性において以前の正則化手法を上回ります。
さらに、比較的浅いモデルでは厳密なフィルター直交性の向上による利点が観察されていますが、モデルの深さが増すにつれて、厳密なカーネル直交性を採用したモデルのパフォーマンス向上は急激に減少します。
さらに、厳密なカーネル直交性と増大するモデル能力との間の潜在的な矛盾の観察に基づいて、カーネル直交性の正則化に関する緩和理論を提案します。
緩和されたカーネル直交性により、容量が増加したモデルのパフォーマンスが向上し、深いモデルのパフォーマンスに対する厳密なカーネル直交性の負担が軽減されます。
私たちは、CIFAR-10 および CIFAR-100 の ResNet および WideResNet 上でカーネル直交性正則化ツールキットを使用して広範な実験を実施しています。
厳密な直交性と緩和された直交性正則化の両方を含むツールキットによるモデルのパフォーマンスにおける最先端の向上を観察し、表現力豊かな特徴を備えたより堅牢なモデルを取得します。
これらの実験は、ツールキットの有効性を実証し、厳密な直交性によってもたらされる見落とされがちな課題についての洞察を微妙に提供し、容量が豊富なモデルにおける厳密な直交性の負担に対処します。

要約(オリジナル)

Orthogonality regularization has been developed to prevent deep CNNs from training instability and feature redundancy. Among existing proposals, kernel orthogonality regularization enforces orthogonality by minimizing the residual between the Gram matrix formed by convolutional filters and the orthogonality matrix. We propose a novel measure for achieving better orthogonality among filters, which disentangles diagonal and correlation information from the residual. The model equipped with the measure under the principle of imposing strict orthogonality between filters surpasses previous regularization methods in near-orthogonality. Moreover, we observe the benefits of improved strict filter orthogonality in relatively shallow models, but as model depth increases, the performance gains in models employing strict kernel orthogonality decrease sharply. Furthermore, based on the observation of the potential conflict between strict kernel orthogonality and growing model capacity, we propose a relaxation theory on kernel orthogonality regularization. The relaxed kernel orthogonality achieves enhanced performance on models with increased capacity, shedding light on the burden of strict kernel orthogonality on deep model performance. We conduct extensive experiments with our kernel orthogonality regularization toolkit on ResNet and WideResNet in CIFAR-10 and CIFAR-100. We observe state-of-the-art gains in model performance from the toolkit, which includes both strict orthogonality and relaxed orthogonality regularization, and obtain more robust models with expressive features. These experiments demonstrate the efficacy of our toolkit and subtly provide insights into the often overlooked challenges posed by strict orthogonality, addressing the burden of strict orthogonality on capacity-rich models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google