Group Orthogonalization Regularization For Vision Models Adaptation and Robustness

要約

ニューラル ネットワークが深くなるにつれて、パラメータ内の冗長性が増加します。
この現象は、畳み込みフィルター間の相関を低減しようとするいくつかの方法につながりました。
私たちは、同じ層内のフィルターのグループ間の正規直交性を促進する、計算効率の高い正則化手法を提案します。
私たちの実験では、拡散モデルとビジョン トランスフォーマー (ViT) の最近の適応方法に組み込むと、この正則化によって下流のタスクのパフォーマンスが向上することが示されました。
さらに、敵対的トレーニング中にグループの直交性が強制された場合、堅牢性が向上することを示します。
私たちのコードは https://github.com/YoavKurtz/GOR で入手できます。

要約(オリジナル)

As neural networks become deeper, the redundancy within their parameters increases. This phenomenon has led to several methods that attempt to reduce the correlation between convolutional filters. We propose a computationally efficient regularization technique that encourages orthonormality between groups of filters within the same layer. Our experiments show that when incorporated into recent adaptation methods for diffusion models and vision transformers (ViTs), this regularization improves performance on downstream tasks. We further show improved robustness when group orthogonality is enforced during adversarial training. Our code is available at https://github.com/YoavKurtz/GOR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google