Kernel Orthogonality does not necessarily imply a Decrease in Feature Map Redundancy in CNNs: Convolutional Similarity Minimization

要約

畳み込みニューラル ネットワーク (CNN) は、さまざまなタスクで成功を収めているため、深層学習で頻繁に使用されています。
それにもかかわらず、CNN には特徴マップの冗長性があり、容量使用率が非効率になることが観察されています。
この問題を軽減し解決するための取り組みにより、複数の方法が登場しました。その中には、さまざまな手段によるカーネル直交性があります。
この研究では、カーネルの直交性が特徴マップの冗長性の低下につながるという一般的な信念に異議を唱えます。これがおそらくカーネルの直交性の背後にある究極の目的です。
私たちは、カーネルの直交性が特徴マップの類似性に予測不可能な影響を及ぼし、必ずしもそれを低下させるわけではないことを理論的および経験的に証明します。
理論的結果に基づいて、CNN の入力とは無関係に特徴マップの類似性を低減する効果的な方法を提案します。
これは、畳み込み類似性と呼ばれる新しい損失関数を最小化することによって行われます。
経験的な結果は、畳み込み類似度を最小限に抑えると分類モデルのパフォーマンスが向上し、その収束を加速できることを示しています。
さらに、私たちが提案する方法を使用すると、モデルの容量をより効率的に使用できるようになり、大幅に小さいモデルを使用して同じレベルのパフォーマンスを達成できるようになります。

要約(オリジナル)

Convolutional Neural Networks (CNNs) have been heavily used in Deep Learning due to their success in various tasks. Nonetheless, it has been observed that CNNs suffer from redundancy in feature maps, leading to inefficient capacity utilization. Efforts to mitigate and solve this problem led to the emergence of multiple methods, amongst which is kernel orthogonality through variant means. In this work, we challenge the common belief that kernel orthogonality leads to a decrease in feature map redundancy, which is, supposedly, the ultimate objective behind kernel orthogonality. We prove, theoretically and empirically, that kernel orthogonality has an unpredictable effect on feature map similarity and does not necessarily decrease it. Based on our theoretical result, we propose an effective method to reduce feature map similarity independently of the input of the CNN. This is done by minimizing a novel loss function we call Convolutional Similarity. Empirical results show that minimizing the Convolutional Similarity increases the performance of classification models and can accelerate their convergence. Furthermore, using our proposed method pushes towards a more efficient use of the capacity of models, allowing the use of significantly smaller models to achieve the same levels of performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google