Spectral Wavelet Dropout: Regularization in the Wavelet Domain

要約

正則化技術は過学習を防止するのに役立ち、畳み込みニューラル ネットワーク (CNN) の一般化能力を向上させます。
過剰適合の理由の 1 つは、ネットワークのさまざまな部分間の複雑な共適応です。これにより、CNN が各部分に有用な特徴表現を個別に学習することを促すのではなく、それらの共同応答に依存するようになります。
周波数領域操作は、周波数分解を利用して時間的および空間的コヒーレンスを持つデータを変更するための強力な戦略です。
この研究では、1D-SWD と 2D-SWD の 2 つの変種を含む新しい正則化手法であるスペクトル ウェーブレット ドロップアウト (SWD) を導入します。
これらのバリアントは、特徴マップの離散ウェーブレット分解で詳細な周波数帯域をランダムにドロップすることにより、CNN の一般化を向上させます。
私たちのアプローチは、フーリエ領域の係数を除去する既存のスペクトル「フーリエ」ドロップアウト (2D-SFD) とは異なります。
特に、SFD で必要な 2 つのハイパーパラメータとは異なり、SWD では 1 つのハイパーパラメータのみが必要です。
また、スペクトル ‘フーリエ’ ドロップアウト (1D-SFD) の一次元バージョンを実装することで文献を拡張し、包括的な比較の準備を整えます。
当社の評価では、1D および 2D SWD バリアントの両方が、CIFAR-10/100 ベンチマークで 1D-SFD および 2D-SFD の両方と比較して競争力のあるパフォーマンスを備えていることが示されています。
具体的には、1D-SWD は 1D/2D-SFD に比べて計算の複雑さが大幅に低くなります。
Pascal VOC Object Detection ベンチマークでは、SWD バリアントはパフォーマンスで 1D-SFD および 2D-SFD を上回り、トレーニング中の計算複雑性が低いことが実証されています。

要約(オリジナル)

Regularization techniques help prevent overfitting and therefore improve the ability of convolutional neural networks (CNNs) to generalize. One reason for overfitting is the complex co-adaptations among different parts of the network, which make the CNN dependent on their joint response rather than encouraging each part to learn a useful feature representation independently. Frequency domain manipulation is a powerful strategy for modifying data that has temporal and spatial coherence by utilizing frequency decomposition. This work introduces Spectral Wavelet Dropout (SWD), a novel regularization method that includes two variants: 1D-SWD and 2D-SWD. These variants improve CNN generalization by randomly dropping detailed frequency bands in the discrete wavelet decomposition of feature maps. Our approach distinguishes itself from the pre-existing Spectral ‘Fourier’ Dropout (2D-SFD), which eliminates coefficients in the Fourier domain. Notably, SWD requires only a single hyperparameter, unlike the two required by SFD. We also extend the literature by implementing a one-dimensional version of Spectral ‘Fourier’ Dropout (1D-SFD), setting the stage for a comprehensive comparison. Our evaluation shows that both 1D and 2D SWD variants have competitive performance on CIFAR-10/100 benchmarks relative to both 1D-SFD and 2D-SFD. Specifically, 1D-SWD has a significantly lower computational complexity compared to 1D/2D-SFD. In the Pascal VOC Object Detection benchmark, SWD variants surpass 1D-SFD and 2D-SFD in performance and demonstrate lower computational complexity during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google