Dynamic Shuffle: An Efficient Channel Mixture Method

要約

畳み込みニューラル ネットワークの冗長性は、重みだけでなく入力にも依存します。
シャッフルはチャンネル情報を混合するための効率的な操作ですが、通常、シャッフル順序は事前に定義されています。
データ依存の冗長性を減らすために、シャッフル用のデータ依存の置換行列を生成する動的シャッフル モジュールを考案しました。
置換行列の次元は入力チャネル数の二乗に比例するため、生成プロセスを効率的に行うために、チャネルをグループに分割し、グループごとに 2 つの共有の小さな置換行列を生成し、クロネッカー積とクロスグループ シャッフルを利用します。
最終的な置換行列を取得します。
生成プロセスを学習可能にするために、理論分析に基づいて、ソフトマックス、直交正則化、および二値化を使用して順列行列を漸近的に近似します。
ダイナミック シャッフルでは、チャネル情報とごくわずかな追加の計算とメモリ占有量が適応的に混合されます。
画像分類ベンチマーク データセット CIFAR-10、CIFAR-100、Tiny ImageNet、および ImageNet での実験結果は、私たちの方法が ShuffleNets のパフォーマンスを大幅に向上させることを示しました。
動的に生成された行列と学習可能な静的行列を追加することで、静的動的シャッフルをさらに提案し、それが通常の点ごとの畳み込みの軽量な代替として機能できることを示します。

要約(オリジナル)

The redundancy of Convolutional neural networks not only depends on weights but also depends on inputs. Shuffling is an efficient operation for mixing channel information but the shuffle order is usually pre-defined. To reduce the data-dependent redundancy, we devise a dynamic shuffle module to generate data-dependent permutation matrices for shuffling. Since the dimension of permutation matrix is proportional to the square of the number of input channels, to make the generation process efficiently, we divide the channels into groups and generate two shared small permutation matrices for each group, and utilize Kronecker product and cross group shuffle to obtain the final permutation matrices. To make the generation process learnable, based on theoretical analysis, softmax, orthogonal regularization, and binarization are employed to asymptotically approximate the permutation matrix. Dynamic shuffle adaptively mixes channel information with negligible extra computation and memory occupancy. Experiment results on image classification benchmark datasets CIFAR-10, CIFAR-100, Tiny ImageNet and ImageNet have shown that our method significantly increases ShuffleNets’ performance. Adding dynamic generated matrix with learnable static matrix, we further propose static-dynamic-shuffle and show that it can serve as a lightweight replacement of ordinary pointwise convolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google