Learnable Heterogeneous Convolution: Learning both topology and strength

要約

人工ニューラル ネットワークの既存の畳み込み手法は、計算が非常に複雑になるという問題がありますが、生物学的ニューラル ネットワークは、はるかに強力でありながら効率的な方法で機能します。
樹状突起トポロジーとシナプス強度の生物学的可塑性に触発された私たちの方法であるLearnable Heterogeneous Convolutionは、カーネルの形状と重みの共同学習を実現し、既存の手作りの畳み込み技術をデータ駆動型の方法で統合します。
私たちの方法に基づくモデルは、構造的な疎な重みで収束し、高度な並列処理のデバイスによって加速できます。
実験では、私たちの方法は、パフォーマンスを損なうことなく、VGG16/19 と ResNet34/50 の計算を CIFAR10 でほぼ 5 倍、ImageNet で 2 倍削減します。重みはそれぞれ 10 倍と 4 倍に圧縮されます。
または、CIFAR10 で最大 1.0%、ImageNet で最大 0.5% 精度が向上し、わずかに高い効率が得られます。
コードは www.github.com/Genera1Z/LearnableHeterogeneousConvolution で入手できます。

要約(オリジナル)

Existing convolution techniques in artificial neural networks suffer from huge computation complexity, while the biological neural network works in a much more powerful yet efficient way. Inspired by the biological plasticity of dendritic topology and synaptic strength, our method, Learnable Heterogeneous Convolution, realizes joint learning of kernel shape and weights, which unifies existing handcrafted convolution techniques in a data-driven way. A model based on our method can converge with structural sparse weights and then be accelerated by devices of high parallelism. In the experiments, our method either reduces VGG16/19 and ResNet34/50 computation by nearly 5x on CIFAR10 and 2x on ImageNet without harming the performance, where the weights are compressed by 10x and 4x respectively; or improves the accuracy by up to 1.0% on CIFAR10 and 0.5% on ImageNet with slightly higher efficiency. The code will be available on www.github.com/Genera1Z/LearnableHeterogeneousConvolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google