MGIC: Multigrid-in-Channels Neural Network Architectures

要約

標準的な畳み込みニューラル ネットワーク (CNN) のチャネル数に対するパラメーター数の 2 次成長に取り組むマルチグリッド イン チャネル (MGIC) アプローチを紹介します。
これにより、私たちのアプローチは、最近の軽量 CNN の成功によっても明らかになった CNN の冗長性に対処します。
軽量 CNN は、より少ないパラメータで標準 CNN に匹敵する精度を達成できます。
ただし、重みの数は、CNN の幅に応じて 2 次的にスケーリングされます。
当社の MGIC アーキテクチャは、各 CNN ブロックを対応する MGIC に置き換えます。これは、これに対処するために、小さなグループ サイズのネストされたグループ化された畳み込みの階層を利用します。
したがって、私たちが提案するアーキテクチャは、標準の CNN のようにチャネルの完全な結合を維持しながら、ネットワークの幅に対して直線的にスケーリングします。
画像分類、セグメンテーション、点群分類に関する広範な実験では、この戦略を ResNet や MobileNetV3 などのさまざまなアーキテクチャに適用すると、パラメーターの数が減り、同等以上の精度が得られることが示されています。

要約(オリジナル)

We present a multigrid-in-channels (MGIC) approach that tackles the quadratic growth of the number of parameters with respect to the number of channels in standard convolutional neural networks (CNNs). Thereby our approach addresses the redundancy in CNNs that is also exposed by the recent success of lightweight CNNs. Lightweight CNNs can achieve comparable accuracy to standard CNNs with fewer parameters; however, the number of weights still scales quadratically with the CNN’s width. Our MGIC architectures replace each CNN block with an MGIC counterpart that utilizes a hierarchy of nested grouped convolutions of small group size to address this. Hence, our proposed architectures scale linearly with respect to the network’s width while retaining full coupling of the channels as in standard CNNs. Our extensive experiments on image classification, segmentation, and point cloud classification show that applying this strategy to different architectures like ResNet and MobileNetV3 reduces the number of parameters while obtaining similar or better accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google