Lets keep it simple, Using simple architectures to outperform deeper and more complex architectures

要約

タイトル：シンプルなアーキテクチャを使用して、より深く複雑なアーキテクチャよりも優れた性能を発揮する

要約：

– 有名な勝利を収めた畳み込みニューラルネットワーク（CNN）であるAlexNet、VGGNet、ResNet、GoogleNetなどは、数千万から数億のパラメータを含んでおり、計算とメモリのオーバーヘッドが大きいため、トレーニング、最適化、メモリの効率化には実用的ではない。
– 一方、この問題に対処するために提案された軽量なアーキテクチャは、主に低い精度が問題である。これらの非効率性は、アドホックな手順によって起こることが多い。
– 設計原則に基づくシンプルなアーキテクチャであるSimpleNetを提案し、経験的に示したことにより、手作りで深選ばれた、シンプルでかなり深いアーキテクチャは、より深くて複雑なアーキテクチャと同等のパフォーマンスを発揮することを示した。
– SimpleNetは、計算とメモリの効率性と精度のバランスをとるよいトレードオフを提供する。我々のシンプルな13層のアーキテクチャは、パラメータや操作の数が2倍から25倍少なく、VGGNet、ResNet、GoogleNetなどよりも多くのディープモデルよりも優れた性能を持っており、埋め込みシステムや計算とメモリの制限のあるシステムで便利である。
– CIFAR10で最新の結果を達成し、MNISTでは近似最新、CIFAR100やSVHNでも競争力のある結果を示した。また、ImageNetデータセットでも、VGGNetやResNetsのようなはるかに大きく深いアーキテクチャを上回った。
– モデルはこちらで利用できる：https://github.com/Coderx7/SimpleNet

要約(オリジナル)

Major winning Convolutional Neural Networks (CNNs), such as AlexNet, VGGNet, ResNet, GoogleNet, include tens to hundreds of millions of parameters, which impose considerable computation and memory overhead. This limits their practical use for training, optimization and memory efficiency. On the contrary, light-weight architectures, being proposed to address this issue, mainly suffer from low accuracy. These inefficiencies mostly stem from following an ad hoc procedure. We propose a simple architecture, called SimpleNet, based on a set of designing principles, with which we empirically show, a well-crafted yet simple and reasonably deep architecture can perform on par with deeper and more complex architectures. SimpleNet provides a good tradeoff between the computation/memory efficiency and the accuracy. Our simple 13-layer architecture outperforms most of the deeper and complex architectures to date such as VGGNet, ResNet, and GoogleNet on several well-known benchmarks while having 2 to 25 times fewer number of parameters and operations. This makes it very handy for embedded systems or systems with computational and memory limitations. We achieved state-of-the-art result on CIFAR10 outperforming several heavier architectures, near state of the art on MNIST and competitive results on CIFAR100 and SVHN. We also outperformed the much larger and deeper architectures such as VGGNet and popular variants of ResNets among others on the ImageNet dataset. Models are made available at: https://github.com/Coderx7/SimpleNet

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI