Efficient ResNets: Residual Network Design

要約

ResNet (または Residual Network) は、画像分類タスクに最も一般的に使用されるモデルの 1 つです。
このプロジェクトでは、CIFAR-10 画像分類用に修正された ResNet モデルを設計し、トレーニングします。
特に、ResNet モデルのサイズを 500 万のトレーニング可能なパラメーターという指定された固定予算内に維持しながら、CIFAR-10 ベンチマークでのテスト精度を最大化することを目指しました。
モデルのサイズは、通常、トレーニング可能なパラメーターの数として測定され、ストレージ容量が限られたデバイス (例: IoT/エッジ デバイス) にモデルを保存する必要がある場合に重要です。
この記事では、パラメータが 500 万未満である残差ネットワーク設計を紹介します。
私たちの ResNet は、多数のトレーニング戦略と適切な ResNet ハイパーパラメーターを装備した場合、CIFAR-10 で 96.04% のテスト精度を達成し、これは ResNet18 (1,100 万を超えるトレーニング可能なパラメーターを持つ) よりもはるかに高いことを示します。
モデルとコードは https://github.com/Nikunj-Gupta/Efficient_ResNets で入手できます。

要約(オリジナル)

ResNets (or Residual Networks) are one of the most commonly used models for image classification tasks. In this project, we design and train a modified ResNet model for CIFAR-10 image classification. In particular, we aimed at maximizing the test accuracy on the CIFAR-10 benchmark while keeping the size of our ResNet model under the specified fixed budget of 5 million trainable parameters. Model size, typically measured as the number of trainable parameters, is important when models need to be stored on devices with limited storage capacity (e.g. IoT/edge devices). In this article, we present our residual network design which has less than 5 million parameters. We show that our ResNet achieves a test accuracy of 96.04% on CIFAR-10 which is much higher than ResNet18 (which has greater than 11 million trainable parameters) when equipped with a number of training strategies and suitable ResNet hyperparameters. Models and code are available at https://github.com/Nikunj-Gupta/Efficient_ResNets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google