PSO-Convolutional Neural Networks with Heterogeneous Learning Rate

要約

畳み込みニューラル ネットワーク (ConvNet または CNN) は、コンピューター ビジョンおよび関連分野の範囲に率直に導入されています。
それにもかかわらず、これらのニューラル ネットワークのトレーニングのダイナミクスは依然としてとらえどころのないままです。ニューラル ネットワークをトレーニングするのは難しく、計算コストがかかります。
この課題を克服し、音声、画像、動作の認識や物体検出などの画像処理におけるいくつかの問題に対処するために、無数のアーキテクチャとトレーニング戦略が提案されています。
この記事では、ConvNet 用の新しい粒子群最適化 (PSO) ベースのトレーニングを提案します。
このようなフレームワークでは、各 ConvNet の重みのベクトルは通常、位相空間内の粒子の位置としてキャストされ、これにより PSO 協調ダイナミクスが確率的勾配降下法 (SGD) と絡み合い、トレーニングのパフォーマンスと一般化が向上します。
私たちのアプローチは次のようになります。 i) [通常フェーズ] 各 ConvNet は SGD 経由で個別にトレーニングされます。
ii) [共同フェーズ] ConvNet は、損失関数の勾配推定とともに現在の重みベクトル (または粒子位置) を相互に共有します。
個別のステップ サイズは、個別の ConvNet によって造られます。
大きな (おそらくランダムな) ステップ サイズを持つ ConvNet と、より保守的なステップ サイズを適切にブレンドすることにより、Cifar-10 および Cifar-100 上の他の PSO ベースのアプローチと比較して競争力のあるパフォーマンスを持つアルゴリズムを提案します (精度 98.31% および 87.48%)。
）。
これらの精度レベルは、わずか 4 つの ConvNet に頼ることによって得られます。そのような結果は、協調的な ConvNet の数に応じて拡張されることが期待されます。
ソース コードは https://github.com/leonlha/PSO-ConvNet-Dynamics からダウンロードできるようにしています。

要約(オリジナル)

Convolutional Neural Networks (ConvNets or CNNs) have been candidly deployed in the scope of computer vision and related fields. Nevertheless, the dynamics of training of these neural networks lie still elusive: it is hard and computationally expensive to train them. A myriad of architectures and training strategies have been proposed to overcome this challenge and address several problems in image processing such as speech, image and action recognition as well as object detection. In this article, we propose a novel Particle Swarm Optimization (PSO) based training for ConvNets. In such framework, the vector of weights of each ConvNet is typically cast as the position of a particle in phase space whereby PSO collaborative dynamics intertwines with Stochastic Gradient Descent (SGD) in order to boost training performance and generalization. Our approach goes as follows: i) [regular phase] each ConvNet is trained independently via SGD; ii) [collaborative phase] ConvNets share among themselves their current vector of weights (or particle-position) along with their gradient estimates of the Loss function. Distinct step sizes are coined by distinct ConvNets. By properly blending ConvNets with large (possibly random) step-sizes along with more conservative ones, we propose an algorithm with competitive performance with respect to other PSO-based approaches on Cifar-10 and Cifar-100 (accuracy of 98.31% and 87.48%). These accuracy levels are obtained by resorting to only four ConvNets — such results are expected to scale with the number of collaborative ConvNets accordingly. We make our source codes available for download https://github.com/leonlha/PSO-ConvNet-Dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google