Neural Architecture Search using Particle Swarm and Ant Colony Optimization

要約

ニューラル ネットワーク モデルには、アーキテクチャに合わせて選択する必要がある多数のハイパーパラメーターがあります。
どのアーキテクチャとどの値をパラメータに割り当てるかを選択することは、初心者ユーザーにとって大きな負担となる可能性があります。
ほとんどの場合、デフォルトのハイパーパラメータとアーキテクチャが使用されます。
複数のアーキテクチャを評価することで、モデルの精度を大幅に向上させることができます。
Neural Architecture Search (NAS) として知られるプロセスを適用すると、そのような多数のアーキテクチャを自動的に評価できます。
画像の分類において、Neural Architecture Search (OpenNAS) 用のオープンソース ツールを統合したシステムが、この研究の一環として開発されました。
OpenNAS は、グレースケールまたは RBG 画像の任意のデータセットを取得し、AutoKeras、転移学習、または Swarm Intelligence (SI) アプローチのいずれかを使用して、さまざまなメタヒューリスティックに基づいて畳み込みニューラル ネットワーク (CNN) アーキテクチャを生成します。
SI アルゴリズムとしては、Particle Swarm Optimization (PSO) と Ant Colony Optimization (ACO) が使用されます。
さらに、このようなメタヒューリスティックを通じて開発されたモデルは、スタッキングアンサンブルを使用して組み合わせることができます。
このペーパーでは、OpenNAS の Swarm Intelligence (SI) コンポーネントを使用した CNN のトレーニングと最適化に焦点を当てます。
PSO と ACO という 2 つの主要なタイプの SI アルゴリズムを比較して、より高いモデル精度を生成するのにどちらがより効果的かを確認します。
私たちの実験計画では、PSO アルゴリズムが ACO よりも優れたパフォーマンスを発揮することが示されています。
PSO のパフォーマンスの向上は、より複雑なデータセットで最も顕著になります。
ベースラインとして、事前に調整されたモデルのパフォーマンスも評価されます。

要約(オリジナル)

Neural network models have a number of hyperparameters that must be chosen along with their architecture. This can be a heavy burden on a novice user, choosing which architecture and what values to assign to parameters. In most cases, default hyperparameters and architectures are used. Significant improvements to model accuracy can be achieved through the evaluation of multiple architectures. A process known as Neural Architecture Search (NAS) may be applied to automatically evaluate a large number of such architectures. A system integrating open source tools for Neural Architecture Search (OpenNAS), in the classification of images, has been developed as part of this research. OpenNAS takes any dataset of grayscale, or RBG images, and generates Convolutional Neural Network (CNN) architectures based on a range of metaheuristics using either an AutoKeras, a transfer learning or a Swarm Intelligence (SI) approach. Particle Swarm Optimization (PSO) and Ant Colony Optimization (ACO) are used as the SI algorithms. Furthermore, models developed through such metaheuristics may be combined using stacking ensembles. In the context of this paper, we focus on training and optimizing CNNs using the Swarm Intelligence (SI) components of OpenNAS. Two major types of SI algorithms, namely PSO and ACO, are compared to see which is more effective in generating higher model accuracies. It is shown, with our experimental design, that the PSO algorithm performs better than ACO. The performance improvement of PSO is most notable with a more complex dataset. As a baseline, the performance of fine-tuned pre-trained models is also evaluated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google