Shrink-Perturb Improves Architecture Mixing during Population Based Training for Neural Architecture Search

要約

この研究では、ニューラル ネットワークのトレーニングと混合を同時に行うことが、ニューラル アーキテクチャ検索 (NAS) を実行する有望な方法であることを示します。
ハイパーパラメータの最適化では、Population Based Training (PBT) アルゴリズムで以前に実証されたように、部分的にトレーニングされた重みを再利用することで効率的な検索が可能になります。
我々は、PBT を NAS に適応させた PBT-NAS を提案します。これは、集団内のパフォーマンスの低いネットワークを、パフォーマンスの良いネットワークを混合し、シュリンク摂動技術を使用して重みを継承する結果として置き換えることによって、トレーニング中にアーキテクチャが改善されるものです。
PBT-NAS の終了後、作成されたネットワークは再トレーニングせずに直接使用できます。
PBT-NAS は高度な並列化が可能で効果的です。困難なタスク (画像生成と強化学習) において、PBT-NAS はベースライン (ランダム検索と突然変異ベースの PBT) と比較して優れたパフォーマンスを達成します。

要約(オリジナル)

In this work, we show that simultaneously training and mixing neural networks is a promising way to conduct Neural Architecture Search (NAS). For hyperparameter optimization, reusing the partially trained weights allows for efficient search, as was previously demonstrated by the Population Based Training (PBT) algorithm. We propose PBT-NAS, an adaptation of PBT to NAS where architectures are improved during training by replacing poorly-performing networks in a population with the result of mixing well-performing ones and inheriting the weights using the shrink-perturb technique. After PBT-NAS terminates, the created networks can be directly used without retraining. PBT-NAS is highly parallelizable and effective: on challenging tasks (image generation and reinforcement learning) PBT-NAS achieves superior performance compared to baselines (random search and mutation-based PBT).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google