Towards Self-supervised and Weight-preserving Neural Architecture Search

要約

ニューラル・アーキテクチャ・サーチ（NAS）アルゴリズムは、人間の専門家による多大な労力を節約することができます。最近の進歩により、計算機のオーバーヘッドがさらに削減され、手頃なレベルになりました。しかし、教師あり学習と呼ばれる手法のため、実世界のアプリケーションに適用するのはまだ困難である。そこで、本研究では、教師あり学習の枠組みを拡張した、自己教師あり重み保存型ニューラルアーキテクチャ探索(SSWP-NAS)を提案し、探索段階で発見した重みを保持することで、探索作業を簡略化する。これにより、NASのワークフローを1段階かつプロキシ不要の手順へと簡略化する。実験により、CIFAR-10、CIFAR-100、ImageNetデータセットにおいて、提案フレームワークで探索したアーキテクチャは、手動ラベルを用いることなく、最先端の精度を達成することが示された。さらに、半教師付き学習シナリオにおいて、初期化として併用重みを用いることで、ランダム初期化および2段階重み事前学習法を明確なマージンで一貫して上回ることを示す。コードは、https://github.com/LzVv123456/SSWP-NAS で公開されている。

要約(オリジナル)

Neural architecture search (NAS) algorithms save tremendous labor from human experts. Recent advancements further reduce the computational overhead to an affordable level. However, it is still cumbersome to deploy the NAS techniques in real-world applications due to the fussy procedures and the supervised learning paradigm. In this work, we propose the self-supervised and weight-preserving neural architecture search (SSWP-NAS) as an extension of the current NAS framework by allowing the self-supervision and retaining the concomitant weights discovered during the search stage. As such, we simplify the workflow of NAS to a one-stage and proxy-free procedure. Experiments show that the architectures searched by the proposed framework achieve state-of-the-art accuracy on CIFAR-10, CIFAR-100, and ImageNet datasets without using manual labels. Moreover, we show that employing the concomitant weights as initialization consistently outperforms the random initialization and the two-stage weight pre-training method by a clear margin under semi-supervised learning scenarios. Codes are publicly available at https://github.com/LzVv123456/SSWP-NAS.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL