Colab NAS: Obtaining lightweight task-specific convolutional neural networks following Occam’s razor

要約

大規模なデータセットでトレーニングされた CNN から転移学習を適用する現在の傾向は、ターゲット アプリケーションが、ネットワークをゼロからトレーニングするのに十分なデータを持つカスタムの区切られた問題である場合、やり過ぎになる可能性があります。
一方、カスタムおよび軽量の CNN のトレーニングには、ゼロからのケースでは専門知識、またはハードウェア認識型ニューラル アーキテクチャ検索 (HW NAS) の場合のようにハイエンドのリソースが必要であり、テクノロジーへのアクセスが制限されます。
非習慣的な NN 開発者によるものです。
このため、軽量のタスク固有の CNN を生成するための手頃な価格の HW NAS 技術である Colab NAS を紹介します。
オッカムのかみそりに触発されたその斬新な派生物を使用しない検索戦略により、Google Colaboratory や Kaggle Kernel などの無料のオンライン GPU サービスを使用して、Visual Wake Word データセットでわずか 4.5 GPU 時間で最先端の結果を取得できます。

要約(オリジナル)

The current trend of applying transfer learning from CNNs trained on large datasets can be an overkill when the target application is a custom and delimited problem with enough data to train a network from scratch. On the other hand, the training of custom and lighter CNNs requires expertise, in the from-scratch case, and or high-end resources, as in the case of hardware-aware neural architecture search (HW NAS), limiting access to the technology by non-habitual NN developers. For this reason, we present Colab NAS, an affordable HW NAS technique for producing lightweight task-specific CNNs. Its novel derivative-free search strategy, inspired by Occam’s razor, allows it to obtain state-of-the-art results on the Visual Wake Word dataset in just 4.5 GPU hours using free online GPU services such as Google Colaboratory and Kaggle Kernel.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google