Enhancing Once-For-All: A Study on Parallel Blocks, Skip Connections and Early Exits

要約

近年、ニューラルネットワークの設計を自動化するためのNAS（Neural Architecture Search）技術の利用が盛んになってきています。このようなニューラルネットワークを利用する様々なハードウェア特性を持つ機器の普及と、その探索のための消費電力の低減が求められる中、1回の学習で適応性の高いモデルを生成できることを特徴とする環境に優しいアルゴリズムであるOFA（Once-For-All）が実現されています。本論文では、このパラダイムを改善し、高性能かつ環境に優しいNAS技術を開発するために、同じエコロジーの利点を維持しながら性能を向上させることを目的としたOFAの拡張版であるOFAv2を紹介します。このアルゴリズムは、早期終了、並列ブロック、高密度スキップ接続を含むことにより、アーキテクチャの観点から改良されています。学習プロセスには、Elastic LevelとElastic Heightという2つの新しいフェーズが追加されています。また、多出力ネットワークを扱うための新しい知識蒸留法が提示され、最後に動的な教師ネットワーク選択のための新しい戦略が提案されています。これらの修正により、OFAv2はアルゴリズムの柔軟性と利点を維持したまま、Tiny ImageNetデータセットでの精度性能をオリジナルバージョンのOFAと比較して最大12.07%向上させることができました。

要約(オリジナル)

The use of Neural Architecture Search (NAS) techniques to automate the design of neural networks has become increasingly popular in recent years. The proliferation of devices with different hardware characteristics using such neural networks, as well as the need to reduce the power consumption for their search, has led to the realisation of Once-For-All (OFA), an eco-friendly algorithm characterised by the ability to generate easily adaptable models through a single learning process. In order to improve this paradigm and develop high-performance yet eco-friendly NAS techniques, this paper presents OFAv2, the extension of OFA aimed at improving its performance while maintaining the same ecological advantage. The algorithm is improved from an architectural point of view by including early exits, parallel blocks and dense skip connections. The training process is extended by two new phases called Elastic Level and Elastic Height. A new Knowledge Distillation technique is presented to handle multi-output networks, and finally a new strategy for dynamic teacher network selection is proposed. These modifications allow OFAv2 to improve its accuracy performance on the Tiny ImageNet dataset by up to 12.07% compared to the original version of OFA, while maintaining the algorithm flexibility and advantages.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL