Auto-NBA: Efficient and Effective Search Over the Joint Space of Networks, Bitwidths, and Accelerators

要約

タイトル: Auto-NBA: Efficient and Effective Search Over the Joint Space of Networks, Bitwidths, and Accelerators

要約:

– DNNの最大化された高速化効率を得るには、ネットワーク、ビット幅、アクセラレータの3つの異なるが密接に結びついた側面の共同検索/設計が必要であるため、このような共同検索に関連する課題はまだ十分に理解され、対処されていない。
– キーチャレンジは(1)巨大な共同空間によるメモリ消費の爆発か、またはサブオプティマルなデザインを実現するかのジレンマ、(2)ネットワークとビット幅とは異なるが結合されたアクセラレータ設計空間の離散的な性質、(3)ネットワーク-アクセラレータ共同検索に関連するチキンとエッグの問題、すなわち、共同検索はハードウェアコストにつながるが、最適なアクセラレータが検索中に不明であるため、コストを伴わない。
– DNNアクセラレータの最適で高速な開発に向けたこれらの困難な課題に対処するために、Auto-NBAというフレームワークを提案し、各ターゲットデータセットとアクセラレーション仕様に対して巨大な共同設計空間内の最適設計を効率的にローカライズすることにより、ネットワーク、ビット幅、アクセラレータを共通で探索できるようにする。
– Auto-NBAは非バイアスな検索を実現するための異種サンプリング戦略と、汎用的な微分可能アクセラレータ検索エンジンで装備された新しい共同検索パイプラインを統合したものである。Auto-NBA生成のネットワークとアクセラレータは、共同検索/探索技術、ハードウェア感知NAS方法、DNNアクセラレータを含む最新のデザインに比べ、検索時間、タスク精度、アクセラレータ効率の点で一貫して優れていることが、幅広い実験とablation studiesによって検証されている。https://github.com/RICE-EIC/Auto-NBAで私たちのコードが利用可能である。

要約(オリジナル)

While maximizing deep neural networks’ (DNNs’) acceleration efficiency requires a joint search/design of three different yet highly coupled aspects, including the networks, bitwidths, and accelerators, the challenges associated with such a joint search have not yet been fully understood and addressed. The key challenges include (1) the dilemma of whether to explode the memory consumption due to the huge joint space or achieve sub-optimal designs, (2) the discrete nature of the accelerator design space that is coupled yet different from that of the networks and bitwidths, and (3) the chicken and egg problem associated with network-accelerator co-search, i.e., co-search requires operation-wise hardware cost, which is lacking during search as the optimal accelerator depending on the whole network is still unknown during search. To tackle these daunting challenges towards optimal and fast development of DNN accelerators, we propose a framework dubbed Auto-NBA to enable jointly searching for the Networks, Bitwidths, and Accelerators, by efficiently localizing the optimal design within the huge joint design space for each target dataset and acceleration specification. Our Auto-NBA integrates a heterogeneous sampling strategy to achieve unbiased search with constant memory consumption, and a novel joint-search pipeline equipped with a generic differentiable accelerator search engine. Extensive experiments and ablation studies validate that both Auto-NBA generated networks and accelerators consistently outperform state-of-the-art designs (including co-search/exploration techniques, hardware-aware NAS methods, and DNN accelerators), in terms of search time, task accuracy, and accelerator efficiency. Our codes are available at: https://github.com/RICE-EIC/Auto-NBA.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI