Search-time Efficient Device Constraints-Aware Neural Architecture Search

要約

エッジ コンピューティングは、IoT デバイスなどのエッジ デバイスがクラウドに依存せずにローカルでデータを処理できるようにすることを目的としています。
ただし、コンピューター ビジョンや自然言語処理などの深層学習技術は、計算コストが高く、メモリを大量に消費する可能性があります。
各デバイスに特化した手動アーキテクチャを作成することは、デバイスごとに異なるメモリと計算上の制約があるため、現実的ではありません。
これらの懸念に対処するために、ニューラル アーキテクチャ検索 (NAS) を通じて、デバイスの制約に合わせて最適化されたタスク固有のディープ ラーニング アーキテクチャの構築を自動化します。
モデル サイズや浮動小数点演算などのエッジ デバイスの制約を組み込んだ、高速ニューラル ネットワーク アーキテクチャ検索の原則的な方法である DCA-NAS を紹介します。
重み共有とチャネルのボトルネック技術を組み込んで、検索時間を短縮します。
私たちの実験によると、DCA-NAS は同様のサイズのモデルの手動アーキテクチャよりも優れたパフォーマンスを示し、CIFAR-10、CIFAR-100、Imagenet-1k などのさまざまな画像分類データセットで一般的なモバイル アーキテクチャと同等であることがわかりました。
サーチ スペースの実験 — DARTS と NAS-Bench-201 は、DCA-NAS の一般化機能を示しています。
Hardware-NAS-Bench でのアプローチをさらに評価したところ、低い推論レイテンシと最先端のパフォーマンスを備えたデバイス固有のアーキテクチャが発見されました。

要約(オリジナル)

Edge computing aims to enable edge devices, such as IoT devices, to process data locally instead of relying on the cloud. However, deep learning techniques like computer vision and natural language processing can be computationally expensive and memory-intensive. Creating manual architectures specialized for each device is infeasible due to their varying memory and computational constraints. To address these concerns, we automate the construction of task-specific deep learning architectures optimized for device constraints through Neural Architecture Search (NAS). We present DCA-NAS, a principled method of fast neural network architecture search that incorporates edge-device constraints such as model size and floating-point operations. It incorporates weight sharing and channel bottleneck techniques to speed up the search time. Based on our experiments, we see that DCA-NAS outperforms manual architectures for similar sized models and is comparable to popular mobile architectures on various image classification datasets like CIFAR-10, CIFAR-100, and Imagenet-1k. Experiments with search spaces — DARTS and NAS-Bench-201 show the generalization capabilities of DCA-NAS. On further evaluating our approach on Hardware-NAS-Bench, device-specific architectures with low inference latency and state-of-the-art performance were discovered.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google