Bespoke: A Block-Level Neural Network Optimization Framework for Low-Cost Deployment

要約

ディープラーニングモデルの普及に伴い、多様なデバイス環境への展開のニーズが高まっています。すべての環境に対してニューラルネットワークを開発・最適化するのはコストがかかるため、複数の対象環境に対して効率的にニューラルネットワークを探索する研究が進んでいます。しかし、このような状況を想定した既存の研究は、多くのGPUを必要とし、高価なコストがかかるという問題が残っています。このような背景から、我々は低コストで展開するための新しいニューラルネットワーク最適化フレームワーク「Bespoke」を提案します。このフレームワークは、オリジナルモデルの一部を、事前に訓練されたニューラルネットワークまたはオリジナルモデルからランダムに選択された代替案と置き換えることによって、軽量モデルを探索する。実用的な意味で、Bespokeには2つの大きなメリットがあります。ひとつは、ニューラルネットワークの探索空間を設計するためのコストがほぼゼロであること。もう一つのメリットは、公開されている事前学習済みニューラルネットワークのサブネットワークを利用するため、既存の作品と比較して総コストが最小になることです。Bespokeの長所を探る実験を行った結果、複数のターゲットに対して効率的なモデルをわずかなコストで発見できることがわかった。

要約(オリジナル)

As deep learning models become popular, there is a lot of need for deploying them to diverse device environments. Because it is costly to develop and optimize a neural network for every single environment, there is a line of research to search neural networks for multiple target environments efficiently. However, existing works for such a situation still suffer from requiring many GPUs and expensive costs. Motivated by this, we propose a novel neural network optimization framework named Bespoke for low-cost deployment. Our framework searches for a lightweight model by replacing parts of an original model with randomly selected alternatives, each of which comes from a pretrained neural network or the original model. In the practical sense, Bespoke has two significant merits. One is that it requires near zero cost for designing the search space of neural networks. The other merit is that it exploits the sub-networks of public pretrained neural networks, so the total cost is minimal compared to the existing works. We conduct experiments exploring Bespoke’s the merits, and the results show that it finds efficient models for multiple targets with meager cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL