Bespoke: A Block-Level Neural Network Optimization Framework for Low-Cost Deployment

要約

深層学習モデルの人気が高まるにつれ、それらをさまざまなデバイス環境に導入する必要性が高まっています。
単一の環境ごとにニューラル ネットワークを開発および最適化するにはコストがかかるため、複数のターゲット環境のニューラル ネットワークを効率的に検索する一連の研究が行われています。
しかし、このような状況に対応した既存の作品では、依然として多くの GPU と高価なコストが必要になるという問題があります。
これを動機として、私たちは低コストの展開のために Bespoke という名前の新しいニューラル ネットワーク最適化フレームワークを提案します。
私たちのフレームワークは、元のモデルの一部を、事前トレーニングされたニューラル ネットワークまたは元のモデルに由来するランダムに選択された代替物で置き換えることによって軽量モデルを検索します。
実際的な意味で、ビスポークには 2 つの大きなメリットがあります。
1 つは、ニューラル ネットワークの探索空間の設計にかかるコストがほぼゼロであることです。
もう 1 つのメリットは、公開されている事前学習済みニューラル ネットワークのサブネットワークを利用するため、既存の作品に比べて総コストが最小限で済むことです。
私たちはビスポークのメリットを探る実験を行っており、その結果、少ないコストで複数のターゲットに対して効率的なモデルが見つかることがわかりました。

要約(オリジナル)

As deep learning models become popular, there is a lot of need for deploying them to diverse device environments. Because it is costly to develop and optimize a neural network for every single environment, there is a line of research to search neural networks for multiple target environments efficiently. However, existing works for such a situation still suffer from requiring many GPUs and expensive costs. Motivated by this, we propose a novel neural network optimization framework named Bespoke for low-cost deployment. Our framework searches for a lightweight model by replacing parts of an original model with randomly selected alternatives, each of which comes from a pretrained neural network or the original model. In the practical sense, Bespoke has two significant merits. One is that it requires near zero cost for designing the search space of neural networks. The other merit is that it exploits the sub-networks of public pretrained neural networks, so the total cost is minimal compared to the existing works. We conduct experiments exploring Bespoke’s the merits, and the results show that it finds efficient models for multiple targets with meager cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google