Edge AI as a Service with Coordinated Deep Neural Networks

要約

人工知能 (AI) アプリケーションが次世代ネットワークで拡大し続けるにつれて、ディープ ニューラル ネットワーク (DNN) モデルのニーズが高まっています。
エッジにデプロイされた DNN モデルは、低遅延で AI をサービスとして提供することが期待されていますが、その連携についてはまだ検討されていません。
このペーパーでは、DNN サービス プロバイダーがモデルのパラメーターだけでなくコンピューティング リソースも共有し、他の DNN がミラーリングせずにコンピューティングをオフロードできるようにすると考えます。
私たちは、新しい推論パスを確立することで DNN サービス間の調整を容易にする、エッジ上の調整 DNN (\textbf{CoDE}) と呼ばれる新しいアルゴリズムを提案します。
CoDE は、個々のモデルからマルチタスク DNN を作成することによって、最適なパス、つまり可能な限り最高の報酬が得られるパスを見つけることを目的としています。
報酬は推論のスループットとモデルの精度を反映します。
CoDE を使用すると、DNN モデルは、独自のまたは他のモデルのパラメーターを使用して、推論のための新しいパスを作成できます。
次に、数値実験を通じて CoDE のパフォーマンスを評価します。
結果は、推論スループットが $40\%$ 増加する一方、平均精度は $2.3\%$ だけ低下することを示しています。
実験によれば、CoDE は推論のスループットを向上させ、最先端の既存の方法と比較してより高い精度を実現します。

要約(オリジナル)

As artificial intelligence (AI) applications continue to expand in next-generation networks, there is a growing need for deep neural network (DNN) models. Although DNN models deployed at the edge are promising for providing AI as a service with low latency, their cooperation is yet to be explored. In this paper, we consider that DNN service providers share their computing resources as well as their models’ parameters and allow other DNNs to offload their computations without mirroring. We propose a novel algorithm called coordinated DNNs on edge (\textbf{CoDE}) that facilitates coordination among DNN services by establishing new inference paths. CoDE aims to find the optimal path, which is the path with the highest possible reward, by creating multi-task DNNs from individual models. The reward reflects the inference throughput and model accuracy. With CoDE, DNN models can make new paths for inference by using their own or other models’ parameters. We then evaluate the performance of CoDE through numerical experiments. The results demonstrate a $40\%$ increase in the inference throughput while degrading the average accuracy by only $2.3\%$. Experiments show that CoDE enhances the inference throughput and, achieves higher precision compared to a state-of-the-art existing method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google