Enhancing Split Computing and Early Exit Applications through Predefined Sparsity

要約

過去 10 年間で、ディープ ニューラル ネットワーク (DNN) は、物体分類や動作認識からスマート ビルディングやヘルスケアに至るまで、幅広い問題において最先端のパフォーマンスを達成しました。
DNN をこれほど普及したテクノロジーにする柔軟性には代償が伴います。計算要件により、リアルタイムおよび現実世界のタスクを解決するために現在利用可能なリソースに制約のあるほとんどのエッジ デバイスに DNN を導入することができません。
このペーパーでは、事前定義されたスパース性の概念とスプリット コンピューティング (SC) および早期終了 (EE) を組み合わせることで、この課題に対処する新しいアプローチを紹介します。
特に、SC は DNN を分割し、その一部をエッジ デバイスにデプロイし、残りをリモート サーバーにデプロイすることを目的としています。
代わりに、EE を使用すると、答えがすでに十分である場合、システムはリモート サーバーの使用を停止し、エッジ デバイスの計算のみに依存できます。
具体的には、このような事前定義されたスパース性を SC および EE パラダイムに適用する方法は、これまで研究されたことがありません。
この論文では、この問題を調査し、ハードウェア プラットフォームに関係なく、事前定義されたスパース性がトレーニングおよび推論フェーズ中の計算、ストレージ、およびエネルギーの負担をどのように大幅に軽減するかを示します。
これにより、SC および EE アプリケーションのパフォーマンスを向上させるための価値のあるアプローチになります。
実験結果では、パフォーマンスを損なうことなく、ストレージと計算の複雑さが 4 分の 1 を超えて削減されることが示されています。
ソース コードは https://github.com/intelligolabs/sparsity_sc_ee で入手できます。

要約(オリジナル)

In the past decade, Deep Neural Networks (DNNs) achieved state-of-the-art performance in a broad range of problems, spanning from object classification and action recognition to smart building and healthcare. The flexibility that makes DNNs such a pervasive technology comes at a price: the computational requirements preclude their deployment on most of the resource-constrained edge devices available today to solve real-time and real-world tasks. This paper introduces a novel approach to address this challenge by combining the concept of predefined sparsity with Split Computing (SC) and Early Exit (EE). In particular, SC aims at splitting a DNN with a part of it deployed on an edge device and the rest on a remote server. Instead, EE allows the system to stop using the remote server and rely solely on the edge device’s computation if the answer is already good enough. Specifically, how to apply such a predefined sparsity to a SC and EE paradigm has never been studied. This paper studies this problem and shows how predefined sparsity significantly reduces the computational, storage, and energy burdens during the training and inference phases, regardless of the hardware platform. This makes it a valuable approach for enhancing the performance of SC and EE applications. Experimental results showcase reductions exceeding 4x in storage and computational complexity without compromising performance. The source code is available at https://github.com/intelligolabs/sparsity_sc_ee.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google