Split-Et-Impera: A Framework for the Design of Distributed Deep Learning Applications

要約

最近のパターン認識アプリケーションの多くは、センシング ノードと計算ノードが通信ネットワークを介して相互作用する複雑な分散アーキテクチャに依存しています。
ディープ ニューラル ネットワーク (DNN) は、このシナリオで重要な役割を果たし、強力な意思決定メカニズムを提供しますが、計算に多大な労力がかかります。
その結果、強力な最先端の DNN は、多くの場合、さまざまな計算ノードに分割されます。たとえば、最初の部分は組み込みデバイスに残り、残りはサーバーに残ります。
DNN をどこで分割するかを決定すること自体が難しいため、ディープ ラーニング アプリケーションの設計はさらに複雑になります。
したがって、i) 退屈な試行錯誤アプローチを実行せずに、ディープ ネットワークの解釈可能性の原則に基づいてニューラル ネットワークの最適な分割ポイントのセットを決定する、斬新で実用的なフレームワークである Split-Et-Impera を提案します。
さまざまなニューラル ネットワークの再配置を迅速に評価するために通信を意識したシミュレーションを実行し、iii) アプリケーションのサービス要件の品質と、精度と待ち時間の観点からのパフォーマンスとの間の最適な一致を提案します。

要約(オリジナル)

Many recent pattern recognition applications rely on complex distributed architectures in which sensing and computational nodes interact together through a communication network. Deep neural networks (DNNs) play an important role in this scenario, furnishing powerful decision mechanisms, at the price of a high computational effort. Consequently, powerful state-of-the-art DNNs are frequently split over various computational nodes, e.g., a first part stays on an embedded device and the rest on a server. Deciding where to split a DNN is a challenge in itself, making the design of deep learning applications even more complicated. Therefore, we propose Split-Et-Impera, a novel and practical framework that i) determines the set of the best-split points of a neural network based on deep network interpretability principles without performing a tedious try-and-test approach, ii) performs a communication-aware simulation for the rapid evaluation of different neural network rearrangements, and iii) suggests the best match between the quality of service requirements of the application and the performance in terms of accuracy and latency time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google