Design and Prototyping Distributed CNN Inference Acceleration in Edge Computing

要約

ディープ ラーニングを使用するタイム クリティカルな IoT アプリケーションの場合、分散コンピューティングによる推論の高速化は、厳しい期限に間に合うための有望なアプローチです。
このホワイト ペーパーでは、3 つの raspberry Pi 4 を使用して、新しい分散型推論高速化手法 HALP の実用的なプロトタイプを実装します。HALP は、エッジ コンピューティングのエッジ デバイス (ED) 間のシームレスなコラボレーションを設計することにより、推論を高速化します。
セグメントベースの分割に基づいてタスク分割比率を最適化することにより、協調 ED 間の通信と計算の並列化を最大化します。
実験結果は、分散推論 HALP が VGG-16 に対して 1.7 倍の推論加速を達成することを示しています。
次に、MobileNet-V1 にさまざまな縮小ハイパーパラメーターを設定することで、分散型推論を従来のニューラル ネットワーク モデルの圧縮と組み合わせます。
このようにして、推論をさらに高速化できますが、推論の精度が低下します。
レイテンシと精度のバランスを取るために、動的モデル選択を提案して、レイテンシの制約内で最高の精度を提供するモデルを選択します。
分散推論 HALP を使用したモデル選択は、従来のスタンドアロン計算と比較して、サービスの信頼性を大幅に改善できることが示されています。

要約(オリジナル)

For time-critical IoT applications using deep learning, inference acceleration through distributed computing is a promising approach to meet a stringent deadline. In this paper, we implement a working prototype of a new distributed inference acceleration method HALP using three raspberry Pi 4. HALP accelerates inference by designing a seamless collaboration among edge devices (EDs) in Edge Computing. We maximize the parallelization between communication and computation among the collaborative EDs by optimizing the task partitioning ratio based on the segment-based partitioning. Experimental results show that the distributed inference HALP achieves 1.7x inference acceleration for VGG-16. Then, we combine distributed inference with conventional neural network model compression by setting up different shrinking hyperparameters for MobileNet-V1. In this way, we can further accelerate inference but at the cost of inference accuracy loss. To strike a balance between latency and accuracy, we propose dynamic model selection to select a model which provides the highest accuracy within the latency constraint. It is shown that the model selection with distributed inference HALP can significantly improve service reliability compared to the conventional stand-alone computation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google