Adaptive ResNet Architecture for Distributed Inference in Resource-Constrained IoT Systems

要約

ディープ ニューラル ネットワークが拡大し続け、より複雑になるにつれて、ほとんどのエッジ デバイスはその広範な処理要件を処理できなくなります。
したがって、ノードのクラスター間でニューラル ネットワークを分散するには、分散推論の概念が不可欠です。
ただし、配信により追加のエネルギー消費が発生したり、伝送速度が不安定なデバイス間での依存が発生したりする可能性があります。
不安定な伝送速度は、IoT デバイスのリアルタイム パフォーマンスに悪影響を及ぼし、低遅延、高エネルギー使用、潜在的な障害の原因となります。
したがって、動的システムの場合は、利用可能なリソースに応じてサイズをダウンできる適応アーキテクチャを備えた復元力のある DNN が必要です。
このペーパーでは、リソース不足の場合に分散を可能にするために、モデルのパフォーマンスに大きな影響を与えることなくドロップできる ResNet 内の接続を特定する実証研究を紹介します。
結果に基づいて、利用可能なリソースに応じて遅延を最小限に抑え、精度を最大化するための多目的最適化問題が定式化されます。
私たちの実験では、適応型 ResNet アーキテクチャが高精度を維持しながら、ディストリビューション全体で共有データ、エネルギー消費、レイテンシを削減できることを実証しています。

要約(オリジナル)

As deep neural networks continue to expand and become more complex, most edge devices are unable to handle their extensive processing requirements. Therefore, the concept of distributed inference is essential to distribute the neural network among a cluster of nodes. However, distribution may lead to additional energy consumption and dependency among devices that suffer from unstable transmission rates. Unstable transmission rates harm real-time performance of IoT devices causing low latency, high energy usage, and potential failures. Hence, for dynamic systems, it is necessary to have a resilient DNN with an adaptive architecture that can downsize as per the available resources. This paper presents an empirical study that identifies the connections in ResNet that can be dropped without significantly impacting the model’s performance to enable distribution in case of resource shortage. Based on the results, a multi-objective optimization problem is formulated to minimize latency and maximize accuracy as per available resources. Our experiments demonstrate that an adaptive ResNet architecture can reduce shared data, energy consumption, and latency throughout the distribution while maintaining high accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google