SpikeBottleNet: Spike-Driven Feature Compression Architecture for Edge-Cloud Co-Inference

要約

エッジとクラウドの協調推論は、エッジ デバイスとクラウド サーバーの間でアーキテクチャを分割することにより、効率的なディープ ニューラル ネットワーク (DNN) の展開を可能にし、リソースに制約のあるエッジ デバイスにとって重要です。
このアプローチでは、デバイス上の計算と通信コストのバランスをとる必要があり、多くの場合、圧縮された中間機能の送信によって実現されます。
従来の DNN アーキテクチャでは、継続的なデータ処理と浮動小数点のアクティベーションが必要であり、かなりのエネルギー消費と機能サイズの増大につながり、伝送コストが上昇します。
この課題は、極度のエネルギー効率で知られるスパイキング ニューラル ネットワーク (SNN) を使用したバイナリのイベント駆動型アクティベーションの探索を動機付けます。
この研究では、スパイク ニューロン モデルを統合してエッジ デバイスのエネルギー消費を大幅に削減する、エッジ クラウド協調推論システムの新しいアーキテクチャである SpikeBottleNet を提案します。
私たちの研究の重要な革新は、効率的な特徴送信のために SNN に合わせて調整された中間特徴圧縮技術です。
この手法では、スプリット コンピューティング アプローチを利用して、ResNet や MobileNet などの複雑なディープ アーキテクチャ内にエンコーダ/デコーダのボトルネック ユニットを戦略的に配置します。
実験結果は、SpikeBottleNet が ResNet の最終畳み込み層で最大 256 倍のビット圧縮を、最小限の精度損失 (0.16%) で達成することを示しています。
さらに、当社のアプローチは、ベースラインの BottleNet と比較してエッジ デバイスのエネルギー効率を最大 144 倍向上させ、リソースが限られたエッジ デバイスに最適です。

要約(オリジナル)

Edge-cloud co-inference enables efficient deep neural network (DNN) deployment by splitting the architecture between an edge device and cloud server, crucial for resource-constraint edge devices. This approach requires balancing on-device computations and communication costs, often achieved through compressed intermediate feature transmission. Conventional DNN architectures require continuous data processing and floating point activations, leading to considerable energy consumption and increased feature sizes, thus raising transmission costs. This challenge motivates exploring binary, event-driven activations using spiking neural networks (SNNs), known for their extreme energy efficiency. In this research, we propose SpikeBottleNet, a novel architecture for edge-cloud co-inference systems that integrates a spiking neuron model to significantly reduce energy consumption on edge devices. A key innovation of our study is an intermediate feature compression technique tailored for SNNs for efficient feature transmission. This technique leverages a split computing approach to strategically place encoder-decoder bottleneck units within complex deep architectures like ResNet and MobileNet. Experimental results demonstrate that SpikeBottleNet achieves up to 256x bit compression in the final convolutional layer of ResNet, with minimal accuracy loss (0.16%). Additionally, our approach enhances edge device energy efficiency by up to 144x compared to the baseline BottleNet, making it ideal for resource-limited edge devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google