AirNet: Neural Network Transmission over the Air

要約

多くの新しいエッジ アプリケーションの最先端のパフォーマンスは、ディープ ニューラル ネットワーク (DNN) によって実現されます。
多くの場合、これらの DNN は場所と時間に敏感であり、時間に敏感な推論タスクを実行するには、特定の DNN のパラメーターをエッジ サーバーからエッジ デバイスに迅速かつ効率的に配信する必要があります。
このホワイトペーパーでは、厳しい送信電力と遅延の制約の下で DNN の効率的なワイヤレス配信を可能にする新しいトレーニングおよび送信方法である AirNet を紹介します。
まず、ワイヤレス チャネル ノイズに対抗するために、ノイズ インジェクションを使用して DNN をトレーニングします。
次に、プルーニングを使用してネットワーク サイズを利用可能なチャネル帯域幅に縮小し、より大きなモデルから知識の抽出を実行して、プルーニングにもかかわらず満足のいくパフォーマンスを達成します。
AirNet は、同じ帯域幅と電力の制約の下で、デジタルの代替手段と比較して大幅に高いテスト精度を達成することを示しています。
受信機でのネットワークの精度も、チャネル品質の緩やかな低下を示します。これにより、正確なチャネル推定の要件が軽減されます。
利用可能な帯域幅を下回るネットワークをプルーニングし、チャネル拡張を使用してチャネル ノイズに対する堅牢性を向上させることで、AirNet のパフォーマンスをさらに向上させます。
また、ネットワークのより重要なレイヤーを選択的に拡張することで、不等エラー保護 (UEP) の恩恵も受けています。
最後に、アンサンブル トレーニング アプローチを開発します。これは、非現実的なメモリ要件を解決するために、それぞれ異なるチャネル条件で使用できる DNN のスペクトル全体をトレーニングします。

要約(オリジナル)

State-of-the-art performance for many emerging edge applications is achieved by deep neural networks (DNNs). Often, these DNNs are location and time sensitive, and the parameters of a specific DNN must be delivered from an edge server to the edge device rapidly and efficiently to carry out time-sensitive inference tasks. In this paper, we introduce AirNet, a novel training and transmission method that allows efficient wireless delivery of DNNs under stringent transmit power and latency constraints. We first train the DNN with noise injection to counter the wireless channel noise. Then we employ pruning to reduce the network size to the available channel bandwidth, and perform knowledge distillation from a larger model to achieve satisfactory performance, despite pruning. We show that AirNet achieves significantly higher test accuracy compared to digital alternatives under the same bandwidth and power constraints. The accuracy of the network at the receiver also exhibits graceful degradation with channel quality, which reduces the requirement for accurate channel estimation. We further improve the performance of AirNet by pruning the network below the available bandwidth, and using channel expansion to provide better robustness against channel noise. We also benefit from unequal error protection (UEP) by selectively expanding more important layers of the network. Finally, we develop an ensemble training approach, which trains a whole spectrum of DNNs, each of which can be used at different channel condition, resolving the impractical memory requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google