Resilience of Entropy Model in Distributed Neural Networks

要約

分散ディープ ニューラル ネットワーク (DNN) は、エッジ コンピューティング システムのパフォーマンスを犠牲にすることなく通信オーバーヘッドを削減するための重要な技術として浮上しています。
最近、通信オーバーヘッドをさらに削減するためにエントロピーコーディングが導入されました。
重要なアイデアは、分散 DNN をエントロピー モデルと組み合わせてトレーニングすることです。エントロピー モデルは、潜在表現を可変長のビット ストリームに適応的にエンコードするための推論時のサイド情報として使用されます。
私たちの知る限り、エントロピー モデルの回復力はまだ調査されていません。
そのため、この論文では、意図的な干渉 (敵対的攻撃など) および非意図的な干渉 (天候の変化やモーション ブラーなど) に対するエントロピー モデルの回復力を定式化して調査します。
3 つの異なる DNN アーキテクチャ、2 つのエントロピー モデル、および 4 つのレート歪みトレードオフ要素を使用した大規模な実験キャンペーンを通じて、エントロピー攻撃により通信オーバーヘッドが最大 95% 増加する可能性があることを実証しました。
圧縮特徴を周波数領域と空間領域で分離することにより、摂動されていないデータと比較して、攻撃された入力の送信オーバーヘッドを約 9% 削減でき、精度損失はわずか約 2% である新しい防御メカニズムを提案します。
重要なのは、提案された防御メカニズムはスタンドアロンのアプローチであり、敵対的トレーニングなどのアプローチと組み合わせて適用して堅牢性をさらに向上させることができます。
コードは再現性のために共有されます。

要約(オリジナル)

Distributed deep neural networks (DNNs) have emerged as a key technique to reduce communication overhead without sacrificing performance in edge computing systems. Recently, entropy coding has been introduced to further reduce the communication overhead. The key idea is to train the distributed DNN jointly with an entropy model, which is used as side information during inference time to adaptively encode latent representations into bit streams with variable length. To the best of our knowledge, the resilience of entropy models is yet to be investigated. As such, in this paper we formulate and investigate the resilience of entropy models to intentional interference (e.g., adversarial attacks) and unintentional interference (e.g., weather changes and motion blur). Through an extensive experimental campaign with 3 different DNN architectures, 2 entropy models and 4 rate-distortion trade-off factors, we demonstrate that the entropy attacks can increase the communication overhead by up to 95%. By separating compression features in frequency and spatial domain, we propose a new defense mechanism that can reduce the transmission overhead of the attacked input by about 9% compared to unperturbed data, with only about 2% accuracy loss. Importantly, the proposed defense mechanism is a standalone approach which can be applied in conjunction with approaches such as adversarial training to further improve robustness. Code will be shared for reproducibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google