Communication-Efficient Split Learning via Adaptive Feature-Wise Compression

要約

この論文では、SplitFC という新しい通信効率の高い分割学習 (SL) フレームワークを提案します。これは、SL トレーニング プロセス中に中間特徴ベクトルと勾配ベクトルの送信に必要な通信オーバーヘッドを削減します。
SplitFC の重要なアイデアは、行列の列に示されるさまざまな分散度を利用することです。
SplitFC には、(i) 適応的な特徴ごとのドロップアウトと (ii) 適応的な特徴ごとの量子化という 2 つの圧縮戦略が組み込まれています。
最初の戦略では、中間特徴ベクトルは、これらのベクトルの標準偏差に基づいて決定される適応ドロップアウト確率でドロップされます。
次に、連鎖規則により、削除された特徴ベクトルに関連付けられた中間勾配ベクトルも削除されます。
2 番目の戦略では、ドロップされていない中間特徴ベクトルと勾配ベクトルは、ベクトルの範囲に基づいて決定された適応量子化レベルを使用して量子化されます。
量子化誤差を最小限に抑えるために、この戦略の最適な量子化レベルは閉形式で導出されます。
MNIST、CIFAR-10、および CelebA データセットのシミュレーション結果は、SplitFC が最先端の SL フレームワークと比較して分類精度が 5.6% 以上向上する一方、必要な通信オーバーヘッドが圧縮なしの通常の SL フレームワークと比較して 320 分の 1 であることを示しています。

要約(オリジナル)

This paper proposes a novel communication-efficient split learning (SL) framework, named SplitFC, which reduces the communication overhead required for transmitting intermediate feature and gradient vectors during the SL training process. The key idea of SplitFC is to leverage different dispersion degrees exhibited in the columns of the matrices. SplitFC incorporates two compression strategies: (i) adaptive feature-wise dropout and (ii) adaptive feature-wise quantization. In the first strategy, the intermediate feature vectors are dropped with adaptive dropout probabilities determined based on the standard deviation of these vectors. Then, by the chain rule, the intermediate gradient vectors associated with the dropped feature vectors are also dropped. In the second strategy, the non-dropped intermediate feature and gradient vectors are quantized using adaptive quantization levels determined based on the ranges of the vectors. To minimize the quantization error, the optimal quantization levels of this strategy are derived in a closed-form expression. Simulation results on the MNIST, CIFAR-10, and CelebA datasets demonstrate that SplitFC provides more than a 5.6% increase in classification accuracy compared to state-of-the-art SL frameworks, while they require 320 times less communication overhead compared to the vanilla SL framework without compression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google