Communication-Efficient Split Learning via Adaptive Feature-Wise Compression

要約

本論文では、SL学習過程における中間特徴ベクトルと勾配ベクトルの送信に必要な通信オーバヘッドを削減する、SplitFCと名付けられた新しい通信効率の良い分割学習(Split Learning)フレームワークを提案する。SplitFCのキーとなるアイデアは、行列の列に現れる異なる分散度を活用することである。SplitFCは2つの圧縮戦略を取り入れている：(i)適応的な特徴ごとのドロップアウトと(ii)適応的な特徴ごとの量子化である。最初の戦略では、中間特徴ベクトルは、これらのベクトルの標準偏差に基づいて決定される適応的なドロップアウト確率でドロップされる。次に、連鎖法則により、ドロップされた特徴ベクトルに関連する中間勾配ベクトルもドロップされる。第2の戦略では、ドロップされない中間特徴ベクトルと勾配ベクトルは、ベクトルの範囲に基づいて決定される適応的量子化レベルを用いて量子化される。量子化誤差を最小化するために、この戦略の最適量子化レベルは閉形式で導出される。MNIST、CIFAR-100、CelebAデータセットを用いたシミュレーションの結果、SplitFCは高精度を維持しつつ通信オーバヘッドを大幅に削減することで、最新のSLフレームワークを凌駕することが実証された。

要約(オリジナル)

This paper proposes a novel communication-efficient split learning (SL) framework, named SplitFC, which reduces the communication overhead required for transmitting intermediate feature and gradient vectors during the SL training process. The key idea of SplitFC is to leverage different dispersion degrees exhibited in the columns of the matrices. SplitFC incorporates two compression strategies: (i) adaptive feature-wise dropout and (ii) adaptive feature-wise quantization. In the first strategy, the intermediate feature vectors are dropped with adaptive dropout probabilities determined based on the standard deviation of these vectors. Then, by the chain rule, the intermediate gradient vectors associated with the dropped feature vectors are also dropped. In the second strategy, the non-dropped intermediate feature and gradient vectors are quantized using adaptive quantization levels determined based on the ranges of the vectors. To minimize the quantization error, the optimal quantization levels of this strategy are derived in a closed-form expression. Simulation results on the MNIST, CIFAR-100, and CelebA datasets demonstrate that SplitFC outperforms state-of-the-art SL frameworks by significantly reducing communication overheads while maintaining high accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL