C3-SL: Circular Convolution-Based Batch-Wise Compression for Communication-Efficient Split Learning

要約

ほとんどの既存の研究は、送信された特徴を圧縮することによって分割学習（SL）の効率を改善します。
ただし、ほとんどの作品は、高次元の特徴を低次元の空間に変換する次元ごとの圧縮に焦点を合わせています。
この論文では、SL（C3-SL）の巡回畳み込みベースのバッチワイズ圧縮を提案して、複数の機能を1つの機能に圧縮します。
複数の特徴をマージする際の情報の損失を回避するために、巡回畳み込みと重ね合わせを使用して、高次元空間の特徴の準直交性を利用します。
私たちの知る限りでは、SLシナリオでのバッチ単位の圧縮の可能性を最初に調査しました。
CIFAR-10およびCIFAR-100のシミュレーション結果に基づいて、私たちの方法は、バニラSLと比較して無視できる精度の低下で16倍の圧縮比を達成します。
さらに、C3-SLは、最先端の次元単位の圧縮方法と比較して、1152倍のメモリと2.25倍の計算オーバーヘッドを大幅に削減します。

要約(オリジナル)

Most existing studies improve the efficiency of Split learning (SL) by compressing the transmitted features. However, most works focus on dimension-wise compression that transforms high-dimensional features into a low-dimensional space. In this paper, we propose circular convolution-based batch-wise compression for SL (C3-SL) to compress multiple features into one single feature. To avoid information loss while merging multiple features, we exploit the quasi-orthogonality of features in high-dimensional space with circular convolution and superposition. To the best of our knowledge, we are the first to explore the potential of batch-wise compression under the SL scenario. Based on the simulation results on CIFAR-10 and CIFAR-100, our method achieves a 16x compression ratio with negligible accuracy drops compared with the vanilla SL. Moreover, C3-SL significantly reduces 1152x memory and 2.25x computation overhead compared to the state-of-the-art dimension-wise compression method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google