Communication-efficient Vertical Federated Learning via Compressed Error Feedback

要約

通信オーバーヘッドは、フェデレーテッド ラーニング (FL) における既知のボトルネックです。
これに対処するために、トレーニング中にサーバーとクライアント間で通信される情報に対して非可逆圧縮が一般的に使用されます。
各クライアントがサンプルのサブセットを保持する水平 FL では、このような通信圧縮トレーニング方法が最近大幅な進歩を遂げています。
ただし、各クライアントが機能のサブセットを保持する垂直 FL の場合、私たちの理解は依然として限られています。
これに対処するために、分割ニューラル ネットワークをトレーニングするエラー フィードバック圧縮垂直連合学習 (EFVFL) 方法を提案します。
垂直 FL に対する以前の通信圧縮手法とは対照的に、EFVFL では、滑らかな非凸問題のために勾配ノルムがゼロに収束するための消失圧縮誤差は必要ありません。
エラーフィードバックを活用することで、私たちの方法はフルバッチの場合に $\mathcal{O}(1/T)$ の収束率を達成でき、最先端の $\mathcal{O}(1/
$\mathcal{O}(1/\sqrt{T})$ 圧縮誤差の下での \sqrt{T})$ レート、および非圧縮メソッドのレートと一致します。
さらに、目的関数が Polyak-{\L}ojasiewicz 不等式を満たす場合、私たちの方法は線形に収束します。
収束率の向上に加えて、私たちの方法はプライベートラベルの使用もサポートしています。
数値実験により、ＥＦＶＦＬが従来技術よりも大幅に改善されることが示され、我々の理論的結果が裏付けられた。

要約(オリジナル)

Communication overhead is a known bottleneck in federated learning (FL). To address this, lossy compression is commonly used on the information communicated between the server and clients during training. In horizontal FL, where each client holds a subset of the samples, such communication-compressed training methods have recently seen significant progress. However, in their vertical FL counterparts, where each client holds a subset of the features, our understanding remains limited. To address this, we propose an error feedback compressed vertical federated learning (EFVFL) method to train split neural networks. In contrast with previous communication-compressed methods for vertical FL, EFVFL does not require a vanishing compression error for the gradient norm to converge to zero for smooth nonconvex problems. By leveraging error feedback, our method can achieve a $\mathcal{O}(1/T)$ convergence rate in the full-batch case, improving over the state-of-the-art $\mathcal{O}(1/\sqrt{T})$ rate under $\mathcal{O}(1/\sqrt{T})$ compression error, and matching the rate of uncompressed methods. Further, when the objective function satisfies the Polyak-{\L}ojasiewicz inequality, our method converges linearly. In addition to improving convergence rates, our method also supports the use of private labels. Numerical experiments show that EFVFL significantly improves over the prior art, confirming our theoretical results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google