On Sampling Strategies for Spectral Model Sharding

要約

フェデレーション ラーニングにおける異種クライアントの問題は、最近大きな注目を集めています。
スペクトル モデルのシャーディング、つまり特異値分解に基づいてモデル パラメーターを低ランクの行列に分割することは、そのような設定でより効率的なオンデバイス トレーニングのために提案されたソリューションの 1 つです。
この研究では、特定の最適化問題の解決策として得られた、このようなシャーディングのための 2 つのサンプリング戦略を紹介します。
1 つ目は元の重みの不偏推定量を生成し、2 つ目は二乗近似誤差を最小限に抑えることを目的としています。
これらの推定量の両方を連合学習ループに組み込む方法と、ローカル トレーニング中に発生する実際的な考慮事項について説明します。
これらの方法の両方が、一般的に使用されるさまざまなデータセットのパフォーマンスの向上につながることを経験的に示しています。

要約(オリジナル)

The problem of heterogeneous clients in federated learning has recently drawn a lot of attention. Spectral model sharding, i.e., partitioning the model parameters into low-rank matrices based on the singular value decomposition, has been one of the proposed solutions for more efficient on-device training in such settings. In this work, we present two sampling strategies for such sharding, obtained as solutions to specific optimization problems. The first produces unbiased estimators of the original weights, while the second aims to minimize the squared approximation error. We discuss how both of these estimators can be incorporated in the federated learning loop and practical considerations that arise during local training. Empirically, we demonstrate that both of these methods can lead to improved performance on various commonly used datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google