Partially Personalized Federated Learning: Breaking the Curse of Data Heterogeneity

要約

パーソナライゼーションの柔軟性とグローバル トレーニングの協調性のバランスをとるフェデレーテッド ラーニング (FL) の部分的にパーソナライズされた定式化を紹介します。
私たちのフレームワークでは、変数をすべてのクライアント間で共有されるグローバル パラメーターと、プライベートに保たれる個々のローカル パラメーターに分割します。
パラメーターを適切に分割すると、各クライアントがデータを完全に適合させるグローバル パラメーターを見つけて、得られた問題を過個人化していると呼ぶことが可能であることを証明します。
たとえば、共有グローバル パラメーターは適切なデータ表現を学習するために使用できますが、パーソナライズされたレイヤーは特定のクライアントに合わせて微調整されます。
さらに、すべてのクライアントに大きなメリットを提供する、部分的にパーソナライズされた配合のためのシンプルなアルゴリズムを提供します。
特に、ローカル ステップによるトレーニング、非同期トレーニング、ビザンチン堅牢トレーニングなど、いくつかの設定におけるデータの異質性の呪いを打ち破ります。

要約(オリジナル)

We present a partially personalized formulation of Federated Learning (FL) that strikes a balance between the flexibility of personalization and cooperativeness of global training. In our framework, we split the variables into global parameters, which are shared across all clients, and individual local parameters, which are kept private. We prove that under the right split of parameters, it is possible to find global parameters that allow each client to fit their data perfectly, and refer to the obtained problem as overpersonalized. For instance, the shared global parameters can be used to learn good data representations, whereas the personalized layers are fine-tuned for a specific client. Moreover, we present a simple algorithm for the partially personalized formulation that offers significant benefits to all clients. In particular, it breaks the curse of data heterogeneity in several settings, such as training with local steps, asynchronous training, and Byzantine-robust training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google