Explicit Personalization and Local Training: Double Communication Acceleration in Federated Learning

要約

Federated Learning は進化する機械学習パラダイムであり、複数のクライアントがリモート サーバーとの通信を挟みながら、個々のプライベート データに基づいて計算を実行します。
通信コストを削減するための一般的な戦略はローカル トレーニングです。これは、連続する通信ラウンドの間に複数のローカル確率的勾配降下ステップを実行することで構成されます。
しかし、ローカル トレーニングに対する従来のアプローチでは、クライアント固有のパーソナライゼーション、つまりローカル モデルを個人のニーズに合わせて調整する手法の実際的な必要性が見落とされています。
明示的なパーソナライゼーションとローカル トレーニングを効率的に統合する新しいアルゴリズムである Scafflix を紹介します。
この革新的なアプローチは、理論と実践の両方で実証されているように、これら 2 つの技術の利点を活かして、二重に高速化されたコミュニケーションを実現します。

要約(オリジナル)

Federated Learning is an evolving machine learning paradigm, in which multiple clients perform computations based on their individual private data, interspersed by communication with a remote server. A common strategy to curtail communication costs is Local Training, which consists in performing multiple local stochastic gradient descent steps between successive communication rounds. However, the conventional approach to local training overlooks the practical necessity for client-specific personalization, a technique to tailor local models to individual needs. We introduce Scafflix, a novel algorithm that efficiently integrates explicit personalization with local training. This innovative approach benefits from these two techniques, thereby achieving doubly accelerated communication, as we demonstrate both in theory and practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google