P4: Towards private, personalized, and Peer-to-Peer learning

要約

パーソナライズされた学習は、協調的な機械学習におけるデータの異質性の問題に対処するために提案されたアプローチです。
分散型環境では、パーソナライゼーションの 2 つの主な課題は、クライアントのクラスタリングとデータ プライバシーです。
このペーパーでは、トレーニング中およびトレーニング後に各クライアントのローカル データセットの差分プライバシー保証を維持しながら、各クライアントがパーソナライズされたモデルを確実に受け取る方法である P4 (Personalized Private Peer-to-Peer) を開発することで、これらの課題に対処します。
私たちのアプローチには、同様のクライアントを識別し、プライベートなピアツーピア (P2P) 方式でグループ化するための軽量アルゴリズムの設計が含まれています。
グループ化が完了すると、精度への影響を最小限に抑えながらクライアントが共同トレーニングできるように、差分プライベートの知識の蒸留を開発します。
私たちは、さまざまなプライバシー パラメーターにわたって、3 つのベンチマーク データセット (FEMNIST または Federated EMNIST、CIFAR-10 および CIFAR-100) と 2 つの異なるニューラル ネットワーク アーキテクチャ (線形および CNN ベースのネットワーク) で提案された手法を評価します。
この結果は、精度の点で最先端の差分プライベート P2P を最大 40 パーセント上回るパフォーマンスを示し、P4 の可能性を示しています。
また、リソースに制約のあるデバイスに P4 を実装し、オーバーヘッドが最小限であること (たとえば、2 つのクライアント間で共同トレーニングを実行するのに約 7 秒かかるなど) を検証することによって、P4 の実用性を示します。

要約(オリジナル)

Personalized learning is a proposed approach to address the problem of data heterogeneity in collaborative machine learning. In a decentralized setting, the two main challenges of personalization are client clustering and data privacy. In this paper, we address these challenges by developing P4 (Personalized Private Peer-to-Peer) a method that ensures that each client receives a personalized model while maintaining differential privacy guarantee of each client’s local dataset during and after the training. Our approach includes the design of a lightweight algorithm to identify similar clients and group them in a private, peer-to-peer (P2P) manner. Once grouped, we develop differentially-private knowledge distillation for clients to co-train with minimal impact on accuracy. We evaluate our proposed method on three benchmark datasets (FEMNIST or Federated EMNIST, CIFAR-10 and CIFAR-100) and two different neural network architectures (Linear and CNN-based networks) across a range of privacy parameters. The results demonstrate the potential of P4, as it outperforms the state-of-the-art of differential private P2P by up to 40 percent in terms of accuracy. We also show the practicality of P4 by implementing it on resource constrained devices, and validating that it has minimal overhead, e.g., about 7 seconds to run collaborative training between two clients.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google