Regulating Clients’ Noise Adding in Federated Learning without Verification

要約

フェデレーテッド ラーニング (FL) では、クライアントは、生データではなく勾配またはパラメーターを明らかにすることなくグローバル モデルを協調的にトレーニングしますが、パラメーター サーバーに送信されるローカル出力からローカル情報を開示することもできます。
このようなプライバシーの懸念により、クライアントはローカルの更新に人工的なノイズを過剰に追加してグローバル モデルのトレーニングを危険にさらす可能性があります。
この論文では、サーバーが追加ノイズを完全に認識していることを前提とする既存のプライバシーメカニズムとは異なり、パラメータの更新を検証せずにプライバシーに敏感なクライアントを規制するための新しい価格設定メカニズムを提案します。
グラウンド トゥルースを知らなくても、私たちのメカニズムは、クライアントの更新されたパラメーターとすべてのクライアントの平均パラメーターとの差に応じて、グローバル トレーニング エラーとプライバシー損失のバランスを最適化する社会的最適値に到達します。
また、サーバーでの集約ルールを改良して、さまざまなクライアントのノイズ分散を考慮して、FL 収束限界を改善します。
さらに、クライアントのプライバシーに関する機密性の不完全な情報に適合するように価格設定スキームを拡張し、真実のタイプのレポートとシステムの事前の予算バランスを確保します。
シミュレーションによると、特にクライアントがさまざまなプライバシーの機密性を持っている場合に、当社の価格設定スキームがシステム パフォーマンスを大幅に改善することが示されています。

要約(オリジナル)

In federated learning (FL), clients cooperatively train a global model without revealing their raw data but gradients or parameters, while the local information can still be disclosed from local outputs transmitted to the parameter server. With such privacy concerns, a client may overly add artificial noise to his local updates to compromise the global model training, and we prove the selfish noise adding leads to an infinite price of anarchy (PoA). This paper proposes a novel pricing mechanism to regulate privacy-sensitive clients without verifying their parameter updates, unlike existing privacy mechanisms that assume the server’s full knowledge of added noise. Without knowing the ground truth, our mechanism reaches the social optimum to best balance the global training error and privacy loss, according to the difference between a client’s updated parameter and all clients’ average parameter. We also improve the FL convergence bound by refining the aggregation rule at the server to account for different clients’ noise variances. Moreover, we extend our pricing scheme to fit incomplete information of clients’ privacy sensitivities, ensuring their truthful type reporting and the system’s ex-ante budget balance. Simulations show that our pricing scheme greatly improves the system performance especially when clients have diverse privacy sensitivities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google