Enhancing Federated Learning with Adaptive Differential Privacy and Priority-Based Aggregation

要約

分散型機械学習 (ML) の新しい分野であるフェデレーテッド ラーニング (FL) は、ローカル データセットに直接アクセスすることなく、プライベートな手順を通じてグローバル モデルを開発します。
ただし、クライアントとサーバー間で転送されるモデル更新 (ディープ ニューラル ネットワークの勾配更新) にアクセスすることは依然として可能であり、モデル反転攻撃を使用して機密のローカル情報が攻撃者に漏洩する可能性があります。
差分プライバシー (DP) は、パラメーターにノイズを追加することでこの問題に対処する有望なアプローチを提供します。
一方で、デバイスのデータ構造、ストレージ、通信、および計算能力の異種性により、グローバル モデルの開発において収束の問題や遅延が発生する可能性があります。
各デバイスのリソースに基づいてローカルパラメータをパーソナライズして加重平均することで、各ラウンドでより適切に集約されたモデルを生成できます。
この論文では、効率的にプライバシーを保護するために、クライアントの相対的な影響因子に基づいてノイズを注入し、異質性を考慮して特性を調整しながらパラメータを集約する、パーソナライズされた DP フレームワークを提案します。
DP 要件を満たすために、学習プロセス全体を通じてインパクトファクターがパーソナライズされ固定される場合、最初に FL アルゴリズムの収束境界を分析します。
次に、時間変化する (適応的な) 影響因子を考慮した収束特性をさらに研究します。

要約(オリジナル)

Federated learning (FL), a novel branch of distributed machine learning (ML), develops global models through a private procedure without direct access to local datasets. However, it is still possible to access the model updates (gradient updates of deep neural networks) transferred between clients and servers, potentially revealing sensitive local information to adversaries using model inversion attacks. Differential privacy (DP) offers a promising approach to addressing this issue by adding noise to the parameters. On the other hand, heterogeneities in data structure, storage, communication, and computational capabilities of devices can cause convergence problems and delays in developing the global model. A personalized weighted averaging of local parameters based on the resources of each device can yield a better aggregated model in each round. In this paper, to efficiently preserve privacy, we propose a personalized DP framework that injects noise based on clients’ relative impact factors and aggregates parameters while considering heterogeneities and adjusting properties. To fulfill the DP requirements, we first analyze the convergence boundary of the FL algorithm when impact factors are personalized and fixed throughout the learning process. We then further study the convergence property considering time-varying (adaptive) impact factors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google