ALI-DPFL: Differentially Private Federated Learning with Adaptive Local Iterations

要約

Federated Learning (FL) は、生データの代わりにトレーニング パラメーターを共有することで、複数のデバイスまたは組織間でモデルのトレーニングを可能にする分散機械学習技術です。
ただし、敵対者はこれらのトレーニング パラメーターに対する推論攻撃 (差分攻撃など) を通じて個人情報を推論する可能性があります。
その結果、このような攻撃を防ぐために、フロリダ州では差分プライバシー (DP) が広く使用されています。
プライバシー予算とコミュニケーションラウンドの両方が制限されている、リソースに制約のあるシナリオでの差分プライベートフェデレーテッドラーニングを検討します。
収束を理論的に分析することにより、2 つの連続したグローバル更新間のクライアントに対するローカル DPSGD 反復の最適な回数を見つけることができます。
これに基づいて、Adaptive Local Iterations による Differentially Private Federated Learning (ALI-DPFL) のアルゴリズムを設計します。
MNIST、FashionMNIST、および Cifar10 データセットでアルゴリズムを実験し、リソース制約シナリオにおける以前の研究よりも大幅に優れたパフォーマンスを実証しました。
コードは https://github.com/KnightWan/ALI-DPFL で入手できます。

要約(オリジナル)

Federated Learning (FL) is a distributed machine learning technique that allows model training among multiple devices or organizations by sharing training parameters instead of raw data. However, adversaries can still infer individual information through inference attacks (e.g. differential attacks) on these training parameters. As a result, Differential Privacy (DP) has been widely used in FL to prevent such attacks. We consider differentially private federated learning in a resource-constrained scenario, where both privacy budget and communication rounds are constrained. By theoretically analyzing the convergence, we can find the optimal number of local DPSGD iterations for clients between any two sequential global updates. Based on this, we design an algorithm of Differentially Private Federated Learning with Adaptive Local Iterations (ALI-DPFL). We experiment our algorithm on the MNIST, FashionMNIST and Cifar10 datasets, and demonstrate significantly better performances than previous work in the resource-constraint scenario. Code is available at https://github.com/KnightWan/ALI-DPFL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google