ALI-DPFL: Differentially Private Federated Learning with Adaptive Local Iterations

要約

Federated Learning (FL) は、生データの代わりにトレーニング パラメーターを共有することで、複数のデバイスまたは組織間でモデルのトレーニングを可能にする分散機械学習技術です。
ただし、敵対者はこれらのトレーニング パラメーターに対する推論攻撃 (差分攻撃など) を通じて個人情報を推論する可能性があります。
その結果、このような攻撃を防ぐために、フロリダ州では差分プライバシー (DP) が広く使用されています。
プライバシー予算とコミュニケーションラウンドの両方が制限されている、リソースに制約のあるシナリオでの差分プライベートフェデレーテッドラーニングを検討します。
収束を理論的に分析することにより、2 つの連続するグローバル更新間のクライアントの差分プライベート ローカル反復の最適な回数を見つけることができます。
これに基づいて、適応ローカル反復による差分プライベート連合学習 (ALI-DPFL) のアルゴリズムを設計します。
FashionMNIST および CIFAR10 データセットでアルゴリズムを実験し、リソース制約シナリオにおける以前の研究よりも大幅に優れたパフォーマンスを実証しました。

要約(オリジナル)

Federated Learning (FL) is a distributed machine learning technique that allows model training among multiple devices or organizations by sharing training parameters instead of raw data. However, adversaries can still infer individual information through inference attacks (e.g. differential attacks) on these training parameters. As a result, Differential Privacy (DP) has been widely used in FL to prevent such attacks. We consider differentially private federated learning in a resource-constrained scenario, where both privacy budget and communication round are constrained. By theoretically analyzing the convergence, we can find the optimal number of differentially private local iterations for clients between any two sequential global updates. Based on this, we design an algorithm of differentially private federated learning with adaptive local iterations (ALI-DPFL). We experiment our algorithm on the FashionMNIST and CIFAR10 datasets, and demonstrate significantly better performances than previous work in the resource-constraint scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google