Providing Differential Privacy for Federated Learning Over Wireless: A Cross-layer Framework

要約

Federated Learning (FL) は、本質的にエッジ デバイスがローカル トレーニング データを維持できるようにする分散型機械学習フレームワークであり、ある程度のプライバシーを提供します。
ただし、FL のモデル更新には依然としてプライバシー漏洩のリスクがあり、これを軽減する必要があります。
無線 FL (OTA-FL) は、無線媒体の自然な重ね合わせ特性を活用する、無線エッジ ネットワークに適応した FL 設計です。
我々は、無線チャネルに固有のガウスノイズと、追加の人工ノイズ生成のための協調型ジャマー（CJ）の両方を利用する分散型の動的な電力制御を通じて差分プライバシー（DP）を改善する、OTA-FL用の無線物理層（PHY）設計を提案します。
より高いプライバシーレベルが必要な場合。
主に Upcycled-FL フレームワーク内で実装されており、一次近似によるリソース効率の高い手法が偶数反復ごとに使用され、クライアントからの必要な情報が削減されますが、当社の電力制御戦略は、FedAvg や FedProx を含むあらゆる FL フレームワークに適用できます。
論文に示されているように。
この適応により、プライバシーを重視しながら、さまざまな学習アルゴリズムにわたる設計の柔軟性と有効性が示されています。
当社の設計では、DP に対するクライアント側の人工ノイズ挿入の必要性を排除し、協調型ジャマーを利用して、より高度なプライバシー要求に対する送信効率に影響を与えることなくプライバシーを強化します。
プライバシー分析は、Moments Accountant メソッドを使用して提供されます。
非凸型の目標に対して収束分析を実行して、異種データ分布に対処し、プライバシーと精度の間に固有のトレードオフを明らかにします。
数値結果は、さまざまな FL アルゴリズムを使用した私たちのアプローチが、非 i.i.d. で同じ DP 条件下で最先端のアプローチよりも優れていることを示しています。
FEMNIST データセットを分析し、厳格なプライバシーを確​​保する上での協力型妨害装置の有効性を強調します。

要約(オリジナル)

Federated Learning (FL) is a distributed machine learning framework that inherently allows edge devices to maintain their local training data, thus providing some level of privacy. However, FL’s model updates still pose a risk of privacy leakage, which must be mitigated. Over-the-air FL (OTA-FL) is an adapted FL design for wireless edge networks that leverages the natural superposition property of the wireless medium. We propose a wireless physical layer (PHY) design for OTA-FL which improves differential privacy (DP) through a decentralized, dynamic power control that utilizes both inherent Gaussian noise in the wireless channel and a cooperative jammer (CJ) for additional artificial noise generation when higher privacy levels are required. Although primarily implemented within the Upcycled-FL framework, where a resource-efficient method with first-order approximations is used at every even iteration to decrease the required information from clients, our power control strategy is applicable to any FL framework, including FedAvg and FedProx as shown in the paper. This adaptation showcases the flexibility and effectiveness of our design across different learning algorithms while maintaining a strong emphasis on privacy. Our design removes the need for client-side artificial noise injection for DP, utilizing a cooperative jammer to enhance privacy without affecting transmission efficiency for higher privacy demands. Privacy analysis is provided using the Moments Accountant method. We perform a convergence analysis for non-convex objectives to tackle heterogeneous data distributions, highlighting the inherent trade-offs between privacy and accuracy. Numerical results show that our approach with various FL algorithms outperforms the state-of-the-art under the same DP conditions on the non-i.i.d. FEMNIST dataset, and highlight the cooperative jammer’s effectiveness in ensuring strict privacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google