Towards Achieving Near-optimal Utility for Privacy-Preserving Federated Learning via Data Generation and Parameter Distortion

要約

フェデレーテッド ラーニング (FL) を使用すると、参加者はプライベート データ情報を開示することなく、実用性を高めたグローバル モデルを協力して構築できます。
\textit{プライバシー}を保持し、ハイモデルの\textit{ユーティリティ}を維持するための要件を満たすには、適切な保護メカニズムを採用する必要があります。
\textit{ランダム化メカニズム} や \textit{圧縮メカニズム} などの広く採用されている保護メカニズムの性質は、モデル パラメーターを歪めることでプライバシーを保護することです。
元のモデル パラメーターと歪んだモデル パラメーターの間のギャップを通じて効用を測定します。
私たちは、どのような一般的な条件下で、プライバシーを保護するフェデレーテッド ラーニングが、データ生成とパラメータの歪みを通じて最適に近い有用性を達成できるかを特定したいと考えています。
最適に近い効用を達成する手段を提供するために、効用損失の上限を提示します。これは、分散削減とモデル パラメーターの不一致と呼ばれる 2 つの主要な項を個別に使用して測定されます。
私たちの分析は、最適に近い実用性を達成し、プライバシー要件を同時に満たすための保護メカニズムの適切な保護パラメータの設計にインスピレーションを与えます。
保護メカニズムの主な技術には、パラメータの歪みとデータ生成が含まれます。これらは汎用的であり、広範囲に適用できます。
さらに、プライバシーとユーティリティの間のトレードオフの上限を提供します。これは、NFL で示されている下限とともに、最適なトレードオフを達成するための条件を形成します。

要約(オリジナル)

Federated learning (FL) enables participating parties to collaboratively build a global model with boosted utility without disclosing private data information. Appropriate protection mechanisms have to be adopted to fulfill the requirements in preserving \textit{privacy} and maintaining high model \textit{utility}. The nature of the widely-adopted protection mechanisms including \textit{Randomization Mechanism} and \textit{Compression Mechanism} is to protect privacy via distorting model parameter. We measure the utility via the gap between the original model parameter and the distorted model parameter. We want to identify under what general conditions privacy-preserving federated learning can achieve near-optimal utility via data generation and parameter distortion. To provide an avenue for achieving near-optimal utility, we present an upper bound for utility loss, which is measured using two main terms called variance-reduction and model parameter discrepancy separately. Our analysis inspires the design of appropriate protection parameters for the protection mechanisms to achieve near-optimal utility and meet the privacy requirements simultaneously. The main techniques for the protection mechanism include parameter distortion and data generation, which are generic and can be applied extensively. Furthermore, we provide an upper bound for the trade-off between privacy and utility, which together with the lower bound illustrated in NFL form the conditions for achieving optimal trade-off.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google