Towards Achieving Near-optimal Utility for Privacy-Preserving Federated Learning via Data Generation and Parameter Distortion

要約

タイトル：データ生成とパラメータ歪曲を通じた個人情報保護フェデレーテッドラーニングにおける近似最適なユーティリティの実現に向けて

要約：
– フェデレーテッドラーニングは、プライバシー情報を開示せずに、参加者が共同でグローバルモデルを作成することを可能にする。
– 適切な保護機構を採用する必要がある。
– 私たちは、データ生成とパラメータ歪曲を通じて、プライバシー保護フェデレーテッドラーニングが近似最適なユーティリティを達成するための一般的な条件を特定することを望んでいます。
– 我々は、上限ユーティリティ損失の提供を紹介するために、2つのメイン用語で測定されるバリアンスの低減とモデルパラメータの不一致を使用して、ユーティリティを測定します。
– 我々の分析は、保護機構の適切な保護パラメータの設計をインスパイアし、近似最適なユーティリティを実現し、同時にプライバシー要件を満たすためのものであり、主な技術
は、パラメータ歪曲とデータ生成である。
– さらに、プライバシーと有用性のトレードオフの上限についても提供し、NFLで示されている下限と共に、最適なトレードオフを実現するための条件を形成する。

要約(オリジナル)

Federated learning (FL) enables participating parties to collaboratively build a global model with boosted utility without disclosing private data information. Appropriate protection mechanisms have to be adopted to fulfill the requirements in preserving \textit{privacy} and maintaining high model \textit{utility}. The nature of the widely-adopted protection mechanisms including \textit{Randomization Mechanism} and \textit{Compression Mechanism} is to protect privacy via distorting model parameter. We measure the utility via the gap between the original model parameter and the distorted model parameter. We want to identify under what general conditions privacy-preserving federated learning can achieve near-optimal utility via data generation and parameter distortion. To provide an avenue for achieving near-optimal utility, we present an upper bound for utility loss, which is measured using two main terms called variance-reduction and model parameter discrepancy separately. Our analysis inspires the design of appropriate protection parameters for the protection mechanisms to achieve near-optimal utility and meet the privacy requirements simultaneously. The main techniques for the protection mechanism include parameter distortion and data generation, which are generic and can be applied extensively. Furthermore, we provide an upper bound for the trade-off between privacy and utility, which together with the lower bound illustrated in NFL form the conditions for achieving optimal trade-off.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI