Probably Approximately Correct Federated Learning

要約

フェデレーテッド ラーニング (FL) は、プライバシー、有用性、効率性を主な柱とした、新しい分散学習パラダイムです。
既存の研究によると、極微量のプライバシー漏洩、公共料金の損失、効率性を同時に達成する可能性は低いことがわかっています。
したがって、最適なトレードオフの解決策を見つける方法は、FL アルゴリズムを設計する際の重要な考慮事項です。
一般的な方法の 1 つは、トレードオフ問題を多目的最適化問題としてキャストすることです。つまり、目標は、プライバシーの漏洩が事前定義された値を超えないように制限しながら、ユーティリティの損失と効率の低下を最小限に抑えることです。
ただし、既存の多目的最適化フレームワークは非常に時間がかかり、パレート フロンティアの存在を保証するものではありません。これにより、より効率的であるため、多目的問題を単一目的問題に変換する解決策を模索する動機になります。
そして解決しやすくなります。
この目的を達成するために、我々は、PAC 学習を活用してサンプルの複雑さの観点から複数の目的を定量化する統一フレームワークである FedPAC を提案します。このような定量化により、複数の目的の解空間を共有次元に制限することができるため、
単一目的の最適化アルゴリズムの助け。
具体的には、ユーティリティの損失、プライバシーの漏洩、プライバシーとユーティリティの効率のトレードオフ、および PAC 学習の観点からの攻撃者のコストを定量化する方法の結果と詳細な分析を提供します。

要約(オリジナル)

Federated learning (FL) is a new distributed learning paradigm, with privacy, utility, and efficiency as its primary pillars. Existing research indicates that it is unlikely to simultaneously attain infinitesimal privacy leakage, utility loss, and efficiency. Therefore, how to find an optimal trade-off solution is the key consideration when designing the FL algorithm. One common way is to cast the trade-off problem as a multi-objective optimization problem, i.e., the goal is to minimize the utility loss and efficiency reduction while constraining the privacy leakage not exceeding a predefined value. However, existing multi-objective optimization frameworks are very time-consuming, and do not guarantee the existence of the Pareto frontier, this motivates us to seek a solution to transform the multi-objective problem into a single-objective problem because it is more efficient and easier to be solved. To this end, we propose FedPAC, a unified framework that leverages PAC learning to quantify multiple objectives in terms of sample complexity, such quantification allows us to constrain the solution space of multiple objectives to a shared dimension, so that it can be solved with the help of a single-objective optimization algorithm. Specifically, we provide the results and detailed analyses of how to quantify the utility loss, privacy leakage, privacy-utility-efficiency trade-off, as well as the cost of the attacker from the PAC learning perspective.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google