Probably Approximately Correct Federated Learning

要約

タイトル：Probably Approximately Correct Federated Learning
要約：

– Federated Learning（FL）は、プライバシー、有用性、効率性をその主要な柱として持つ新しい分散学習パラダイムである。
– 既存の研究によると、極小のプライバシー漏洩、有用性の損失、および効率の低下を同時に達成することは不可能であるため、FLアルゴリズムを設計する際に適切なトレードオフ解を見つけることが重要な考慮事項である。
– 一般的な方法は、トレードオフ問題を多目的最適化問題としてキャストすることであり、つまり、プライバシー漏洩をあらかじめ定義された値を超えないように制限しながら、有用性の損失と効率の低下を最小化することが目的である。
– しかし、既存の多目的最適化フレームワークは非常に時間がかかり、パレートフロンティアの存在を保証しないため、多目的問題を単一目的問題に変換する解決策を探す必要がある。
– このため、本論文では、複数の目的をPAC学習を活用してサンプル複雑性で定量化する統一されたフレームワークであるFedPACを提案することで、複数の目的を共有次元に制限する解決策空間を提供し、単一目的最適化アルゴリズムの支援の下で解決できるようにする方法について詳細な分析結果を提供する。具体的には、有用性の損失、プライバシー漏洩、プライバシー/有用性/効率のトレードオフ、および攻撃者のコストを、PAC学習の観点から定量化する方法について提供する。

要約(オリジナル)

Federated learning (FL) is a new distributed learning paradigm, with privacy, utility, and efficiency as its primary pillars. Existing research indicates that it is unlikely to simultaneously attain infinitesimal privacy leakage, utility loss, and efficiency. Therefore, how to find an optimal trade-off solution is the key consideration when designing the FL algorithm. One common way is to cast the trade-off problem as a multi-objective optimization problem, i.e., the goal is to minimize the utility loss and efficiency reduction while constraining the privacy leakage not exceeding a predefined value. However, existing multi-objective optimization frameworks are very time-consuming, and do not guarantee the existence of the Pareto frontier, this motivates us to seek a solution to transform the multi-objective problem into a single-objective problem because it is more efficient and easier to be solved. To this end, in this paper, we propose FedPAC, a unified framework that leverages PAC learning to quantify multiple objectives in terms of sample complexity, such quantification allows us to constrain the solution space of multiple objectives to a shared dimension, so that it can be solved with the help of a single-objective optimization algorithm. Specifically, we provide the results and detailed analyses of how to quantify the utility loss, privacy leakage, privacy-utility-efficiency trade-off, as well as the cost of the attacker from the PAC learning perspective.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI