Probably Approximately Correct Federated Learning

要約

タイトル：おそらくほぼ正確なフェデレーテッドラーニング

要約：
– フェデレーテッドラーニング（FL）は、プライバシー、有用性、効率性を主な柱とする新しい分散学習パラダイムである。
– 既存の研究は、極小化されたプライバシーリーク、有用性の損失、および効率性を同時に達成することは不可能であると示唆している。
– したがって、FLアルゴリズムを設計する際に、最適なトレードオフ解を見つける方法が重要な考慮事項である。
– 一般的な方法は、トレードオフ問題を多目的最適化問題としてキャストすることであり、つまり、プライバシーリークをあらかじめ定義された値を超えないように制約すると同時に、有用性損失と効率低下を最小限に抑えることを目指す。
– ただし、既存の多目的最適化フレームワークは非常に時間がかかるため、パレートフロンティアの存在を保証することはできない。そのため、多目的問題を単一目的問題に変換する解決策を探る必要がある。
– このため、PAC学習を活用して複数の目的をサンプル複雑性に関する指標で量子化する統一フレームワークであるFedPACを提案する。
– この指標を用いたことで、複数の目的の解の空間を共有次元に制約することができ、単一目的最適化アルゴリズムの支援を得て解決できる。
– 具体的には、有用性の損失、プライバシーリーク、プライバシー・有用性・効率のトレードオフ、および攻撃者のコストをPAC学習の観点からどのように量子化するかについての結果と詳細な分析を提供する。

要約(オリジナル)

Federated learning (FL) is a new distributed learning paradigm, with privacy, utility, and efficiency as its primary pillars. Existing research indicates that it is unlikely to simultaneously attain infinitesimal privacy leakage, utility loss, and efficiency. Therefore, how to find an optimal trade-off solution is the key consideration when designing the FL algorithm. One common way is to cast the trade-off problem as a multi-objective optimization problem, i.e., the goal is to minimize the utility loss and efficiency reduction while constraining the privacy leakage not exceeding a predefined value. However, existing multi-objective optimization frameworks are very time-consuming, and do not guarantee the existence of the Pareto frontier, this motivates us to seek a solution to transform the multi-objective problem into a single-objective problem because it is more efficient and easier to be solved. To this end, we propose FedPAC, a unified framework that leverages PAC learning to quantify multiple objectives in terms of sample complexity, such quantification allows us to constrain the solution space of multiple objectives to a shared dimension, so that it can be solved with the help of a single-objective optimization algorithm. Specifically, we provide the results and detailed analyses of how to quantify the utility loss, privacy leakage, privacy-utility-efficiency trade-off, as well as the cost of the attacker from the PAC learning perspective.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI