Federated PAC Learning

要約

【タイトル】フェデレーテッドPAC学習

【要約】
– フェデレーテッドラーニング（FL）は、プライバシー、有用性、効率性を主要な柱とする新しい分散学習パラダイムである。
– 存在する研究は、無限小のプライバシーリーク、有用性の損失、効率性を同時に達成することは不可能であると示している。
– そのため、FLアルゴリズムを設計する際に最適なトレードオフ解を見つける方法が重要となる。
– 一般的な方法は、トレードオフ問題を多目的最適化問題としてキャストすることである。すなわち、プライバシーリークがあらかじめ定義された値を超えないように制約をかけながら、有用性の損失と効率低下を最小限に抑えることを目的とする。
– しかし、既存の多目的最適化フレームワークは非常に時間がかかり、パレートフロンティアの存在を保証しないため、より効率的で解決しやすいシングルオブジェクティブ問題に変換する解決策を求める動機となった。
– このため、本論文では、PAC学習を活用して複数の目的をサンプルの複雑さで定量化する一元化されたフレームワークであるFedPACを提案する。
– この定量化により、複数の目的の解決空間を共有次元に制約することができるため、シングルオブジェクティブ最適化アルゴリズムの支援を受けて解決することができる。
– 具体的には、有用性の損失、プライバシーリーク、プライバシー-有用性-効率性のトレードオフ、および攻撃者のコストを定量化する方法について、PAC学習の観点から実験結果と詳細な分析を提供する。

要約(オリジナル)

Federated learning (FL) is a new distributed learning paradigm, with privacy, utility, and efficiency as its primary pillars. Existing research indicates that it is unlikely to simultaneously attain infinitesimal privacy leakage, utility loss, and efficiency. Therefore, how to find an optimal trade-off solution is the key consideration when designing the FL algorithm. One common way is to cast the trade-off problem as a multi-objective optimization problem, i.e., the goal is to minimize the utility loss and efficiency reduction while constraining the privacy leakage not exceeding a predefined value. However, existing multi-objective optimization frameworks are very time-consuming, and do not guarantee the existence of the Pareto frontier, this motivates us to seek a solution to transform the multi-objective problem into a single-objective problem because it is more efficient and easier to be solved. To this end, in this paper, we propose FedPAC, a unified framework that leverages PAC learning to quantify multiple objectives in terms of sample complexity, such quantification allows us to constrain the solution space of multiple objectives to a shared dimension, so that it can be solved with the help of a single-objective optimization algorithm. Specifically, we provide the results and detailed analyses of how to quantify the utility loss, privacy leakage, privacy-utility-efficiency trade-off, as well as the cost of the attacker from the PAC learning perspective.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI