Optimizing Privacy, Utility and Efficiency in Constrained Multi-Objective Federated Learning

要約

タイトル：制約付き多目的フェデレーテッド学習におけるプライバシー、有用性、効率の最適化

要約：
– 従来のフェデレーテッド学習では、通常、有用性を最適化することを目的としている。
– しかしながら、フェデレーテッド学習システムが信頼性を持つためには、モデルパフォーマンスの最大化、プライバシーリークの最小化、およびトレーニングコストの削減といった複数の目的を同時に満たす必要がある。
– 多目的最適化（MOO）は、複数の相反する目的を同時に最適化することを目的としており、信頼性の高いフェデレーテッド学習の最適化問題を解くために適している。
– 本論文では、MOOとTFLを統合し、制約付き多目的フェデレーテッド学習（CMOFL）の問題を定式化することで、既存のMOOアルゴリズムをTFLに簡単に適用できるようにしている。
– 我々は、他のCMOFLに関する研究が有用性、効率、公平性、および強靱性に焦点を置いているのに対し、プライバシーリークの最適化に注目している。
– NSGA-IIおよびPSLに基づく2つの改良されたCMOFLアルゴリズムを開発し、パレート最適解を効果的かつ効率的に見つけるための理論的分析を提供している。
– 我々は、ランダム化、バッチ暗号化（ホモモルフィック暗号の効率的なバージョン）、およびスパース化の3つのプライバシー保護メカニズムに対して、プライバシーリーク、有用性損失、およびトレーニングコストの具体的な測定を設計している。
– 3つの保護メカニズムのそれぞれで実施された実験は、提案されたアルゴリズムの効果を示している。

要約(オリジナル)

Conventionally, federated learning aims to optimize a single objective, typically the utility. However, for a federated learning system to be trustworthy, it needs to simultaneously satisfy multiple/many objectives, such as maximizing model performance, minimizing privacy leakage and training cost, and being robust to malicious attacks. Multi-Objective Optimization (MOO) aiming to optimize multiple conflicting objectives at the same time is quite suitable for solving the optimization problem of Trustworthy Federated Learning (TFL). In this paper, we unify MOO and TFL by formulating the problem of constrained multi-objective federated learning (CMOFL). Under this formulation, existing MOO algorithms can be adapted to TFL straightforwardly. Different from existing CMOFL works focusing on utility, efficiency, fairness, and robustness, we consider optimizing privacy leakage along with utility loss and training cost, the three primary objectives of a TFL system. We develop two improved CMOFL algorithms based on NSGA-II and PSL, respectively, for effectively and efficiently finding Pareto optimal solutions, and we provide theoretical analysis on their convergence. We design specific measurements of privacy leakage, utility loss, and training cost for three privacy protection mechanisms: Randomization, BatchCrypt (An efficient version of homomorphic encryption), and Sparsification. Empirical experiments conducted under each of the three protection mechanisms demonstrate the effectiveness of our proposed algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI