Optimizing Privacy, Utility and Efficiency in Constrained Multi-Objective Federated Learning

要約

タイトル：制約つき多目的フェデレーテッド学習におけるプライバシー、有用性、効率の最適化

要約：

– 従来のフェデレーテッド学習は、通常、有用性を最適化する単一の目的を目指しています。
– しかし、信頼性のあるフェデレーテッド学習システムを構築するためには、モデルのパフォーマンスを最大化し、プライバシー漏洩とトレーニングコストを最小限に抑え、悪意のある攻撃に強いという複数の目的を同時に満たす必要があります。
– 複数の競合する目的を同時に最適化する多目的最適化は、信頼性のあるフェデレーテッド学習の最適化問題を解決するために非常に適しています。
– 本論文では、制約つき多目的フェデレーテッド学習（CMOFL）の問題を定式化し、既存の多目的最適化アルゴリズムをTFLに容易に適応できるように統一します。
– 従来のCMOFL作品が有用性、効率、公平性、ロバスト性を重視している一方、本論文では、TFLシステムの3つの主要な目的であるプライバシー漏洩、有用性低下、およびトレーニングコスト最小化の最適化を考慮しています。
– 我々は、NSGA-IIとPSLをベースとした2つの改良されたCMOFLアルゴリズムを開発し、勾配が収束することを理論的に分析しました。
– ランダム化、BatchCrypt（ホモモーフィック暗号化の効率的なバージョン）、およびスパース化という3つのプライバシー保護メカニズムについて、プライバシー漏洩、有用性低下、およびトレーニングコストの具体的な測定を設計しました。
– それぞれの保護メカニズムの下で実施された経験的実験は、我々の提案されたアルゴリズムの効果的な性質を示しました。

要約(オリジナル)

Conventionally, federated learning aims to optimize a single objective, typically the utility. However, for a federated learning system to be trustworthy, it needs to simultaneously satisfy multiple/many objectives, such as maximizing model performance, minimizing privacy leakage and training cost, and being robust to malicious attacks. Multi-Objective Optimization (MOO) aiming to optimize multiple conflicting objectives at the same time is quite suitable for solving the optimization problem of Trustworthy Federated Learning (TFL). In this paper, we unify MOO and TFL by formulating the problem of constrained multi-objective federated learning (CMOFL). Under this formulation, existing MOO algorithms can be adapted to TFL straightforwardly. Different from existing CMOFL works focusing on utility, efficiency, fairness, and robustness, we consider optimizing privacy leakage along with utility loss and training cost, the three primary objectives of a TFL system. We develop two improved CMOFL algorithms based on NSGA-II and PSL, respectively, for effectively and efficiently finding Pareto optimal solutions, and we provide theoretical analysis on their convergence. We design specific measurements of privacy leakage, utility loss, and training cost for three privacy protection mechanisms: Randomization, BatchCrypt (An efficient version of homomorphic encryption), and Sparsification. Empirical experiments conducted under each of the three protection mechanisms demonstrate the effectiveness of our proposed algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI