Optimizing Privacy, Utility and Efficiency in Constrained Multi-Objective Federated Learning

要約

タイトル：制約のある多目的フェデレーテッドラーニングにおけるプライバシー、有用性、効率の最適化

要約：

– 従来のフェデレーテッドラーニングは、通常有用性という単一の目的を最適化することを目指していたが、信頼性のあるフェデレーテッドラーニングシステムを実現するには、モデルパフォーマンスの最大化だけでなく、プライバシーリークやトレーニングコストの最小化、悪意ある攻撃に対する強さなど複数の目的を同時に実現する必要がある。
– 多目的最適化（MOO）は、同時に複数の目的を最適化することを目的としており、信頼性のあるフェデレーテッドラーニングの最適化問題を解決するにあたり適している。この論文では、MOOと信頼性のあるフェデレーテッドラーニングを統一し、「制約のある多目的フェデレーテッドラーニング（CMOFL）」の問題を定式化する。
– この定式化に基づいて、既存のMOOアルゴリズムを簡単に信頼性のあるフェデレーテッドラーニングに適応できるようになる。そこで、この論文では、既存のCMOFLが有用性、効率、公平性、そして強さに焦点を当てるのに対し、プライバシーリーク、有用性、トレーニングコストの最適化を考慮している。
– NSGA-IIとPSLをベースにした2つの改良されたCMOFLアルゴリズムを開発し、Pareto最適解を効果的かつ効率的に見つけるための理論的分析を提供している。本論文では、3つのプライバシー保護機構「ランダム化」「BatchCrypt（より効率的なホモモーフィック暗号のバージョン）」「スパース化」のプライバシーリーク、有用性の損失、トレーニングコストの特定の測定値を設計し、それぞれの保護機構下で実験を行い、提案されたアルゴリズムの効果を実証している。

要約(オリジナル)

Conventionally, federated learning aims to optimize a single objective, typically the utility. However, for a federated learning system to be trustworthy, it needs to simultaneously satisfy multiple/many objectives, such as maximizing model performance, minimizing privacy leakage and training cost, and being robust to malicious attacks. Multi-Objective Optimization (MOO) aiming to optimize multiple conflicting objectives at the same time is quite suitable for solving the optimization problem of Trustworthy Federated Learning (TFL). In this paper, we unify MOO and TFL by formulating the problem of constrained multi-objective federated learning (CMOFL). Under this formulation, existing MOO algorithms can be adapted to TFL straightforwardly. Different from existing CMOFL works focusing on utility, efficiency, fairness, and robustness, we consider optimizing privacy leakage along with utility loss and training cost, the three primary objectives of a TFL system. We develop two improved CMOFL algorithms based on NSGA-II and PSL, respectively, for effectively and efficiently finding Pareto optimal solutions, and we provide theoretical analysis on their convergence. We design specific measurements of privacy leakage, utility loss, and training cost for three privacy protection mechanisms: Randomization, BatchCrypt (An efficient version of homomorphic encryption), and Sparsification. Empirical experiments conducted under each of the three protection mechanisms demonstrate the effectiveness of our proposed algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI