Federated Multi-Objective Learning

要約

近年、多目的最適化 (MOO) が、多くのマルチエージェント マルチタスク学習アプリケーションを支える基礎的な問題として浮上しています。
しかし、MOO 文献の既存のアルゴリズムは依然として集中学習設定に限定されており、このようなマルチエージェント マルチタスク学習アプリケーションの分散性とデータ プライバシーのニーズを満たしていません。
これにより、トレーニング データをプライベートに保ちながら、複数のクライアントが分散的かつ協力的に MOO 問題を解決できる、新しいフェデレーション多目的学習 (FMOL) フレームワークを提案する動機が生まれました。
特に、当社の FMOL フレームワークにより、さまざまなクライアント間でさまざまな目的関数のセットが幅広いアプリケーションをサポートできるようになり、MOO の定式化が初めてフェデレーテッド ラーニング パラダイムへと前進し、一般化されます。
この FMOL フレームワークに対して、Federated Multi-gradient Descent Averaging (FMGDA) と Federated Stochastic Descent Averaging (FSMGDA) と呼ばれる 2 つの新しい Federated Multi-Objective Optimization (FMOO) アルゴリズムを提案します。
どちらのアルゴリズムでも、ローカル更新により通信コストを大幅に削減できると同時に、単一目的のフェデレーテッド ラーニングにおける対応するアルゴリズムと同じ収束率を達成できます。
私たちの広範な実験により、私たちが提案した FMOO アルゴリズムの有効性も裏付けられています。

要約(オリジナル)

In recent years, multi-objective optimization (MOO) emerges as a foundational problem underpinning many multi-agent multi-task learning applications. However, existing algorithms in MOO literature remain limited to centralized learning settings, which do not satisfy the distributed nature and data privacy needs of such multi-agent multi-task learning applications. This motivates us to propose a new federated multi-objective learning (FMOL) framework with multiple clients distributively and collaboratively solving an MOO problem while keeping their training data private. Notably, our FMOL framework allows a different set of objective functions across different clients to support a wide range of applications, which advances and generalizes the MOO formulation to the federated learning paradigm for the first time. For this FMOL framework, we propose two new federated multi-objective optimization (FMOO) algorithms called federated multi-gradient descent averaging (FMGDA) and federated stochastic multi-gradient descent averaging (FSMGDA). Both algorithms allow local updates to significantly reduce communication costs, while achieving the {\em same} convergence rates as those of their algorithmic counterparts in the single-objective federated learning. Our extensive experiments also corroborate the efficacy of our proposed FMOO algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google