A-FedPD: Aligning Dual-Drift is All Federated Primal-Dual Learning Needs

要約

データ プライバシーと共同トレーニングを両立させるための一般的なパラダイムとして、エッジ クライアント上で大規模な異種データセットを分散処理するフェデレーテッド ラーニング (FL) が盛んに行われています。
帯域幅の制限とセキュリティの考慮事項により、元の問題を並行して解決する複数のサブ問題に巧みに分割し、フロリダ州でのアプリケーションの価値を高めるための基本的な二重ソリューションを実現します。
この論文では、古典的なフェデレーションプライマルデュアルメソッドの最近の開発をレビューし、非凸シナリオにおけるそのようなメソッドの重大な共通欠陥を指摘します。これは、長期にわたる非アクティブなクライアントの二重ヒステリシスによって引き起こされる「デュアルドリフト」であると私たちは言います。
部分参加研修。
この問題にさらに対処するために、我々は新しい Aligned Federated Primal Dual (A-FedPD) 手法を提案します。この手法は、長期にわたる参加していないローカル クライアントのグローバル コンセンサスとローカル デュアル変数を調整する仮想デュアル アップデートを構築します。
一方、滑らかな非凸対物レンズに対する A-FedPD 法の最適化と一般化効率の包括的な分析を提供し、その高い効率と実用性を確認します。
提案した方法の有効性を検証するために、いくつかの古典的な FL セットアップで広範な実験が行われました。

要約(オリジナル)

As a popular paradigm for juggling data privacy and collaborative training, federated learning (FL) is flourishing to distributively process the large scale of heterogeneous datasets on edged clients. Due to bandwidth limitations and security considerations, it ingeniously splits the original problem into multiple subproblems to be solved in parallel, which empowers primal dual solutions to great application values in FL. In this paper, we review the recent development of classical federated primal dual methods and point out a serious common defect of such methods in non-convex scenarios, which we say is a ‘dual drift’ caused by dual hysteresis of those longstanding inactive clients under partial participation training. To further address this problem, we propose a novel Aligned Federated Primal Dual (A-FedPD) method, which constructs virtual dual updates to align global consensus and local dual variables for those protracted unparticipated local clients. Meanwhile, we provide a comprehensive analysis of the optimization and generalization efficiency for the A-FedPD method on smooth non-convex objectives, which confirms its high efficiency and practicality. Extensive experiments are conducted on several classical FL setups to validate the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google