GradMA: A Gradient-Memory-based Accelerated Federated Learning with Alleviated Catastrophic Forgetting

要約

フェデレーテッド ラーニング (FL) は、事実上の機械学習分野として台頭し、コミュニティから急速に研究への関心が高まっています。
ただし、データの不均一性と部分的な参加によって引き起こされる壊滅的な忘却は、FL に特有の課題をもたらし、パフォーマンスに悪影響を及ぼします。
この問題に取り組むために、新しい FL アプローチ (つまり、GradMA) を提案します。これは、継続的な学習からインスピレーションを得て、サーバー側とワーカー側の更新方向を同時に修正し、サーバーの豊富なコンピューティング リソースとメモリ リソースを最大限に活用します。
さらに、GradMA が大規模なワーカーを持つ FL に対応できるようにするためのメモリ削減戦略を詳しく説明します。
次に、スムーズな非凸設定で GradMA の収束を理論的に分析し、その収束率が、サンプリングされたアクティブ ワーカーの数の増加に比例して線形速度アップを達成することを示します。
最後に、さまざまな画像分類タスクに関する広範な実験により、GradMA は SOTA ベースラインと比較して、精度と通信効率において大幅なパフォーマンスの向上を達成することが示されました。

要約(オリジナル)

Federated Learning (FL) has emerged as a de facto machine learning area and received rapid increasing research interests from the community. However, catastrophic forgetting caused by data heterogeneity and partial participation poses distinctive challenges for FL, which are detrimental to the performance. To tackle the problems, we propose a new FL approach (namely GradMA), which takes inspiration from continual learning to simultaneously correct the server-side and worker-side update directions as well as take full advantage of server’s rich computing and memory resources. Furthermore, we elaborate a memory reduction strategy to enable GradMA to accommodate FL with a large scale of workers. We then analyze convergence of GradMA theoretically under the smooth non-convex setting and show that its convergence rate achieves a linear speed up w.r.t the increasing number of sampled active workers. At last, our extensive experiments on various image classification tasks show that GradMA achieves significant performance gains in accuracy and communication efficiency compared to SOTA baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google