On the Convergence of Continual Federated Learning Using Incrementally Aggregated Gradients

要約

機械学習の究極の目標は、継続的フェデレーテッド ラーニング (CFL) を有効にして、ストリーミング データから学習しながら AI システムの効率、プライバシー、スケーラビリティを強化することです。
CFL システムの主な課題は、新しいタスクでトレーニングされたグローバル モデルの精度が古いタスクでは低下する、グローバルな壊滅的な忘却を克服することです。
この研究では、メモリ上のエッジベースの勾配更新と現在のデータの集約された勾配で構成される新しいリプレイメモリベースの連合戦略である、集約勾配による継続的フェデレーション学習 (C-FLAG) を提案します。
$T$ の通信ラウンドにわたって $O(1/\sqrt{T})$ のレートで収束しながら、忘却とバイアスに対処する C-FLAG アプローチの収束分析を提供します。
壊滅的な忘却を最小限に抑える最適化副問題を定式化し、CFL を適応学習率を備えた反復アルゴリズムに変換して、タスク間でのシームレスな学習を保証します。
我々は、精度や忘却などの指標に関して、タスク設定とクラス増分設定の両方で C-FLAG がいくつかの最先端のベースラインよりも優れていることを経験的に示しています。

要約(オリジナル)

The holy grail of machine learning is to enable Continual Federated Learning (CFL) to enhance the efficiency, privacy, and scalability of AI systems while learning from streaming data. The primary challenge of a CFL system is to overcome global catastrophic forgetting, wherein the accuracy of the global model trained on new tasks declines on the old tasks. In this work, we propose Continual Federated Learning with Aggregated Gradients (C-FLAG), a novel replay-memory based federated strategy consisting of edge-based gradient updates on memory and aggregated gradients on the current data. We provide convergence analysis of the C-FLAG approach which addresses forgetting and bias while converging at a rate of $O(1/\sqrt{T})$ over $T$ communication rounds. We formulate an optimization sub-problem that minimizes catastrophic forgetting, translating CFL into an iterative algorithm with adaptive learning rates that ensure seamless learning across tasks. We empirically show that C-FLAG outperforms several state-of-the-art baselines on both task and class-incremental settings with respect to metrics such as accuracy and forgetting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google