CoDeC: Communication-Efficient Decentralized Continual Learning

要約

エッジでのトレーニングでは、さまざまな場所で生成された継続的に進化するデータを利用します。
プライバシーの問題により、この空間的および時間的に分散されたデータのコロケーションが禁止されており、分散型のプライベート データに対して効率的な継続的な学習を可能にするトレーニング アルゴリズムを設計することが重要であると考えられています。
分散型学習により、空間的に分散されたデータを使用したサーバーレス トレーニングが可能になります。
このような分散学習における根本的な障壁は、エージェント間でモデルの更新を通信するための帯域幅のコストが高いことです。
さらに、このトレーニング パラダイムの下での既存の作業は、以前に取得した知識を保持しながら、タスクの時系列を学習するのには本質的に適していません。
この作業では、これらの課題に対処する新しい通信効率の高い分散型継続学習アルゴリズムである CoDeC を提案します。
分散エージェント全体のゴシップ平均化と直交勾配射影を組み合わせることにより、分散学習セットアップでタスク シーケンスを学習する際の壊滅的な忘却を軽減します。
さらに、CoDeC には、勾配部分空間に基づく新しいロスレス通信圧縮方式が含まれています。
レイヤーごとの勾配を、これらの勾配部分空間の基底ベクトルの線形結合として表現し、関連する係数を伝えます。
アルゴリズムの収束率を理論的に分析し、広範な実験セットを通じて、CoDeC が最小の忘却で分散継続タスクを正常に学習することを実証します。
提案された圧縮スキームは、通信コストを最大 4.8 倍削減し、完全な通信ベースラインとして等パフォーマンスを実現します。

要約(オリジナル)

Training at the edge utilizes continuously evolving data generated at different locations. Privacy concerns prohibit the co-location of this spatially as well as temporally distributed data, deeming it crucial to design training algorithms that enable efficient continual learning over decentralized private data. Decentralized learning allows serverless training with spatially distributed data. A fundamental barrier in such distributed learning is the high bandwidth cost of communicating model updates between agents. Moreover, existing works under this training paradigm are not inherently suitable for learning a temporal sequence of tasks while retaining the previously acquired knowledge. In this work, we propose CoDeC, a novel communication-efficient decentralized continual learning algorithm which addresses these challenges. We mitigate catastrophic forgetting while learning a task sequence in a decentralized learning setup by combining orthogonal gradient projection with gossip averaging across decentralized agents. Further, CoDeC includes a novel lossless communication compression scheme based on the gradient subspaces. We express layer-wise gradients as a linear combination of the basis vectors of these gradient subspaces and communicate the associated coefficients. We theoretically analyze the convergence rate for our algorithm and demonstrate through an extensive set of experiments that CoDeC successfully learns distributed continual tasks with minimal forgetting. The proposed compression scheme results in up to 4.8x reduction in communication costs with iso-performance as the full communication baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google