Decentralized Federated Learning with Model Caching on Mobile Agents

要約

Federated Learning (FL)は、中央サーバによって調整された分散エージェントのデータと計算能力を用いて共有モデルを学習する。分散型FL（DFL）は、エージェント間のローカルなモデル交換と集約を利用し、中央サーバの通信と計算のオーバーヘッドを削減する。しかし、エージェントが移動している場合、エージェント間の通信機会は散発的であり、DFLの収束と精度を大きく阻害する。本論文では、モバイルエージェントのモデルキャッシュによって可能になる遅延耐性のあるモデル拡散と集約を調査するために、キャッシュ分散学習（Cached-DFL）を提案する。各エージェントは、自身のモデルだけでなく、最近出会ったエージェントのモデルも保存している。2つのエージェントが出会うと、キャッシュされたモデルだけでなく、自身のモデルも交換する。ローカルモデル集約は、キャッシュに保存された全てのモデルを利用する。我々は、キャッシュによってもたらされるモデルの陳腐化を明示的に考慮しながら、キャッシュ-DFLの収束を理論的に解析する。異なるDFLとモビリティシナリオに対して、異なるモデルキャッシングアルゴリズムを設計し、比較する。エージェントのモビリティ、キャッシュの陳腐化、モデルの収束の間の相互作用を系統的に調査するために、車両ネットワークにおける詳細なケーススタディを実施する。我々の実験では、キャッシュDFLは素早く収束し、キャッシュなしのDFLを大幅に上回る。

要約(オリジナル)

Federated Learning (FL) trains a shared model using data and computation power on distributed agents coordinated by a central server. Decentralized FL (DFL) utilizes local model exchange and aggregation between agents to reduce the communication and computation overheads on the central server. However, when agents are mobile, the communication opportunity between agents can be sporadic, largely hindering the convergence and accuracy of DFL. In this paper, we propose Cached Decentralized Federated Learning (Cached-DFL) to investigate delay-tolerant model spreading and aggregation enabled by model caching on mobile agents. Each agent stores not only its own model, but also models of agents encountered in the recent past. When two agents meet, they exchange their own models as well as the cached models. Local model aggregation utilizes all models stored in the cache. We theoretically analyze the convergence of Cached-DFL, explicitly taking into account the model staleness introduced by caching. We design and compare different model caching algorithms for different DFL and mobility scenarios. We conduct detailed case studies in a vehicular network to systematically investigate the interplay between agent mobility, cache staleness, and model convergence. In our experiments, Cached-DFL converges quickly, and significantly outperforms DFL without caching.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL