Timely Asynchronous Hierarchical Federated Learning: Age of Convergence

要約

クライアント エッジ クラウド フレームワークを使用した非同期階層フェデレーテッド ラーニング (AHFL) 設定を検討します。
クライアントは、トレーニングされたパラメータを対応するエッジ サーバーと交換し、ローカルに集約されたモデルを更新します。
このモデルは、ローカル クラスター内のすべてのクライアントに送信されます。
エッジ サーバーは、グローバル モデルの集約のために中央のクラウド サーバーと通信します。
各クライアントの目標は、クライアントの適時性を維持しながら、つまり、トレーニングの反復時間を最適化しながら、グローバル モデルに収束することです。
我々は、高密度クラスターを含むこのようなシステムの収束基準を調査します。
私たちの分析によると、平均適時性が固定された $n$ クライアントのシステムでは、ノードが $O(1)$ 個のクラスターに分割されている場合、つまりシステムが構築されている場合、有限時間内の収束が確率的に保証されています。
それぞれが高密度のクライアント ベースを持つ疎なエッジ サーバーのセットとして。

要約(オリジナル)

We consider an asynchronous hierarchical federated learning (AHFL) setting with a client-edge-cloud framework. The clients exchange the trained parameters with their corresponding edge servers, which update the locally aggregated model. This model is then transmitted to all the clients in the local cluster. The edge servers communicate to the central cloud server for global model aggregation. The goal of each client is to converge to the global model, while maintaining timeliness of the clients, i.e., having optimum training iteration time. We investigate the convergence criteria for such a system with dense clusters. Our analysis shows that for a system of $n$ clients with fixed average timeliness, the convergence in finite time is probabilistically guaranteed, if the nodes are divided into $O(1)$ number of clusters, that is, if the system is built as a sparse set of edge servers with dense client bases each.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google