GLASU: A Communication-Efficient Algorithm for Federated Learning with Vertically Distributed Graph Data

要約

垂直連合学習 (VFL) は分散学習パラダイムであり、コンピューティング クライアントは、所有する同じサンプル セットの部分的な特徴に基づいてモデルを集合的にトレーニングします。
VFL に関する現在の研究は、サンプルが独立している場合に焦点を当てていますが、サンプルがグラフを通じて相互に関連している場合の新たなシナリオに対処することはほとんどありません。
グラフ構造データの場合、グラフ ニューラル ネットワーク (GNN) は競合する機械学習モデルですが、VFL 設定で単純に実装すると、通信オーバーヘッドが大きくなります。
さらに、トレーニングの分析は、偏った確率的勾配によって引き起こされる課題に直面しています。
この論文では、クライアントとサーバー間でバックボーン GNN を分割するモデル分割方法と、そのようなモデルをトレーニングするための通信効率の高いアルゴリズム GLASU を提案します。
GLASU は遅延集計と古い更新を採用して、モデルを評価するときに集計をスキップし、トレーニング中に機能交換をスキップして、通信を大幅に削減します。
理論的分析を提供し、実世界のデータセットで広範な数値実験を行い、提案されたアルゴリズムが GNN モデルを効果的にトレーニングし、そのパフォーマンスが集中的にトレーニングされた場合のバックボーン GNN のパフォーマンスと一致することを示します。

要約(オリジナル)

Vertical federated learning (VFL) is a distributed learning paradigm, where computing clients collectively train a model based on the partial features of the same set of samples they possess. Current research on VFL focuses on the case when samples are independent, but it rarely addresses an emerging scenario when samples are interrelated through a graph. For graph-structured data, graph neural networks (GNNs) are competitive machine learning models, but a naive implementation in the VFL setting causes a significant communication overhead. Moreover, the analysis of the training is faced with a challenge caused by the biased stochastic gradients. In this paper, we propose a model splitting method that splits a backbone GNN across the clients and the server and a communication-efficient algorithm, GLASU, to train such a model. GLASU adopts lazy aggregation and stale updates to skip aggregation when evaluating the model and skip feature exchanges during training, greatly reducing communication. We offer a theoretical analysis and conduct extensive numerical experiments on real-world datasets, showing that the proposed algorithm effectively trains a GNN model, whose performance matches that of the backbone GNN when trained in a centralized manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google