Lumos: Heterogeneity-aware Federated Graph Learning over Decentralized Devices

要約

グラフ・ニューラル・ネットワーク（GNN）は、グラフ構造のデータを扱うことができるため、実世界のネットワーク・アプリケーションやシステムに広く導入されている。しかし、データプライバシーに対する意識の高まりは、サーバーがすべてのグラフ情報を保持する従来の集中型モデル学習パラダイムに深刻な課題を投げかけている。連携学習は、データの集中化なしにモデル学習を可能にする、新たな協調コンピューティングパラダイムである。既存の連合型GNNの研究は、主にクライアントが特徴的なグラフやサブグラフを保持するシステムに焦点を当てている。各クライアントが直接の隣人のみを認識する、実用的なノードレベルの連携状況はまだ研究されていない。本論文では、Lumosと呼ばれる初の連合型GNNフレームワークを提案する。このフレームワークは、ノードレベルの連合型グラフにおいて、特徴量と次数の保護を伴う教師あり学習と教師なし学習をサポートする。我々はまず、限られた構造情報の中で表現能力を向上させるために、ツリーコンストラクタを設計する。さらに、次数の不均一性に起因する作業負荷の不均衡を理論的に保証された性能で緩和するモンテカルロ・マルコフ連鎖ベースのアルゴリズムを提示する。各クライアントに対して構築されたツリーに基づき、分散化されたツリーベースのGNN訓練器を提案し、汎用的な訓練をサポートする。広範な実験により、Lumosがベースラインを凌駕し、精度が著しく高く、通信コストと訓練時間が大幅に削減されることが実証される。

要約(オリジナル)

Graph neural networks (GNN) have been widely deployed in real-world networked applications and systems due to their capability to handle graph-structured data. However, the growing awareness of data privacy severely challenges the traditional centralized model training paradigm, where a server holds all the graph information. Federated learning is an emerging collaborative computing paradigm that allows model training without data centralization. Existing federated GNN studies mainly focus on systems where clients hold distinctive graphs or sub-graphs. The practical node-level federated situation, where each client is only aware of its direct neighbors, has yet to be studied. In this paper, we propose the first federated GNN framework called Lumos that supports supervised and unsupervised learning with feature and degree protection on node-level federated graphs. We first design a tree constructor to improve the representation capability given the limited structural information. We further present a Monte Carlo Markov Chain-based algorithm to mitigate the workload imbalance caused by degree heterogeneity with theoretically-guaranteed performance. Based on the constructed tree for each client, a decentralized tree-based GNN trainer is proposed to support versatile training. Extensive experiments demonstrate that Lumos outperforms the baseline with significantly higher accuracy and greatly reduced communication cost and training time.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL