Personalized Subgraph Federated Learning

要約

より大きなグローバル グラフのサブグラフは複数のデバイスに分散され、サブグラフ間にリンクがある場合でも、プライバシー制限によりローカルでのみアクセスできます。
最近提案されたサブグラフのフェデレーテッド ラーニング (FL) 手法は、ローカル サブグラフ上でグラフ ニューラル ネットワーク (GNN) を分散トレーニングしながら、ローカル サブグラフ全体にわたるミッシング リンクに対処します。
しかし、彼らは、グローバル グラフの異なるコミュニティを構成するサブグラフ間の避けられない異質性を見落としており、その結果、ローカル GNN モデルから得られる互換性のない知識が崩壊してしまいました。
この目的を達成するために、我々は新しいサブグラフ FL 問題であるパー​​ソナライズされたサブグラフ FL を導入します。これは、単一のグローバル モデルを学習するのではなく、相互に関連するローカル GNN の共同改善に焦点を当て、新しいフレームワークである FEDerated Personalized sUBgraph learning (FED-PUB) を提案します。
、それに取り組むために。
サーバーは各クライアントのサブグラフにアクセスできないため、FED-PUB はランダム グラフを入力として使用するローカル GNN の関数埋め込みを利用して、それらの間の類似度を計算し、その類似度を使用してサーバー側集計の加重平均を実行します。
さらに、各クライアントでパーソナライズされたスパース マスクを学習し、集約されたパラメーターのサブグラフ関連のサブセットのみを選択して更新します。
重複しないサブグラフと重複するサブグラフの両方を考慮して、FED-PUB のサブグラフ FL パフォーマンスを 6 つのデータセットで検証し、関連するベースラインを大幅に上回ります。
私たちのコードは https://github.com/JinheonBaek/FED-PUB で入手できます。

要約(オリジナル)

Subgraphs of a larger global graph may be distributed across multiple devices, and only locally accessible due to privacy restrictions, although there may be links between subgraphs. Recently proposed subgraph Federated Learning (FL) methods deal with those missing links across local subgraphs while distributively training Graph Neural Networks (GNNs) on them. However, they have overlooked the inevitable heterogeneity between subgraphs comprising different communities of a global graph, consequently collapsing the incompatible knowledge from local GNN models. To this end, we introduce a new subgraph FL problem, personalized subgraph FL, which focuses on the joint improvement of the interrelated local GNNs rather than learning a single global model, and propose a novel framework, FEDerated Personalized sUBgraph learning (FED-PUB), to tackle it. Since the server cannot access the subgraph in each client, FED-PUB utilizes functional embeddings of the local GNNs using random graphs as inputs to compute similarities between them, and use the similarities to perform weighted averaging for server-side aggregation. Further, it learns a personalized sparse mask at each client to select and update only the subgraph-relevant subset of the aggregated parameters. We validate our FED-PUB for its subgraph FL performance on six datasets, considering both non-overlapping and overlapping subgraphs, on which it significantly outperforms relevant baselines. Our code is available at https://github.com/JinheonBaek/FED-PUB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google