Optimizing Federated Graph Learning with Inherent Structural Knowledge and Dual-Densely Connected GNNs

要約

Federated Graph Learning (FGL) は、クライアントがプライベート データを公開することなく、分散方式で強力なグラフ ニューラル ネットワーク (GNN) を共同でトレーニングできるようにする新しいテクノロジーです。
それにもかかわらず、FGL は依然として、グラフの厳しい非独立かつ同一分散 (非 IID) 特性という課題に直面しています。グラフは、特にさまざまなドメインにわたって多様なノードおよびエッジ構造を持っています。
したがって、これらの構造に固有の知識を探索することが非常に重要になります。
しかし、既存の方法では、グラフ データに固有の構造的知識が見落とされているか、大幅に増加したリソース要求 (FLOP や通信帯域幅など) を犠牲にしてそれを取得しているため、分散パラダイムにとって有害となる可能性があります。
これに触発されて、私たちは固有の構造知識の利用効率を最適化する新しい FGL フレームワークである FedDense を提案します。
多様で活用されていない構造に関する知識をより適切に取得するために、FedDense はまず、ノードの特徴とともにグラフ データ自体に固有の構造知識を明示的にエンコードします。
さらに、FedDense は、マルチスケール (つまり、ワンホップからマルチホップへ) の機能と、各レイヤーで集約された機能マップに埋め込まれた構造の洞察を活用するデュアル高密度接続 (DDC) GNN アーキテクチャを導入しています。
固有の構造の活用に加えて、FGL のリソース制限を考慮し、DDC アーキテクチャ上の非常に狭いレイヤを考案し、選択的なパラメータ共有戦略を採用してリソース コストを大幅に削減します。
私たちは 4 つの異なるドメインにわたる 15 のデータセットを使用して広範な実験を実施し、FedDense が最小限のリソースを要求しながらトレーニング パフォーマンスにおいてベースラインを常に大幅に上回っていることを実証しました。

要約(オリジナル)

Federated Graph Learning (FGL) is an emerging technology that enables clients to collaboratively train powerful Graph Neural Networks (GNNs) in a distributed manner without exposing their private data. Nevertheless, FGL still faces the challenge of the severe non-Independent and Identically Distributed (non-IID) nature of graphs, which possess diverse node and edge structures, especially across varied domains. Thus, exploring the knowledge inherent in these structures becomes significantly crucial. Existing methods, however, either overlook the inherent structural knowledge in graph data or capture it at the cost of significantly increased resource demands (e.g., FLOPs and communication bandwidth), which can be detrimental to distributed paradigms. Inspired by this, we propose FedDense, a novel FGL framework that optimizes the utilization efficiency of inherent structural knowledge. To better acquire knowledge of diverse and underexploited structures, FedDense first explicitly encodes the structural knowledge inherent within graph data itself alongside node features. Besides, FedDense introduces a Dual-Densely Connected (DDC) GNN architecture that exploits the multi-scale (i.e., one-hop to multi-hop) feature and structure insights embedded in the aggregated feature maps at each layer. In addition to the exploitation of inherent structures, we consider resource limitations in FGL, devising exceedingly narrow layers atop the DDC architecture and adopting a selective parameter sharing strategy to reduce resource costs substantially. We conduct extensive experiments using 15 datasets across 4 different domains, demonstrating that FedDense consistently surpasses baselines by a large margin in training performance, while demanding minimal resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google