RETEXO: Scalable Neural Network Training over Distributed Graphs

要約

グラフ ニューラル ネットワークは、グラフ データに対する教師あり学習への有望なアプローチを提供します。
グラフ データは、特にプライバシーが重視される場合や、一元的にトレーニングするには大きすぎる場合、多くの場合、共同トレーニング中の通信コストを最小限に抑えたい異なる処理ユニット (クライアント) に分割して保存されます。
完全に分散されたセットアップでは、このようなパーティショニングが極端に行われ、1 つのノードとそれに隣接するエッジのみの機能が 1 つのクライアント プロセッサでローカルに保持されます。
既存の GNN は、そのようなセットアップでのトレーニング用に設計されておらず、法外なコストが発生します。
完全分散セットアップでのトレーニング中の通信効率を向上させる、既存の GNN の新しい変換である RETEXO を提案します。
教師ありノード分類タスクの精度のトレードオフを最小限に抑えて、浅い GNN をトレーニングする場合でも、RETEXO が最大 6 桁優れた通信効率を提供することを実験的に確認しています。

要約(オリジナル)

Graph neural networks offer a promising approach to supervised learning over graph data. Graph data, especially when it is privacy-sensitive or too large to train on centrally, is often stored partitioned across disparate processing units (clients) which want to minimize the communication costs during collaborative training. The fully-distributed setup takes such partitioning to its extreme, wherein features of only a single node and its adjacent edges are kept locally with one client processor. Existing GNNs are not architected for training in such setups and incur prohibitive costs therein. We propose RETEXO, a novel transformation of existing GNNs that improves the communication efficiency during training in the fully-distributed setup. We experimentally confirm that RETEXO offers up to 6 orders of magnitude better communication efficiency even when training shallow GNNs, with a minimal trade-off in accuracy for supervised node classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google