FedGAT: A Privacy-Preserving Federated Approximation Algorithm for Graph Attention Networks

要約

フェデレーテッド トレーニング手法は、ソーシャル メディア サイトの友人関係グラフや巨大なオンライン マーケットプレイスの顧客と販売者の相互作用グラフなどのアプリケーションを使用したグラフ学習で人気を集めています。
ただし、多くの場合、プライバシー規制により、ローカルで生成されたデータをローカル クライアントに保存することが求められます。
グラフは自然にクライアント間で分割され、どのクライアントも別のクライアントに保存されている情報へのアクセスを許可されません。
このような場合、クロスクライアント エッジは自然に発生し、一方のクライアントでグラフ モデルをトレーニングするにはクロスクライアント エッジの他端のノードの特徴情報が必要となるため、フェデレーテッド トレーニング方法に興味深い課題を提示します。
このようなエッジを保持しようとすると、多くの場合、重大な通信オーバーヘッドが発生し、エッジを完全に削除すると、モデルのパフォーマンスが低下します。
グラフ畳み込みネットワークなどの単純なモデルでは、トレーニング前に限られた量の特徴情報をクライアント間で通信することでこの問題を修正できますが、GAT (グラフ アテンション ネットワーク) では、トレーニング ラウンドから次の段階に変化するため、事前に通信できない追加情報が必要になります。
ラウンド。
半教師ありノード分類用の Federated Graph Attendant Network (FedGAT) アルゴリズムを導入します。これは、近似誤差の証明可能な境界を使用して GAT の動作を近似します。
FedGAT では、事前トレーニング通信ラウンドが 1 回だけ必要なため、フェデレーテッド GAT トレーニングの通信オーバーヘッドが大幅に削減されます。
次に、近似の誤差を分析し、通信のオーバーヘッドとアルゴリズムの計算の複雑さを調べます。
実験の結果、FedGAT は集中設定で GAT モデルとほぼ同じ精度を達成し、そのパフォーマンスはクライアントの数やデータ分散に対して堅牢であることが示されています。

要約(オリジナル)

Federated training methods have gained popularity for graph learning with applications including friendship graphs of social media sites and customer-merchant interaction graphs of huge online marketplaces. However, privacy regulations often require locally generated data to be stored on local clients. The graph is then naturally partitioned across clients, with no client permitted access to information stored on another. Cross-client edges arise naturally in such cases and present an interesting challenge to federated training methods, as training a graph model at one client requires feature information of nodes on the other end of cross-client edges. Attempting to retain such edges often incurs significant communication overhead, and dropping them altogether reduces model performance. In simpler models such as Graph Convolutional Networks, this can be fixed by communicating a limited amount of feature information across clients before training, but GATs (Graph Attention Networks) require additional information that cannot be pre-communicated, as it changes from training round to round. We introduce the Federated Graph Attention Network (FedGAT) algorithm for semi-supervised node classification, which approximates the behavior of GATs with provable bounds on the approximation error. FedGAT requires only one pre-training communication round, significantly reducing the communication overhead for federated GAT training. We then analyze the error in the approximation and examine the communication overhead and computational complexity of the algorithm. Experiments show that FedGAT achieves nearly the same accuracy as a GAT model in a centralised setting, and its performance is robust to the number of clients as well as data distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google