DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment

要約

グラフ ニューラル ネットワークは、バックプロパゲーション アルゴリズムがほとんどの GNN モデルの開発で中心的な役割を果たしており、さまざまなアプリケーションにわたって優れたパフォーマンスを発揮することが認められています。
ただし、その有効性にもかかわらず、BP にはその生物学的妥当性に疑問を投げかけ、グラフベースのタスク用のニューラル ネットワークのトレーニングの効率、スケーラビリティ、および並列性に影響を与える制限があります。
直接フィードバック アライメントなどのいくつかの非 BP トレーニング アルゴリズムは、ユークリッド データを処理するための完全接続ネットワーク コンポーネントや畳み込みネットワーク コンポーネントにうまく適用されていますが、これらの非 BP フレームワークを直接適応させて GNN モデルの非ユークリッド グラフ データを管理することは、次のことを示しています。
重要な課題。
これらの課題は主に i.i.d. の違反から生じます。
グラフ データの仮定と、グラフ内のすべてのサンプル (ノード) の予測誤差にアクセスすることの難しさ。
これらの障害を克服するために、この論文では、半教師あり学習のケーススタディを使用して、GNN に合わせた新しい前方学習フレームワークである DFA-GNN を提案します。
提案された方法は、専用のフォワード トレーニング メカニズムを使用することで BP の制限を打ち破ります。
具体的には、DFA-GNN は、グラフ データと GNN の独自のアーキテクチャに適応するように DFA の原理を拡張し、グラフ トポロジの情報をフィードバック リンクに組み込んでグラフ データの非ユークリッド特性に対応します。
さらに、半教師ありグラフ学習タスクのために、トレーニング データから残差誤差を拡散してラベルのないノードごとに疑似エラーを作成する疑似エラー ジェネレーターを開発しました。
これらの疑似エラーは、DFA を使用して GNN をトレーニングするために利用されます。
10 の公開ベンチマークに関する広範な実験により、私たちの学習フレームワークが以前の非 BP 手法だけでなく、標準の BP 手法よりも優れたパフォーマンスを示し、さまざまな種類のノイズや攻撃に対して優れた堅牢性を示すことが明らかになりました。

要約(オリジナル)

Graph neural networks are recognized for their strong performance across various applications, with the backpropagation algorithm playing a central role in the development of most GNN models. However, despite its effectiveness, BP has limitations that challenge its biological plausibility and affect the efficiency, scalability and parallelism of training neural networks for graph-based tasks. While several non-BP training algorithms, such as the direct feedback alignment, have been successfully applied to fully-connected and convolutional network components for handling Euclidean data, directly adapting these non-BP frameworks to manage non-Euclidean graph data in GNN models presents significant challenges. These challenges primarily arise from the violation of the i.i.d. assumption in graph data and the difficulty in accessing prediction errors for all samples (nodes) within the graph. To overcome these obstacles, in this paper we propose DFA-GNN, a novel forward learning framework tailored for GNNs with a case study of semi-supervised learning. The proposed method breaks the limitations of BP by using a dedicated forward training mechanism. Specifically, DFA-GNN extends the principles of DFA to adapt to graph data and unique architecture of GNNs, which incorporates the information of graph topology into the feedback links to accommodate the non-Euclidean characteristics of graph data. Additionally, for semi-supervised graph learning tasks, we developed a pseudo error generator that spreads residual errors from training data to create a pseudo error for each unlabeled node. These pseudo errors are then utilized to train GNNs using DFA. Extensive experiments on 10 public benchmarks reveal that our learning framework outperforms not only previous non-BP methods but also the standard BP methods, and it exhibits excellent robustness against various types of noise and attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google