Rethinking Independent Cross-Entropy Loss For Graph-Structured Data

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ構造のデータの学習において顕著なパフォーマンスを示しています。
ノード分類タスクを考慮すると、ノード ラベル間の i.i.d 仮定に基づいて、従来の教師あり学習では、独立したトレーニング ノードのクロスエントロピー損失を単純に合計し、平均損失を適用して GNN の重みを最適化します。
ただし、他のデータ形式とは異なり、ノードは自然に接続されます。
ノード ラベルの独立した分布モデリングにより、グラフ全体を一般化して敵対的攻撃を防御する GNN の能力が制限されることがわかりました。
この研究では、各ノードと対応するクラスターの結合分布をモデル化する、結合クラスター教師あり学習と呼ばれる新しいフレームワークを提案します。
表現に基づいて条件付けされたノードとクラスターのラベルの結合分布を学習し、得られた結合損失を使用して GNN をトレーニングします。
このようにして、ローカル クラスターから抽出されたデータ ラベル参照信号は、ターゲット ノードの識別能力を明示的に強化します。
広範な実験により、共同クラスター教師あり学習が GNN のノード分類精度を効果的に強化できることが実証されました。
さらに、悪意のある干渉を受けない可能性がある参照信号の恩恵を受けることで、私たちの学習パラダイムは、敵対的な攻撃による影響からノード分類を大幅に保護します。

要約(オリジナル)

Graph neural networks (GNNs) have exhibited prominent performance in learning graph-structured data. Considering node classification task, based on the i.i.d assumption among node labels, the traditional supervised learning simply sums up cross-entropy losses of the independent training nodes and applies the average loss to optimize GNNs’ weights. But different from other data formats, the nodes are naturally connected. It is found that the independent distribution modeling of node labels restricts GNNs’ capability to generalize over the entire graph and defend adversarial attacks. In this work, we propose a new framework, termed joint-cluster supervised learning, to model the joint distribution of each node with its corresponding cluster. We learn the joint distribution of node and cluster labels conditioned on their representations, and train GNNs with the obtained joint loss. In this way, the data-label reference signals extracted from the local cluster explicitly strengthen the discrimination ability on the target node. The extensive experiments demonstrate that our joint-cluster supervised learning can effectively bolster GNNs’ node classification accuracy. Furthermore, being benefited from the reference signals which may be free from spiteful interference, our learning paradigm significantly protects the node classification from being affected by the adversarial attack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google