Mitigating Degree Bias in Graph Representation Learning with Learnable Structural Augmentation and Structural Self-Attention

要約

グラフニューラルネットワーク（GNNS）メッセージの渡しを通してノード表現を更新します。これは、主に同性愛の原理に基づいており、隣接するノードが同様の機能を共有していると仮定します。
ただし、長期尾のある程度分布を備えた現実世界のグラフでは、高度ノードがメッセージの合格を支配し、メッセージが不十分なメッセージのために低いノードが過小評価されたままである程度のバイアスを引き起こします。
学位バイアスに対処する際の主な課題は、高度ノードに追加のメッセージを提供しながら、高度ノードの過度のメッセージを減らしながら、隣接していないノードを発見する方法です。
それにもかかわらず、非隣接ノードを悪用して貴重なメッセージを提供することは、騒々しい情報を生成し、元のグラフ構造を破壊する可能性があるため、挑戦的です。
それを解決するために、学習可能な構造的増強と構造的自己触たちを通じて非隣接ノード間の構造的類似性を発見することにより、学位バイアスを緩和するために、Degfairgtという名前の新しい程度の公平性グラフ変圧器を提案します。
私たちの重要なアイデアは、同じコミュニティで同様の役割を持つ非隣接ノードを活用して、私たちの増強の下で有益なエッジを生成することです。
Degfairgtがそのような構造的類似性を学習できるようにするために、ノードペア間の類似性を捉えるために構造的自己触媒を提案します。
グローバルグラフ構造を維持し、グラフの増強がグラフ構造を妨げるのを防ぐために、P-STEP遷移確率を維持し、グラフの増強を正規化するための自己監視学習タスクを提案します。
6つのデータセットでの広範な実験により、Degfairgtは、次の公平性分析、ノード分類、およびノー​​ドクラスタリングタスクの最先端のベースラインよりも優れていることが示されました。

要約(オリジナル)

Graph Neural Networks (GNNs) update node representations through message passing, which is primarily based on the homophily principle, assuming that adjacent nodes share similar features. However, in real-world graphs with long-tailed degree distributions, high-degree nodes dominate message passing, causing a degree bias where low-degree nodes remain under-represented due to inadequate messages. The main challenge in addressing degree bias is how to discover non-adjacent nodes to provide additional messages to low-degree nodes while reducing excessive messages for high-degree nodes. Nevertheless, exploiting non-adjacent nodes to provide valuable messages is challenging, as it could generate noisy information and disrupt the original graph structures. To solve it, we propose a novel Degree Fairness Graph Transformer, named DegFairGT, to mitigate degree bias by discovering structural similarities between non-adjacent nodes through learnable structural augmentation and structural self-attention. Our key idea is to exploit non-adjacent nodes with similar roles in the same community to generate informative edges under our augmentation, which could provide informative messages between nodes with similar roles while ensuring that the homophily principle is maintained within the community. To enable DegFairGT to learn such structural similarities, we then propose a structural self-attention to capture the similarities between node pairs. To preserve global graph structures and prevent graph augmentation from hindering graph structure, we propose a Self-Supervised Learning task to preserve p-step transition probability and regularize graph augmentation. Extensive experiments on six datasets showed that DegFairGT outperformed state-of-the-art baselines in degree fairness analysis, node classification, and node clustering tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google