Graph Size-imbalanced Learning with Energy-guided Structural Smoothing

要約

グラフはエンティティ間の関係を表すために使用される一般的なデータ構造であり、多くの場合、分子やソーシャル ネットワークなどの多数のシステムを描写およびシミュレートするツールとして機能します。
ただし、現実世界のグラフは通常、マルチグラフ分類におけるサイズの不均衡の問題、つまりノード数に関するロングテール分布の問題に悩まされます。
最近の研究では、既製のグラフ ニューラル ネットワーク (GNN) がロングテール設定の下ではモデルのパフォーマンスを損なう可能性があることが判明しています。
私たちはこの現象を調査し、尾の長いグラフの分布が構造的特徴の不一致を大幅に悪化させることを発見しました。
この問題を軽減するために、\textbf{SIMBA} という新しいエネルギーベースのサイズ不均衡学習フレームワークを提案します。これは、先頭グラフと末尾グラフの間の特徴を平滑化し、エネルギー伝播に基づいて重み付けをし直します。
具体的には、グラフ間の相関関係に従って \textit{Graphs-to-Graph} という高レベルのグラフ抽象化を構築し、独立したグラフをリンクし、構造の不一致を平滑化します。
さらに、トレーニングプロセスで互換性の低いグラフを再重み付けし、局所的な特徴の不一致をさらに滑らかにするための、エネルギーベースのメッセージパッシング信念伝播方法を考案します。
5 つのサイズ不均衡な公開データセットにわたる広範な実験結果は、サイズ不均衡なグラフ分類タスクに対するモデルの優れた有効性を実証しています。

要約(オリジナル)

Graph is a prevalent data structure employed to represent the relationships between entities, frequently serving as a tool to depict and simulate numerous systems, such as molecules and social networks. However, real-world graphs usually suffer from the size-imbalanced problem in the multi-graph classification, i.e., a long-tailed distribution with respect to the number of nodes. Recent studies find that off-the-shelf Graph Neural Networks (GNNs) would compromise model performance under the long-tailed settings. We investigate this phenomenon and discover that the long-tailed graph distribution greatly exacerbates the discrepancies in structural features. To alleviate this problem, we propose a novel energy-based size-imbalanced learning framework named \textbf{SIMBA}, which smooths the features between head and tail graphs and re-weights them based on the energy propagation. Specifically, we construct a higher-level graph abstraction named \textit{Graphs-to-Graph} according to the correlations between graphs to link independent graphs and smooths the structural discrepancies. We further devise an energy-based message-passing belief propagation method for re-weighting lower compatible graphs in the training process and further smooth local feature discrepancies. Extensive experimental results over five public size-imbalanced datasets demonstrate the superior effectiveness of the model for size-imbalanced graph classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google