Hypergraph-MLP: Learning on Hypergraphs without Message Passing

要約

ハイパーグラフは、3 つ以上のエンティティを含む高次の関係を持つデータをモデル化する場合に不可欠であり、機械学習や信号処理で重要視されています。
多くのハイパーグラフ ニューラル ネットワークは、ハイパーグラフ構造を介したメッセージ パッシングを利用してノード表現の学習を強化し、ハイパーグラフ ノード分類などのタスクで優れたパフォーマンスをもたらします。
ただし、これらのメッセージ パッシング ベースのモデルは、過度の平滑化、待ち時間の多さ、推論時の構造的摂動に対する敏感さなど、いくつかの課題に直面しています。
これらの課題に取り組むために、明示的なメッセージ受け渡しを行わずにハイパーグラフ構造に関する情報をトレーニング監視に統合し、推論時の依存性も取り除くという代替アプローチを提案します。
具体的には、ハイパーグラフ構造データ用の新しい学習フレームワークである Hypergraph-MLP を紹介します。この学習モデルは、ハイパーグラフ上の信号の平滑性の概念に基づく損失関数によって監視される直接的な多層パーセプトロン (MLP) です。
ハイパーグラフ ノード分類タスクの実験では、ハイパーグラフ MLP が既存のベースラインと比較して競争力のあるパフォーマンスを達成し、推論時の構造的摂動に対して大幅に高速かつ堅牢であることが実証されました。

要約(オリジナル)

Hypergraphs are vital in modelling data with higher-order relations containing more than two entities, gaining prominence in machine learning and signal processing. Many hypergraph neural networks leverage message passing over hypergraph structures to enhance node representation learning, yielding impressive performances in tasks like hypergraph node classification. However, these message-passing-based models face several challenges, including oversmoothing as well as high latency and sensitivity to structural perturbations at inference time. To tackle those challenges, we propose an alternative approach where we integrate the information about hypergraph structures into training supervision without explicit message passing, thus also removing the reliance on it at inference. Specifically, we introduce Hypergraph-MLP, a novel learning framework for hypergraph-structured data, where the learning model is a straightforward multilayer perceptron (MLP) supervised by a loss function based on a notion of signal smoothness on hypergraphs. Experiments on hypergraph node classification tasks demonstrate that Hypergraph-MLP achieves competitive performance compared to existing baselines, and is considerably faster and more robust against structural perturbations at inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google