Training-Free Message Passing for Learning on Hypergraphs

要約

ハイパーグラフは、実際のデータの高次相互作用をモデル化するために重要です。
Hypergraph Neural Networks（HNNS）は、メッセージの通過によりこれらの構造を効果的に利用して、ノード分類などのさまざまな下流タスクの有益なノード機能を生成します。
ただし、既存のHNNのメッセージを渡すメッセージには通常、計算集中トレーニングプロセスが必要であり、実用的な使用が制限されます。
この課題に取り組むために、モデル学習段階からのハイパーグラフ構造情報の使用を切り離すことにより、代替アプローチを提案します。
これにより、TF-MPモジュールという名前の新しいトレーニングなしのメッセージパスモジュールにつながります。これは、データの前処理段階で事前に計算できるため、計算負担が軽減されます。
TF-MPモジュールを装備したハイパーグラフニューラルネットワークをTF-HNNと呼びます。
次のことを示すことにより、TF-HNNの効率と有効性を理論的にサポートしています。1）既存のHNNと比較してトレーニング効率が高い。
2）ノード機能生成に既存のHNNと同じように多くの情報を利用します。
3）長距離相互作用を使用しながら、滑走の過剰問題に対して堅牢です。
ノード分類とハイパーリンク予測の7つの現実世界のハイパーグラフベンチマークに基づく実験は、最先端のHNNと比較して、TF-HNNが競争力のあるパフォーマンスと優れたトレーニング効率の両方を示すことを示しています。
具体的には、大規模なベンチマークでは、Trivago、TF-HNNは、ベースラインのトレーニング時間のわずか1％で、最高のベースラインのノード分類精度を10％上回ります。

要約(オリジナル)

Hypergraphs are crucial for modelling higher-order interactions in real-world data. Hypergraph neural networks (HNNs) effectively utilise these structures by message passing to generate informative node features for various downstream tasks like node classification. However, the message passing module in existing HNNs typically requires a computationally intensive training process, which limits their practical use. To tackle this challenge, we propose an alternative approach by decoupling the usage of hypergraph structural information from the model learning stage. This leads to a novel training-free message passing module, named TF-MP-Module, which can be precomputed in the data preprocessing stage, thereby reducing the computational burden. We refer to the hypergraph neural network equipped with our TF-MP-Module as TF-HNN. We theoretically support the efficiency and effectiveness of TF-HNN by showing that: 1) It is more training-efficient compared to existing HNNs; 2) It utilises as much information as existing HNNs for node feature generation; and 3) It is robust against the oversmoothing issue while using long-range interactions. Experiments based on seven real-world hypergraph benchmarks in node classification and hyperlink prediction show that, compared to state-of-the-art HNNs, TF-HNN exhibits both competitive performance and superior training efficiency. Specifically, on the large-scale benchmark, Trivago, TF-HNN outperforms the node classification accuracy of the best baseline by 10% with just 1% of the training time of that baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google