Enhancing the Utility of Higher-Order Information in Relational Learning

要約

関係は、関係がペアワイズの相互作用を超えて及ぶ多くのドメインでのリレーショナル学習にとって重要です。
ハイパーグラフは、そのような関係をモデル化するための自然なフレームワークを提供します。これにより、グラフニューラルネットワークアーキテクチャの最近の拡張がハイパーグラフに動機付けられています。
ただし、ハイパーグラフアーキテクチャと標準のグラフレベルモデルの比較は限られたままです。
この作業では、ハイパーグラフレベルとグラフレベルのアーキテクチャの選択を体系的に評価して、リレーショナル学習における高次情報を活用する際の有効性を判断します。
私たちの結果は、ハイパーグラフの拡張に適用されるグラフレベルのアーキテクチャが、ハイパーグラフとして自然にパラメーター化された入力でさえ、ハイパーグラフレベルの拡張を上回ることが多いことを示しています。
高次情報を活用するための代替アプローチとして、古典的なハイパーグラフ特性に基づいてハイパーグラフレベルのエンコーディングを提案します。
これらのエンコードはハイパーグラフアーキテクチャを大幅に改善しませんが、グラフレベルのモデルと組み合わせると、かなりのパフォーマンスの向上が得られます。
私たちの理論分析は、ハイパーグラフレベルのエンコーディングが、グラフレベルのカウンターパートを超えてメッセージ通過グラフニューラルネットワークの表現力を証明することを証明することを示しています。

要約(オリジナル)

Higher-order information is crucial for relational learning in many domains where relationships extend beyond pairwise interactions. Hypergraphs provide a natural framework for modeling such relationships, which has motivated recent extensions of graph neural net- work architectures to hypergraphs. However, comparisons between hypergraph architectures and standard graph-level models remain limited. In this work, we systematically evaluate a selection of hypergraph-level and graph-level architectures, to determine their effectiveness in leveraging higher-order information in relational learning. Our results show that graph-level architectures applied to hypergraph expansions often outperform hypergraph- level ones, even on inputs that are naturally parametrized as hypergraphs. As an alternative approach for leveraging higher-order information, we propose hypergraph-level encodings based on classical hypergraph characteristics. While these encodings do not significantly improve hypergraph architectures, they yield substantial performance gains when combined with graph-level models. Our theoretical analysis shows that hypergraph-level encodings provably increase the representational power of message-passing graph neural networks beyond that of their graph-level counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google