Attending to Graph Transformers

要約

最近、グラフ用のトランスフォーマー アーキテクチャが、(メッセージ パッシング) グラフ ニューラル ネットワークなど、グラフを使用した機械学習の確立された手法の代替として登場しました。
これまでのところ、彼らは分子予測データセットなどで有望な経験的結果を示しており、多くの場合、過度の平滑化や過剰な潰しなどのグラフ ニューラル ネットワークの欠点を回避する能力に起因すると考えられています。
ここでは、グラフ トランスフォーマー アーキテクチャの分類を導き出し、この新興分野に一定の秩序をもたらします。
それらの理論的特性を概説し、構造および位置エンコーディングを調査し、重要なグラフ クラス (3D 分子グラフなど) の拡張について議論します。
私たちは、グラフ トランスフォーマーがさまざまなグラフのプロパティをどの程度うまく回復できるか、異好性グラフをどの程度うまく処理できるか、過度の潰しをどの程度防ぐことができるかを経験的に調査します。
さらに、将来の研究を促進するための未解決の課題と研究の方向性について概説します。
私たちのコードは https://github.com/luis-mueller/probing-graph-transformers で入手できます。

要約(オリジナル)

Recently, transformer architectures for graphs emerged as an alternative to established techniques for machine learning with graphs, such as (message-passing) graph neural networks. So far, they have shown promising empirical results, e.g., on molecular prediction datasets, often attributed to their ability to circumvent graph neural networks’ shortcomings, such as over-smoothing and over-squashing. Here, we derive a taxonomy of graph transformer architectures, bringing some order to this emerging field. We overview their theoretical properties, survey structural and positional encodings, and discuss extensions for important graph classes, e.g., 3D molecular graphs. Empirically, we probe how well graph transformers can recover various graph properties, how well they can deal with heterophilic graphs, and to what extent they prevent over-squashing. Further, we outline open challenges and research direction to stimulate future work. Our code is available at https://github.com/luis-mueller/probing-graph-transformers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google