Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning

要約

現実世界のグラフは、当然のことながら、典型的なユークリッド空間には適さない階層構造または循環構造を示します。
双曲空間または球面空間を活用して、そのような構造を埋め込む表現をより正確に学習するグラフ ニューラル ネットワークは存在しますが、これらの方法はメッセージ パッシング パラダイムの下に限定されているため、モデルは過度の平滑化や過剰潰しなどの副作用に対して脆弱になります。
最近の研究では、長距離相互作用を簡単にモデル化できるグローバル アテンション ベースのグラフ トランスフォーマーが提案されていますが、非ユークリッド幾何学への拡張はまだ調査されていません。
このギャップを埋めるために、我々は完全積ステレオグラフィックトランスフォーマーを提案します。これは、完全に一定の曲率空間の積で動作するトランスフォーマーの一般化です。
トークン化されたグラフ Transformers と組み合わせると、モデルは、さまざまな曲率の初期化で追加の調整を行うことなく、入力グラフに適切な曲率をエンドツーエンドの方法で学習できます。
また、非ユークリッド アテンションに対するカーネル化されたアプローチも提供します。これにより、基になるジオメトリを尊重しながら、ノードとエッジの数に線形な時間とメモリ コストでモデルを実行できるようになります。
グラフの再構成とノード分類に関する実験は、トランスフォーマーを非ユークリッド領域に一般化する利点を示しています。

要約(オリジナル)

Real-world graphs naturally exhibit hierarchical or cyclical structures that are unfit for the typical Euclidean space. While there exist graph neural networks that leverage hyperbolic or spherical spaces to learn representations that embed such structures more accurately, these methods are confined under the message-passing paradigm, making the models vulnerable against side-effects such as oversmoothing and oversquashing. More recent work have proposed global attention-based graph Transformers that can easily model long-range interactions, but their extensions towards non-Euclidean geometry are yet unexplored. To bridge this gap, we propose Fully Product-Stereographic Transformer, a generalization of Transformers towards operating entirely on the product of constant curvature spaces. When combined with tokenized graph Transformers, our model can learn the curvature appropriate for the input graph in an end-to-end fashion, without the need of additional tuning on different curvature initializations. We also provide a kernelized approach to non-Euclidean attention, which enables our model to run in time and memory cost linear to the number of nodes and edges while respecting the underlying geometry. Experiments on graph reconstruction and node classification demonstrate the benefits of generalizing Transformers to the non-Euclidean domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google