A Survey on Structure-Preserving Graph Transformers

要約

トランスフォーマー アーキテクチャは、自然言語処理やコンピューター ビジョンなどのさまざまな分野で目覚ましい成功を収めています。
グラフ学習に関しては、トランスフォーマーはノードのペア間の相互作用をキャプチャするだけでなく、それらの間の基礎的な関係と近接性を意味するグラフ構造を保存することも必要であり、さまざまなグラフ構造をキャプチャする表現力を示します。
したがって、さまざまな構造保存グラフ変換器が提案され、バイオインフォマティクスやケモインフォマティクスにおけるグラフレベルのタスクなど、さまざまなタスクに広く使用されています。
ただし、グラフ構造の保存に関連する戦略は、文献で十分に整理および体系化されていません。
このペーパーでは、構造を保持するグラフ トランスフォーマーの包括的な概要を提供し、設計目的の観点からこれらの方法を一般化します。
まず、戦略を 4 つの主要なグループ (ノード機能変調、コンテキスト ノード サンプリング、グラフ書き換え、トランスフォーマー アーキテクチャの改善) に分割します。
次に、グラフ構造の保存の対象範囲と目標に応じて戦略をさらに分割します。
さらに、グラフ構造を保存し、グラフの性質を理解するためのグラフ トランスフォーマー モデルの課題と将来の方向性についても説明します。

要約(オリジナル)

The transformer architecture has shown remarkable success in various domains, such as natural language processing and computer vision. When it comes to graph learning, transformers are required not only to capture the interactions between pairs of nodes but also to preserve graph structures connoting the underlying relations and proximity between them, showing the expressive power to capture different graph structures. Accordingly, various structure-preserving graph transformers have been proposed and widely used for various tasks, such as graph-level tasks in bioinformatics and chemoinformatics. However, strategies related to graph structure preservation have not been well organized and systematized in the literature. In this paper, we provide a comprehensive overview of structure-preserving graph transformers and generalize these methods from the perspective of their design objective. First, we divide strategies into four main groups: node feature modulation, context node sampling, graph rewriting, and transformer architecture improvements. We then further divide the strategies according to the coverage and goals of graph structure preservation. Furthermore, we also discuss challenges and future directions for graph transformer models to preserve the graph structure and understand the nature of graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google