Relphormer: Relational Graph Transformer for Knowledge Graph Representations

要約

トランスフォーマーは、自然言語処理、コンピューター ビジョン、グラフ マイニングなど、幅広い分野で目覚ましい性能を発揮しています。
ただし、従来の Transformer アーキテクチャでは、並進距離パラダイムがこの領域を支配するナレッジ グラフ (KG) 表現で有望な改善が得られていません。
通常の Transformer アーキテクチャは、ナレッジ グラフの本質的に異質な構造およびセマンティック情報をキャプチャするのに苦労していることに注意してください。
この目的のために、Relphormer と呼ばれる知識グラフ表現用の Transformer の新しいバリアントを提案します。
具体的には、不均一性の問題を軽減するために、コンテキスト化されたサブグラフ シーケンスを入力として動的にサンプリングできる Triple2Seq を導入します。
関係情報をエンコードし、意味情報をエンティティと関係内に保持するための、新しい構造強化自己注意メカニズムを提案します。
さらに、一般的な知識グラフ表現の学習にマスクされた知識モデリングを利用します。これは、知識グラフの完成、質問への回答、レコメンデーションなど、さまざまな KG ベースのタスクに適用できます。
6 つのデータセットでの実験結果は、Relphormer がベースラインよりも優れたパフォーマンスを得ることができることを示しています。
コードは https://github.com/zjunlp/Relphormer で入手できます。

要約(オリジナル)

Transformers have achieved remarkable performance in widespread fields, including natural language processing, computer vision and graph mining. However, vanilla Transformer architectures have not yielded promising improvements in the Knowledge Graph (KG) representations, where the translational distance paradigm dominates this area. Note that vanilla Transformer architectures struggle to capture the intrinsically heterogeneous structural and semantic information of knowledge graphs. To this end, we propose a new variant of Transformer for knowledge graph representations dubbed Relphormer. Specifically, we introduce Triple2Seq which can dynamically sample contextualized sub-graph sequences as the input to alleviate the heterogeneity issue. We propose a novel structure-enhanced self-attention mechanism to encode the relational information and keep the semantic information within entities and relations. Moreover, we utilize masked knowledge modeling for general knowledge graph representation learning, which can be applied to various KG-based tasks including knowledge graph completion, question answering, and recommendation. Experimental results on six datasets show that Relphormer can obtain better performance compared with baselines. Code is available in https://github.com/zjunlp/Relphormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google