Relphormer: Relational Graph Transformer for Knowledge Graph Representations

要約

トランスフォーマーは、自然言語処理、コンピューター ビジョン、グラフ マイニングなどの広範な分野で目覚ましいパフォーマンスを達成しています。
ただし、バニラの Transformer アーキテクチャでは、並進距離パラダイムがこの領域を支配しているナレッジ グラフ (KG) 表現において期待できる改善が得られていません。
標準的な Transformer アーキテクチャは、ナレッジ グラフの本質的に異質な構造情報と意味情報を取得するのに苦労していることに注意してください。
この目的を達成するために、我々は、Relphormer と呼ばれるナレッジ グラフ表現用の Transformer の新しいバリアントを提案します。
具体的には、不均一性の問題を軽減するために、コンテキスト化されたサブグラフ シーケンスを入力として動的にサンプリングできる Triple2Seq を導入します。
我々は、関係情報をエンコードし、エンティティと関係内に意味情報を保持するための、新しい構造強化型自己注意メカニズムを提案します。
さらに、一般的な知識グラフ表現の学習にマスクされた知識モデリングを利用します。これは、知識グラフの完成、質問応答、推奨などのさまざまな KG ベースのタスクに適用できます。
6 つのデータセットに関する実験結果は、Relphormer がベースラインと比較して優れたパフォーマンスを得ることができることを示しています。
コードは https://github.com/zjunlp/Relphormer で入手できます。

要約(オリジナル)

Transformers have achieved remarkable performance in widespread fields, including natural language processing, computer vision and graph mining. However, vanilla Transformer architectures have not yielded promising improvements in the Knowledge Graph (KG) representations, where the translational distance paradigm dominates this area. Note that vanilla Transformer architectures struggle to capture the intrinsically heterogeneous structural and semantic information of knowledge graphs. To this end, we propose a new variant of Transformer for knowledge graph representations dubbed Relphormer. Specifically, we introduce Triple2Seq which can dynamically sample contextualized sub-graph sequences as the input to alleviate the heterogeneity issue. We propose a novel structure-enhanced self-attention mechanism to encode the relational information and keep the semantic information within entities and relations. Moreover, we utilize masked knowledge modeling for general knowledge graph representation learning, which can be applied to various KG-based tasks including knowledge graph completion, question answering, and recommendation. Experimental results on six datasets show that Relphormer can obtain better performance compared with baselines. Code is available in https://github.com/zjunlp/Relphormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google