KnowFormer: Revisiting Transformers for Knowledge Graph Reasoning

要約

ナレッジ グラフ推論はさまざまなアプリケーションで重要な役割を果たしており、大きな注目を集めています。
最近、パスベースの手法は目覚ましいパフォーマンスを達成しています。
ただし、パスの欠落や情報の過剰な圧縮など、メッセージパッシング ニューラル ネットワークの制約に起因する制限に直面する可能性があります。
この論文では、パスベースの手法が直面する制約に対処するためにナレッジ グラフ推論のためのトランスフォーマーのアプリケーションを再検討し、新しい手法 KnowFormer を提案します。
KnowFormer は、トランスフォーマー アーキテクチャを利用して、以前の事前トレーニング済み言語モデル ベースのメソッドのようなテキスト情報による推論ではなく、メッセージ パッシングの観点からナレッジ グラフの推論を実行します。
具体的には、ナレッジ グラフ推論のクエリ プロトタイプに基づいてアテンションの計算を定義し、便利な構築と効率的な最適化を促進します。
構造情報をセルフ アテンション メカニズムに組み込むために、クエリ、キー、値をそれぞれ計算する構造認識モジュールを導入します。
さらに、スケーラビリティを向上させるための効率的なアテンション計算方法を紹介します。
実験結果は、変換ベンチマークと帰納ベンチマークの両方において、著名なベースライン手法と比較して、KnowFormer のパフォーマンスが優れていることを示しています。

要約(オリジナル)

Knowledge graph reasoning plays a vital role in various applications and has garnered considerable attention. Recently, path-based methods have achieved impressive performance. However, they may face limitations stemming from constraints in message-passing neural networks, such as missing paths and information over-squashing. In this paper, we revisit the application of transformers for knowledge graph reasoning to address the constraints faced by path-based methods and propose a novel method KnowFormer. KnowFormer utilizes a transformer architecture to perform reasoning on knowledge graphs from the message-passing perspective, rather than reasoning by textual information like previous pretrained language model based methods. Specifically, we define the attention computation based on the query prototype of knowledge graph reasoning, facilitating convenient construction and efficient optimization. To incorporate structural information into the self-attention mechanism, we introduce structure-aware modules to calculate query, key, and value respectively. Additionally, we present an efficient attention computation method for better scalability. Experimental results demonstrate the superior performance of KnowFormer compared to prominent baseline methods on both transductive and inductive benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google