Pre-training Transformers for Knowledge Graph Completion

要約

ナレッジ グラフ (KG) の伝達可能な表現を学習することは、グラフ構造の異種のマルチリレーショナルな性質のために困難です。
テキストの伝達可能な表現の学習における Transformer ベースの事前トレーニング済み言語モデルの成功に触発されて、大規模な事前トレーニングによる KG 完成のための新しい帰納的 KG 表現モデル (iHT) を紹介します。
iHT は、エンティティ エンコーダー (BERT など) と近隣認識リレーショナル スコアリング関数で構成され、どちらもトランスフォーマーによってパラメーター化されます。
最初に、大規模な KG データセット Wikidata5M で iHT を事前トレーニングします。
私たちのアプローチは、一致した評価で新しい最先端の結果を達成し、以前の SOTA モデルよりも平均逆数ランクが 25% 以上向上しています。
エンティティと関係シフトのいずれかを使用して小さな KG でさらに微調整すると、事前トレーニング済みの iHT 表現が転送可能であることが示され、FB15K-237 と WN18RR のパフォーマンスが大幅に向上します。

要約(オリジナル)

Learning transferable representation of knowledge graphs (KGs) is challenging due to the heterogeneous, multi-relational nature of graph structures. Inspired by Transformer-based pretrained language models’ success on learning transferable representation for texts, we introduce a novel inductive KG representation model (iHT) for KG completion by large-scale pre-training. iHT consists of a entity encoder (e.g., BERT) and a neighbor-aware relational scoring function both parameterized by Transformers. We first pre-train iHT on a large KG dataset, Wikidata5M. Our approach achieves new state-of-the-art results on matched evaluations, with a relative improvement of more than 25% in mean reciprocal rank over previous SOTA models. When further fine-tuned on smaller KGs with either entity and relational shifts, pre-trained iHT representations are shown to be transferable, significantly improving the performance on FB15K-237 and WN18RR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google