Better Together: Enhancing Generative Knowledge Graph Completion with Language Models and Neighborhood Information

要約

現実世界のナレッジ グラフ (KG) は不完全性を抱えていることが多く、潜在的なパフォーマンスが制限されます。
Knowledge Graph Completion (KGC) 技術は、この問題に対処することを目的としています。
ただし、従来の KGC 手法は計算量が多く、大規模な KG には非現実的であり、高密度のノードの埋め込みを学習し、ペアごとの距離を計算する必要があります。
生成トランスフォーマーベースの言語モデル (T5 や最近の KGT5 など) は、末尾ノードを直接予測できるため、有望なソリューションを提供します。
この研究では、言語モデルに基づいて KGC 手法を改善するための追加情報としてノード近傍を含めることを提案します。
我々はこの代入の効果を調べ、帰納的および変換的Wikidataサブセットの両方において、我々の方法がKGT5および従来のKGCアプローチよりも優れていることを示します。
また、モデル予測に対する近傍の影響に関する広範な分析も提供し、その重要性を示します。
さらに、より効果的な近隣選択を通じて KGC を大幅に改善する方法を示します。

要約(オリジナル)

Real-world Knowledge Graphs (KGs) often suffer from incompleteness, which limits their potential performance. Knowledge Graph Completion (KGC) techniques aim to address this issue. However, traditional KGC methods are computationally intensive and impractical for large-scale KGs, necessitating the learning of dense node embeddings and computing pairwise distances. Generative transformer-based language models (e.g., T5 and recent KGT5) offer a promising solution as they can predict the tail nodes directly. In this study, we propose to include node neighborhoods as additional information to improve KGC methods based on language models. We examine the effects of this imputation and show that, on both inductive and transductive Wikidata subsets, our method outperforms KGT5 and conventional KGC approaches. We also provide an extensive analysis of the impact of neighborhood on model prediction and show its importance. Furthermore, we point the way to significantly improve KGC through more effective neighborhood selection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google