To Copy Rather Than Memorize: A Vertical Learning Paradigm for Knowledge Graph Completion

要約

埋め込みモデルは、ナレッジ グラフ補完 (KGC) タスクにおいて大きな威力を発揮します。
これらのメソッドは、トレーニング トリプルごとに構造的制約を学習することで、固有の関係ルールを暗黙的に記憶し、欠落リンクを推測します。
ただし、この論文では、このような暗黙的な記憶戦略に固有の欠陥があるため、マルチホップ関係ルールを確実に記憶するのが難しく、埋め込みモデルが遠く離れたエンティティのペア間のリンクを予測する際のパフォーマンスが低下していると指摘しています。
この問題を軽減するために、より正確な予測のために関連する事実トリプルからターゲット情報を明示的にコピーできるようにすることで埋め込みモデルを拡張する垂直学習パラダイム (VLP) を紹介します。
VLP は暗黙的メモリのみに依存するのではなく、埋め込みモデルの汎化能力を向上させるための追加の手がかりを直接提供し、特に遠隔リンクの予測を大幅に容易にします。
さらに、より効果的な最適化のために、新しい相対距離ベースのネガティブ サンプリング手法 (ReD) も提案します。
実験により、2 つの標準ベンチマークに関する私たちの提案の妥当性と一般性が実証されます。
私たちのコードは https://github.com/rui9812/VLP で入手できます。

要約(オリジナル)

Embedding models have shown great power in knowledge graph completion (KGC) task. By learning structural constraints for each training triple, these methods implicitly memorize intrinsic relation rules to infer missing links. However, this paper points out that the multi-hop relation rules are hard to be reliably memorized due to the inherent deficiencies of such implicit memorization strategy, making embedding models underperform in predicting links between distant entity pairs. To alleviate this problem, we present Vertical Learning Paradigm (VLP), which extends embedding models by allowing to explicitly copy target information from related factual triples for more accurate prediction. Rather than solely relying on the implicit memory, VLP directly provides additional cues to improve the generalization ability of embedding models, especially making the distant link prediction significantly easier. Moreover, we also propose a novel relative distance based negative sampling technique (ReD) for more effective optimization. Experiments demonstrate the validity and generality of our proposals on two standard benchmarks. Our code is available at https://github.com/rui9812/VLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google