How to Turn Your Knowledge Graph Embeddings into Generative Models

要約

リンク予測で最も成功しているナレッジ グラフ エンベディング (KGE) モデル (CP、RESCAL、TuckER、ComplEx) の一部は、エネルギーベースのモデルとして解釈できます。
この観点からすると、正確な最尤推定 (MLE) やサンプリングには適さず、論理制約を統合するのに苦労します。
この研究は、これらの KGE のスコア関数を回路、つまり効率的な周縁化を可能にする制約付きの計算グラフとして再解釈します。
次に、活性化を非負に制限するか出力を二乗することにより、効率的な生成回路モデルを取得する 2 つのレシピを設計します。
私たちの解釈では、リンク予測のパフォーマンスはほとんどまたはまったく低下しませんが、回路フレームワークは MLE による正確な学習、新しいトリプルの効率的なサンプリングを可能にし、論理制約が設計によって満たされることを保証します。
さらに、私たちのモデルは、数百万のエンティティを含むグラフ上で、元の KGE よりも適切にスケーリングします。

要約(オリジナル)

Some of the most successful knowledge graph embedding (KGE) models for link prediction — CP, RESCAL, TuckER, ComplEx — can be interpreted as energy-based models. Under this perspective they are not amenable for exact maximum-likelihood estimation (MLE), sampling and struggle to integrate logical constraints. This work re-interprets the score functions of these KGEs as circuits — constrained computational graphs allowing efficient marginalisation. Then, we design two recipes to obtain efficient generative circuit models by either restricting their activations to be non-negative or squaring their outputs. Our interpretation comes with little or no loss of performance for link prediction, while the circuits framework unlocks exact learning by MLE, efficient sampling of new triples, and guarantee that logical constraints are satisfied by design. Furthermore, our models scale more gracefully than the original KGEs on graphs with millions of entities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google