From Wide to Deep: Dimension Lifting Network for Parameter-efficient Knowledge Graph Embedding

要約

エンティティと関係をベクトル表現にマッピングするナレッジ グラフ エンベディング (KGE) は、下流のタスクには不可欠です。
従来の KGE 手法では、ナレッジ グラフの構造情報を保存するために比較的高次元のエンティティ表現が必要ですが、モデル パラメータが過大になってしまいます。
最近の方法では、低次元のエンティティ表現を採用することでモデルのパラメータを削減し、同時に削減された次元を補う技術 (知識の蒸留など) を開発しています。
ただし、このような操作ではモデルの精度が低下し、モデル パラメーターの削減が制限されます。
具体的には、すべてのエンティティ表現の連結を埋め込み層として捉え、表現力を得るために埋め込み層の幅を拡大することに等しい高次元エンティティ表現を採用する従来の KGE 手法を採用します。
精度を犠牲にすることなくパラメータ効率を達成するために、代わりに深さを増やし、エンティティ表現のためのより深い埋め込みネットワーク、つまり狭い埋め込み層と多層次元リフティング ネットワーク (LiftNet) を提案します。
3 つの公開データセットでの実験では、4 次元エンティティ表現を使用した提案手法 (TransE および DistMult に基づいて実装) が、512 次元の TransE および DistMult を含む、対応するパラメータ効率の高い KGE 手法や強力な KGE ベースラインよりも正確なリンク予測結果を達成できることが示されています。
エンティティ表現。

要約(オリジナル)

Knowledge graph embedding (KGE) that maps entities and relations into vector representations is essential for downstream tasks. Conventional KGE methods require relatively high-dimensional entity representations to preserve the structural information of knowledge graph, but lead to oversized model parameters. Recent methods reduce model parameters by adopting low-dimensional entity representations, while developing techniques (e.g., knowledge distillation) to compensate for the reduced dimension. However, such operations produce degraded model accuracy and limited reduction of model parameters. Specifically, we view the concatenation of all entity representations as an embedding layer, and then conventional KGE methods that adopt high-dimensional entity representations equal to enlarging the width of the embedding layer to gain expressiveness. To achieve parameter efficiency without sacrificing accuracy, we instead increase the depth and propose a deeper embedding network for entity representations, i.e., a narrow embedding layer and a multi-layer dimension lifting network (LiftNet). Experiments on three public datasets show that the proposed method (implemented based on TransE and DistMult) with 4-dimensional entity representations achieves more accurate link prediction results than counterpart parameter-efficient KGE methods and strong KGE baselines, including TransE and DistMult with 512-dimensional entity representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google