From Wide to Deep: Dimension Lifting Network for Parameter-efficient Knowledge Graph Embedding

要約

実体と関係をベクトル表現にマッピングする知識グラフ埋め込み(KGE)は、下流のアプリケーションに不可欠である。従来のKGE手法は、知識グラフの複雑な構造を学習するために高次元表現を必要とするが、モデルパラメータが肥大化する。最近の進歩は、低次元のエンティティ表現によってパラメータを削減する一方、削減された次元を補う技術（知識蒸留や表現形式の再発明など）を開発している。しかし、このような操作は、複雑な計算とモデル設計を導入することになり、大規模な知識グラフに利益をもたらさない可能性がある。従来のKGEモデルのパラメータ効率を向上させる単純な戦略を模索するために、我々は、より深いニューラルネットワークが、構成構造のためのより広いネットワークに匹敵する表現力を達成するために、指数関数的に少ないパラメータを必要とすることからヒントを得る。我々は、すべての実体表現を1層の埋め込みネットワークとみなしており、高次元の実体表現を採用する従来のKGE手法は、表現力を得るために埋め込みネットワークを広げることに等しい。パラメータ効率を達成するために、我々は代わりに、より深い埋め込みネットワーク、すなわち、狭いエンティティ埋め込み層＋多層次元リフティングネットワーク（LiftNet）をエンティティ表現に提案する。3つの公開データセットを用いた実験により、LiftNetを統合することで、16次元表現を用いた従来の4つのKGE手法は、512次元表現を用いたオリジナルモデルと同等のリンク予測精度を達成し、68.4%から96.9%のパラメータを節約できることが示された。

要約(オリジナル)

Knowledge graph embedding (KGE) that maps entities and relations into vector representations is essential for downstream applications. Conventional KGE methods require high-dimensional representations to learn the complex structure of knowledge graph, but lead to oversized model parameters. Recent advances reduce parameters by low-dimensional entity representations, while developing techniques (e.g., knowledge distillation or reinvented representation forms) to compensate for reduced dimension. However, such operations introduce complicated computations and model designs that may not benefit large knowledge graphs. To seek a simple strategy to improve the parameter efficiency of conventional KGE models, we take inspiration from that deeper neural networks require exponentially fewer parameters to achieve expressiveness comparable to wider networks for compositional structures. We view all entity representations as a single-layer embedding network, and conventional KGE methods that adopt high-dimensional entity representations equal widening the embedding network to gain expressiveness. To achieve parameter efficiency, we instead propose a deeper embedding network for entity representations, i.e., a narrow entity embedding layer plus a multi-layer dimension lifting network (LiftNet). Experiments on three public datasets show that by integrating LiftNet, four conventional KGE methods with 16-dimensional representations achieve comparable link prediction accuracy as original models that adopt 512-dimensional representations, saving 68.4% to 96.9% parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL