Lifelong Embedding Learning and Transfer for Growing Knowledge Graphs

要約

タイトル：知識グラフの成長に対する生涯埋め込み学習と転移

要約：
– 現存する知識グラフ(embedding)モデルは主に静的な知識グラフに焦点を当てている。
– しかし、現実の知識グラフは静的にとどまることなく、知識グラフアプリケーションの開発と共に進化・成長する。
– 新たな事実や以前に見たことのないエンティティや関係が継続的に出現するため、埋め込みモデルは急速に新しい知識を学習・転移できる必要がある。
– この問題に対処するため、本論文では知識グラフ埋め込み学習の新しい形、すなわち生涯埋め込み学習について探求している。
– KGの成長を踏まえて、学習した知識をスナップショットから転送/蓄積するモデルを提案する。
– 提案モデルには、クエリのためのマスクKGオートエンコーダ、学習済みの知識を新しいエンティティと関係の埋め込みに注入するための埋め込み転送戦略、そして過去の知識と新しい知識のバランスをとるための埋め込み正則化方法が含まれる。
– 4つのデータセットを構築し、生涯埋め込み学習のパフォーマンスを評価した。
– 実験結果は、提案モデルが、既存の導入型および生涯埋め込みベースラインよりも優れていることを示している。

要約(オリジナル)

Existing knowledge graph (KG) embedding models have primarily focused on static KGs. However, real-world KGs do not remain static, but rather evolve and grow in tandem with the development of KG applications. Consequently, new facts and previously unseen entities and relations continually emerge, necessitating an embedding model that can quickly learn and transfer new knowledge through growth. Motivated by this, we delve into an expanding field of KG embedding in this paper, i.e., lifelong KG embedding. We consider knowledge transfer and retention of the learning on growing snapshots of a KG without having to learn embeddings from scratch. The proposed model includes a masked KG autoencoder for embedding learning and update, with an embedding transfer strategy to inject the learned knowledge into the new entity and relation embeddings, and an embedding regularization method to avoid catastrophic forgetting. To investigate the impacts of different aspects of KG growth, we construct four datasets to evaluate the performance of lifelong KG embedding. Experimental results show that the proposed model outperforms the state-of-the-art inductive and lifelong embedding baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI