Towards Continual Knowledge Graph Embedding via Incremental Distillation

要約

従来のナレッジ グラフ エンベディング (KGE) 手法では、通常、新しいナレッジが出現したときに、多大なトレーニング コストをかけてナレッジ グラフ (KG) 全体を保存する必要があります。
この問題に対処するために、適切な古い知識を同時に保存しながら、新たな知識を効率的に学習することで KGE モデルをトレーニングする継続的知識グラフ埋め込み (CKGE) タスクが提案されています。
ただし、上記の目標にとって重要な KG の明示的なグラフ構造は、既存の CKGE 手法では大幅に無視されてきました。
一方で、既存のメソッドは通常、新しいトリプルをランダムな順序で学習し、新しい KG の内部構造を破壊します。
一方、古いトリプルは同じ優先順位で保存されるため、致命的な忘却を効果的に軽減できません。
この論文では、KG の明示的なグラフ構造の完全な使用を考慮した、増分蒸留 (IncDE) に基づく CKGE の競合手法を提案します。
まず、学習順序を最適化するために、レイヤーごとの学習のために新しいトリプルをランク付けする階層戦略を導入します。
階層間順序と階層内順序を併用することにより、新しいトリプルはグラフ構造の特徴に基づいてレイヤーにグループ化されます。
次に、古い知識を効果的に保存するために、新しい増分蒸留メカニズムを考案します。これにより、前の層から次の層へのエンティティ表現のシームレスな転送が容易になり、古い知識の保存が促進されます。
最後に、トレーニングが不十分な新しい知識によって古い知識が過度に破壊されるのを避けるために、2 段階のトレーニング パラダイムを採用します。
実験結果は、IncDE が最先端のベースラインよりも優れていることを示しています。
特に、増分蒸留メカニズムは、平均相互ランク (MRR) スコアの 0.2% ～ 6.5% の向上に貢献しています。

要約(オリジナル)

Traditional knowledge graph embedding (KGE) methods typically require preserving the entire knowledge graph (KG) with significant training costs when new knowledge emerges. To address this issue, the continual knowledge graph embedding (CKGE) task has been proposed to train the KGE model by learning emerging knowledge efficiently while simultaneously preserving decent old knowledge. However, the explicit graph structure in KGs, which is critical for the above goal, has been heavily ignored by existing CKGE methods. On the one hand, existing methods usually learn new triples in a random order, destroying the inner structure of new KGs. On the other hand, old triples are preserved with equal priority, failing to alleviate catastrophic forgetting effectively. In this paper, we propose a competitive method for CKGE based on incremental distillation (IncDE), which considers the full use of the explicit graph structure in KGs. First, to optimize the learning order, we introduce a hierarchical strategy, ranking new triples for layer-by-layer learning. By employing the inter- and intra-hierarchical orders together, new triples are grouped into layers based on the graph structure features. Secondly, to preserve the old knowledge effectively, we devise a novel incremental distillation mechanism, which facilitates the seamless transfer of entity representations from the previous layer to the next one, promoting old knowledge preservation. Finally, we adopt a two-stage training paradigm to avoid the over-corruption of old knowledge influenced by under-trained new knowledge. Experimental results demonstrate the superiority of IncDE over state-of-the-art baselines. Notably, the incremental distillation mechanism contributes to improvements of 0.2%-6.5% in the mean reciprocal rank (MRR) score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google