Confidence-aware Self-Semantic Distillation on Knowledge Graph Embedding

要約

エンティティと関係を連続ベクトル空間に投影するナレッジ グラフ エンベディング (KGE) は、大きな注目を集めています。
高次元 KGE メソッドはより優れたパフォーマンスを提供しますが、大幅な計算とメモリのオーバーヘッドが犠牲になります。
埋め込み次元を小さくすると、モデルのパフォーマンスが大幅に低下します。
最近のいくつかの取り組みでは、知識蒸留または非ユークリッド表現学習を利用して低次元 KGE の有効性を高めていますが、事前にトレーニングされた高次元教師モデルが必要になるか、複雑な非ユークリッド演算が必要となるため、かなりの追加の計算コストが発生します。
これに対処するために、この研究では、モデル自体から学習して低次元空間で KGE を強化する、自信を意識した自己知識蒸留 (CSD) を提案します。
具体的には、CSD は前の反復での埋め込みから知識を抽出します。これは、次の反復でのモデルの学習を監視するために利用されます。
さらに、以前に学習した埋め込みの信頼性を推定することにより、信頼できる知識をフィルタリングするための特定のセマンティック モジュールが開発されています。
この簡単な戦略により、時間のかかる教師モデルの事前トレーニングの必要性が回避され、さまざまな KGE メソッドに統合してパフォーマンスを向上させることができます。
6 つの KGE バックボーンと 4 つのデータセットに関する私たちの包括的な実験は、提案されている CSD の有効性を強調しています。

要約(オリジナル)

Knowledge Graph Embedding (KGE), which projects entities and relations into continuous vector spaces, has garnered significant attention. Although high-dimensional KGE methods offer better performance, they come at the expense of significant computation and memory overheads. Decreasing embedding dimensions significantly deteriorates model performance. While several recent efforts utilize knowledge distillation or non-Euclidean representation learning to augment the effectiveness of low-dimensional KGE, they either necessitate a pre-trained high-dimensional teacher model or involve complex non-Euclidean operations, thereby incurring considerable additional computational costs. To address this, this work proposes Confidence-aware Self-Knowledge Distillation (CSD) that learns from the model itself to enhance KGE in a low-dimensional space. Specifically, CSD extracts knowledge from embeddings in previous iterations, which would be utilized to supervise the learning of the model in the next iterations. Moreover, a specific semantic module is developed to filter reliable knowledge by estimating the confidence of previously learned embeddings. This straightforward strategy bypasses the need for time-consuming pre-training of teacher models and can be integrated into various KGE methods to improve their performance. Our comprehensive experiments on six KGE backbones and four datasets underscore the effectiveness of the proposed CSD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google