Mutually-paced Knowledge Distillation for Cross-lingual Temporal Knowledge Graph Reasoning

要約

この論文では、高リソース言語の TKG から知識を転送することにより、低リソース言語の時間知識グラフ (TKG) の推論を容易にすることを目的としたクロスリンガル時間ナレッジ グラフ推論問題を調査します。
特にリソースの少ない言語では、これらの非常に不完全な TKG に対する既存の推論方法の満足のいくパフォーマンスに照らして、TKG 間のクロスリンガル蒸留能力はますます重要になっています。
しかし、それは 2 つの側面で大きな課題をもたらします。
第 1 に、知識伝達の架け橋として機能するクロスリンガル アラインメントは通常、2 つの TKG 間で十分な知識を伝達するには不足しています。
第二に、整列されたエンティティの一時的な知識の不一致は、特に整列が信頼できない場合、知識の抽出プロセスを誤解させる可能性があります。
それに応じて、ソース TKG でトレーニングされた教師ネットワークが、アライメント モジュールを使用してターゲット TKG で学生ネットワークのトレーニングをガイドできる相互ペースの知識蒸留モデル MP-KD を提案します。
具体的には、希少性の問題に対処するために、MP-KD は、表現モジュールによって抽出された時間情報に基づいて、TKG 間の疑似アライメントを生成します。
知識伝達の有効性を最大化し、一時的な知識の不一致によって引き起こされるノイズを制御するために、一時的な言語間注意メカニズムを使用して MP-KD を強化し、アラインメント強度を動的に推定します。
2 つの手順は、モデルのトレーニングと共に相互に調整されます。
EventKG ベンチマークでの 12 のクロスリンガル TKG 転送タスクに関する広範な実験は、提案された MP-KD 法の有効性を示しています。

要約(オリジナル)

This paper investigates cross-lingual temporal knowledge graph reasoning problem, which aims to facilitate reasoning on Temporal Knowledge Graphs (TKGs) in low-resource languages by transfering knowledge from TKGs in high-resource ones. The cross-lingual distillation ability across TKGs becomes increasingly crucial, in light of the unsatisfying performance of existing reasoning methods on those severely incomplete TKGs, especially in low-resource languages. However, it poses tremendous challenges in two aspects. First, the cross-lingual alignments, which serve as bridges for knowledge transfer, are usually too scarce to transfer sufficient knowledge between two TKGs. Second, temporal knowledge discrepancy of the aligned entities, especially when alignments are unreliable, can mislead the knowledge distillation process. We correspondingly propose a mutually-paced knowledge distillation model MP-KD, where a teacher network trained on a source TKG can guide the training of a student network on target TKGs with an alignment module. Concretely, to deal with the scarcity issue, MP-KD generates pseudo alignments between TKGs based on the temporal information extracted by our representation module. To maximize the efficacy of knowledge transfer and control the noise caused by the temporal knowledge discrepancy, we enhance MP-KD with a temporal cross-lingual attention mechanism to dynamically estimate the alignment strength. The two procedures are mutually paced along with model training. Extensive experiments on twelve cross-lingual TKG transfer tasks in the EventKG benchmark demonstrate the effectiveness of the proposed MP-KD method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google