ECOLA: Enhanced Temporal Knowledge Embeddings with Contextualized Language Representations

要約

【タイトル】ECOLA：文脈化言語表現を用いた時間的知識埋め込みの拡張

【要約】

– 従来の知識埋め込みモデルは豊富なテキスト情報を活用できないため、テキストを利用して知識埋め込みを強化する研究が広く行われている。
– しかし、既存の強化手法は、複雑な時間的ダイナミクスを持つ時間依存のイベント知識を含む時間的知識グラフ（tKG）に適用できない。
– 具体的に、既存の手法は知識埋め込みが時間に依存しないことを前提としているが、tKGモデルにおけるエンティティ埋め込みは通常進化するため、時系列的に関連するテキストをエンティティに対応させることが課題である。
– このため、本研究では、テキストデータを用いた時間的知識埋め込みの強化について研究することを提案する。
– このタスクに対するアプローチとして、時間的側面を考慮し、テキスト情報を時間的知識埋め込みに注入するEnhanced Temporal Knowledge Embeddings with Contextualized Language Representations（ECOLA）を提案する。
– ECOLAを評価するために、3つの新しいデータセットを導入して評価を行った。
– 広範な実験の結果、ECOLAはリンク予測タスクにおいて、Hits@1に関して最大287%の相対的改善をもたらすことが示された。
– コードとモデルは https://anonymous.4open.science/r/ECOLA で公開されている。

要約(オリジナル)

Since conventional knowledge embedding models cannot take full advantage of the abundant textual information, there have been extensive research efforts in enhancing knowledge embedding using texts. However, existing enhancement approaches cannot apply to temporal knowledge graphs (tKGs), which contain time-dependent event knowledge with complex temporal dynamics. Specifically, existing enhancement approaches often assume knowledge embedding is time-independent. In contrast, the entity embedding in tKG models usually evolves, which poses the challenge of aligning temporally relevant texts with entities. To this end, we propose to study enhancing temporal knowledge embedding with textual data in this paper. As an approach to this task, we propose Enhanced Temporal Knowledge Embeddings with Contextualized Language Representations (ECOLA), which takes the temporal aspect into account and injects textual information into temporal knowledge embedding. To evaluate ECOLA, we introduce three new datasets for training and evaluating ECOLA. Extensive experiments show that ECOLA significantly enhances temporal KG embedding models with up to 287% relative improvements regarding Hits@1 on the link prediction task. The code and models are publicly available on https://anonymous.4open.science/r/ECOLA.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI