GTRL: An Entity Group-Aware Temporal Knowledge Graph Representation Learning Method

要約

テンポラル ナレッジ グラフ (TKG) 表現学習は、時間情報を統合することにより、エンティティとイベント タイプを連続的な低次元ベクトル空間に埋め込みます。これは、イベント予測や質問応答などの下流タスクに不可欠です。
既存の手法では、複数のグラフ畳み込み層を積み重ねて、遠く離れたエンティティの影響をモデル化するため、過剰な平滑化の問題が発生します。
この問題を軽減するために、最近の研究では強化学習を導入して、遠く離れたエンティティの影響のモデル化に寄与するパスを取得しています。
ただし、ホップの数が限られているため、これらの研究では、遠く離れたエンティティ、さらには到達不可能なエンティティ間の相関関係を捉えることができません。
この目的のために、我々は、エンティティグループ認識時間知識グラフ表現学習法である GTRL を提案します。
GTRL は、有限数のレイヤーのみを積み重ねることによってエンティティ間の相関関係を捉えるエンティティ グループ モデリングを組み込んだ最初の作品です。
具体的には、学習的な方法でエンティティからエンティティ グループを生成するエンティティ グループ マッパーが提案されています。
エンティティ グループに基づいて、暗黙的な相関エンコーダが導入され、ペアごとのエンティティ グループ間の暗黙的な相関関係が捕捉されます。
さらに、階層型 GCN は、エンティティ グループ グラフおよびエンティティ グラフ上でのメッセージの集約と表現の更新を実現するために利用されます。
最後に、GRU を使用して TKG の時間的依存関係をキャプチャします。
3 つの現実世界のデータセットに対する広範な実験により、GTRL がイベント予測タスクで最先端のパフォーマンスを達成し、MRR で平均 13.44%、9.65%、12.15%、15.12% 最高のベースラインを上回っていることが実証されました。
それぞれヒット@1、ヒット@3、ヒット@10。

要約(オリジナル)

Temporal Knowledge Graph (TKG) representation learning embeds entities and event types into a continuous low-dimensional vector space by integrating the temporal information, which is essential for downstream tasks, e.g., event prediction and question answering. Existing methods stack multiple graph convolution layers to model the influence of distant entities, leading to the over-smoothing problem. To alleviate the problem, recent studies infuse reinforcement learning to obtain paths that contribute to modeling the influence of distant entities. However, due to the limited number of hops, these studies fail to capture the correlation between entities that are far apart and even unreachable. To this end, we propose GTRL, an entity Group-aware Temporal knowledge graph Representation Learning method. GTRL is the first work that incorporates the entity group modeling to capture the correlation between entities by stacking only a finite number of layers. Specifically, the entity group mapper is proposed to generate entity groups from entities in a learning way. Based on entity groups, the implicit correlation encoder is introduced to capture implicit correlations between any pairwise entity groups. In addition, the hierarchical GCNs are exploited to accomplish the message aggregation and representation updating on the entity group graph and the entity graph. Finally, GRUs are employed to capture the temporal dependency in TKGs. Extensive experiments on three real-world datasets demonstrate that GTRL achieves the state-of-the-art performances on the event prediction task, outperforming the best baseline by an average of 13.44%, 9.65%, 12.15%, and 15.12% in MRR, Hits@1, Hits@3, and Hits@10, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google