GTRL: An Entity Group-Aware Temporal Knowledge Graph Representation Learning Method

要約

テンポラル ナレッジ グラフ (TKG) 表現学習は、イベント予測や質問応答などのダウンストリーム タスクに不可欠な時間情報を統合することにより、エンティティとイベント タイプを連続した低次元ベクトル空間に埋め込みます。
既存の方法では、複数のグラフ畳み込みレイヤーを積み重ねて、離れたエンティティの影響をモデル化し、過剰な平滑化の問題を引き起こします。
この問題を軽減するために、最近の研究では強化学習を取り入れて、離れたエンティティの影響のモデル化に寄与するパスを取得しています。
ただし、ホップの数が限られているため、これらの調査では、遠く離れていて到達できないエンティティ間の相関関係を捉えることができません。
この目的のために、GTRL を提案します。GTRL は、エンティティ グループを意識した時間的知識グラフ表現学習法です。
GTRL は、エンティティ グループ モデリングを取り入れ、有限数のレイヤーのみを積み重ねることでエンティティ間の相関関係を捉えた最初の作品です。
具体的には、学習方法でエンティティからエンティティ グループを生成するエンティティ グループ マッパーが提案されています。
エンティティ グループに基づいて、任意のペアワイズ エンティティ グループ間の暗黙的な相関関係を取得するために、暗黙的な相関エンコーダーが導入されます。
さらに、階層型 GCN を利用して、エンティティ グループ グラフとエンティティ グラフでメッセージの集約と表現の更新を行います。
最後に、GRU を使用して、TKG の一時的な依存関係をキャプチャします。
3 つの実世界のデータセットでの広範な実験では、GTRL がイベント予測タスクで最先端のパフォーマンスを達成し、MRR で平均 13.44%、9.65%、12.15%、および 15.12% で最高のベースラインを上回っていることが実証されています。
それぞれHits@1、Hits@3、Hits@10。

要約(オリジナル)

Temporal Knowledge Graph (TKG) representation learning embeds entities and event types into a continuous low-dimensional vector space by integrating the temporal information, which is essential for downstream tasks, e.g., event prediction and question answering. Existing methods stack multiple graph convolution layers to model the influence of distant entities, leading to the over-smoothing problem. To alleviate the problem, recent studies infuse reinforcement learning to obtain paths that contribute to modeling the influence of distant entities. However, due to the limited number of hops, these studies fail to capture the correlation between entities that are far apart and even unreachable. To this end, we propose GTRL, an entity Group-aware Temporal knowledge graph Representation Learning method. GTRL is the first work that incorporates the entity group modeling to capture the correlation between entities by stacking only a finite number of layers. Specifically, the entity group mapper is proposed to generate entity groups from entities in a learning way. Based on entity groups, the implicit correlation encoder is introduced to capture implicit correlations between any pairwise entity groups. In addition, the hierarchical GCNs are exploited to accomplish the message aggregation and representation updating on the entity group graph and the entity graph. Finally, GRUs are employed to capture the temporal dependency in TKGs. Extensive experiments on three real-world datasets demonstrate that GTRL achieves the state-of-the-art performances on the event prediction task, outperforming the best baseline by an average of 13.44%, 9.65%, 12.15%, and 15.12% in MRR, Hits@1, Hits@3, and Hits@10, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google