DREAM: Adaptive Reinforcement Learning based on Attention Mechanism for Temporal Knowledge Graph Reasoning

要約

タイトル：DREAM：時間的知識グラフ推論のための注目メカニズムに基づく適応型強化学習

要約：
– 時間的知識グラフ（TKG）は、イベントの時間的進化をモデル化し、最近注目を集めている。
– TKGは、本質的に不完全であるため、不足している要素を推論する必要がある。
– 既存のTKG推論方法は、将来のイベントの不足している部分を予測する能力を持っているが、明示的な推論経路を生成することができず、説明性に欠ける。
– 従来の知識グラフ上の多段推論における強化学習（RL）は、最近の進展により説明性と性能が向上しており、TKG推論においてもRL技術を探求する機会が開かれている。
– しかし、RLに基づくTKG推論方法の性能は、(1)時間的進化と意味的依存関係を共に捕捉する能力が不足していること、(2)手動で設計された報酬関数に過剰に依存していることが原因で限られている。
– これらの課題を克服するために、我々は注目メカニズムに基づく適応型強化学習モデル（DREAM）を提案する。
– 具体的には、モデルは2つのコンポーネントを含む：(1)意味的依存関係と時間的進化を共に捕捉する多面的注目表現学習方法、(2)報酬関数を適応的に学習することにより多段推論を実行する適応型RLフレームワーク。
– 実験結果は、DREAMが公開されたデータセット上で最先端のモデルに比べて優れた性能を発揮することを示している。

要約(オリジナル)

Temporal knowledge graphs (TKGs) model the temporal evolution of events and have recently attracted increasing attention. Since TKGs are intrinsically incomplete, it is necessary to reason out missing elements. Although existing TKG reasoning methods have the ability to predict missing future events, they fail to generate explicit reasoning paths and lack explainability. As reinforcement learning (RL) for multi-hop reasoning on traditional knowledge graphs starts showing superior explainability and performance in recent advances, it has opened up opportunities for exploring RL techniques on TKG reasoning. However, the performance of RL-based TKG reasoning methods is limited due to: (1) lack of ability to capture temporal evolution and semantic dependence jointly; (2) excessive reliance on manually designed rewards. To overcome these challenges, we propose an adaptive reinforcement learning model based on attention mechanism (DREAM) to predict missing elements in the future. Specifically, the model contains two components: (1) a multi-faceted attention representation learning method that captures semantic dependence and temporal evolution jointly; (2) an adaptive RL framework that conducts multi-hop reasoning by adaptively learning the reward functions. Experimental results demonstrate DREAM outperforms state-of-the-art models on public dataset

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI