Time-aware Multiway Adaptive Fusion Network for Temporal Knowledge Graph Question Answering

要約

ナレッジ グラフ (KG) は、自然言語処理に広く応用されているため、ますます注目を集めています。
ただし、一時的な質問応答 (QA) での使用例は十分に調査されていません。
既存のメソッドのほとんどは、事前にトレーニングされた言語モデルに基づいて開発されていますが、これは一時的な KGQA タスクに関してエンティティの \emph{temporal-specific} プレゼンテーションを学習できない可能性があります。
この問題を軽減するために、新しい \textbf{T}time-aware \textbf{M}ultiway \textbf{A}daptive (\textbf{TMA}) 融合ネットワークを提案します。
人間の段階的な推論行動に着想を得ています。
与えられた質問ごとに、TMA は最初に KG から関連する概念を抽出し、次にそれらを多方向適応モジュールにフィードして、質問の \emph{temporal-specific} 表現を生成します。
この表現を事前トレーニング済みの KG 埋め込みと組み合わせて、最終的な予測を生成できます。
経験的な結果は、提案されたモデルがベンチマーク データセットの最先端のモデルよりも優れたパフォーマンスを達成することを確認します。
特に、CronQuestions データセットの複雑な質問に対する TMA の Hits@1 と Hits@10 の結果は、最高のパフォーマンスのベースラインと比較して 24\% と 10\% 絶対に改善されています。
さらに、アダプティブ フュージョン メカニズムを採用した TMA が、質問表現の情報の割合を分析することで解釈可能性を提供できることも示します。

要約(オリジナル)

Knowledge graphs (KGs) have received increasing attention due to its wide applications on natural language processing. However, its use case on temporal question answering (QA) has not been well-explored. Most of existing methods are developed based on pre-trained language models, which might not be capable to learn \emph{temporal-specific} presentations of entities in terms of temporal KGQA task. To alleviate this problem, we propose a novel \textbf{T}ime-aware \textbf{M}ultiway \textbf{A}daptive (\textbf{TMA}) fusion network. Inspired by the step-by-step reasoning behavior of humans. For each given question, TMA first extracts the relevant concepts from the KG, and then feeds them into a multiway adaptive module to produce a \emph{temporal-specific} representation of the question. This representation can be incorporated with the pre-trained KG embedding to generate the final prediction. Empirical results verify that the proposed model achieves better performance than the state-of-the-art models in the benchmark dataset. Notably, the Hits@1 and Hits@10 results of TMA on the CronQuestions dataset’s complex questions are absolutely improved by 24\% and 10\% compared to the best-performing baseline. Furthermore, we also show that TMA employing an adaptive fusion mechanism can provide interpretability by analyzing the proportion of information in question representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google