Question Calibration and Multi-Hop Modeling for Temporal Question Answering

要約

ナレッジ グラフ (KG) を活用する多くのモデルは、最近、質問応答 (QA) タスクで目覚ましい成功を収めています。
現実の世界では、KG に含まれる多くのファクトは時間に制約があるため、時間的な KGQA への注目が高まっています。
時間的 KGQA における以前のモデルは有益な努力を払ってきましたが、依然としていくつかの制限があります。
(I) 質問表現を取得するために事前トレーニング済み言語モデル (PLM) を採用しますが、PLM はエンティティ情報に焦点を当て、時間的制約によって引き起こされるエンティティ転送を無視する傾向があり、最終的にエンティティの特定の時間表現を学習できません。
(II) エンティティ間のグラフ構造を強調したり、グラフ内のマルチホップ関係を明示的にモデル化したりしていないため、複雑なマルチホップ質問応答を解決することが困難になります。
この問題を軽減するために、新しい質問キャリブレーションとマルチホップ モデリング (QC-MHM) アプローチを提案します。
具体的には、まず、KG の質問と時間制限のある概念を融合することにより、質問表現を調整します。
次に、GNN 層を構築してマルチホップ メッセージ パッシングを完了します。
最後に、質問表現が GNN による埋め込み出力と結合されて、最終的な予測が生成されます。
経験的な結果により、提案されたモデルがベンチマーク データセットの最先端のモデルよりも優れたパフォーマンスを達成することが確認されています。
特に、CronQuestions データセットの複雑な質問に対する QC-MHM の Hits@1 および Hits@10 の結果は、最高のパフォーマンスのベースラインと比較して 5.1% および 1.2% 確実に向上しています。
さらに、QC-MHM は解釈可能で信頼できる予測を生成できます。

要約(オリジナル)

Many models that leverage knowledge graphs (KGs) have recently demonstrated remarkable success in question answering (QA) tasks. In the real world, many facts contained in KGs are time-constrained thus temporal KGQA has received increasing attention. Despite the fruitful efforts of previous models in temporal KGQA, they still have several limitations. (I) They adopt pre-trained language models (PLMs) to obtain question representations, while PLMs tend to focus on entity information and ignore entity transfer caused by temporal constraints, and finally fail to learn specific temporal representations of entities. (II) They neither emphasize the graph structure between entities nor explicitly model the multi-hop relationship in the graph, which will make it difficult to solve complex multi-hop question answering. To alleviate this problem, we propose a novel Question Calibration and Multi-Hop Modeling (QC-MHM) approach. Specifically, We first calibrate the question representation by fusing the question and the time-constrained concepts in KG. Then, we construct the GNN layer to complete multi-hop message passing. Finally, the question representation is combined with the embedding output by the GNN to generate the final prediction. Empirical results verify that the proposed model achieves better performance than the state-of-the-art models in the benchmark dataset. Notably, the Hits@1 and Hits@10 results of QC-MHM on the CronQuestions dataset’s complex questions are absolutely improved by 5.1% and 1.2% compared to the best-performing baseline. Moreover, QC-MHM can generate interpretable and trustworthy predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google