Large Language Models-guided Dynamic Adaptation for Temporal Knowledge Graph Reasoning

要約

時間知識グラフ推論 (TKGR) は、時間情報を利用して時間知識グラフ (TKG) 内の複雑な関係を捕捉し、新しい知識を推論するプロセスです。
TKGR の従来の手法は通常、深層学習アルゴリズムまたは時相論理ルールに依存します。
ただし、深層学習ベースの TKGR は解釈可能性に欠けていることが多く、ルールベースの TKGR は時間的パターンを捉える時間的ルールを効果的に学習するのに苦労します。
最近、大規模言語モデル (LLM) は、時間的推論における広範な知識と顕著な熟練度を実証しました。
その結果、時間的知識グラフ推論 (TKGR) のための LLM の採用は、研究者の間で関心の高まりを引き起こしています。
それにもかかわらず、LLM はブラック ボックスとして機能することが知られており、その推論プロセスを理解することが困難になっています。
さらに、微調整にはリソースを大量に消費する性質があるため、推論のために TKG 内の進化する知識を統合するために LLM を迅速に更新することは現実的ではありません。
これらの課題に対処するために、この論文では、TKG で推論するための大規模言語モデルに基づく動的適応 (LLM-DA) 手法を提案します。
具体的には、LLM-DA は LLM の機能を利用して履歴データを分析し、時相論理ルールを抽出します。
これらのルールは時間的なパターンを明らかにし、解釈可能な推論を容易にします。
TKG の進化する性質を説明するために、LLM で生成されたルールを最新のイベントで更新する動的適応戦略が提案されています。
これにより、抽出されたルールに常に最新の知識が組み込まれ、将来のイベントの予測をより一般化できるようになります。
実験結果は、微調整を必要とせずに、LLM-DA がいくつかの一般的なデータセットに対する推論の精度を大幅に向上させ、TKGR タスクに堅牢なフレームワークを提供することを示しています。

要約(オリジナル)

Temporal Knowledge Graph Reasoning (TKGR) is the process of utilizing temporal information to capture complex relations within a Temporal Knowledge Graph (TKG) to infer new knowledge. Conventional methods in TKGR typically depend on deep learning algorithms or temporal logical rules. However, deep learning-based TKGRs often lack interpretability, whereas rule-based TKGRs struggle to effectively learn temporal rules that capture temporal patterns. Recently, Large Language Models (LLMs) have demonstrated extensive knowledge and remarkable proficiency in temporal reasoning. Consequently, the employment of LLMs for Temporal Knowledge Graph Reasoning (TKGR) has sparked increasing interest among researchers. Nonetheless, LLMs are known to function as black boxes, making it challenging to comprehend their reasoning process. Additionally, due to the resource-intensive nature of fine-tuning, promptly updating LLMs to integrate evolving knowledge within TKGs for reasoning is impractical. To address these challenges, in this paper, we propose a Large Language Models-guided Dynamic Adaptation (LLM-DA) method for reasoning on TKGs. Specifically, LLM-DA harnesses the capabilities of LLMs to analyze historical data and extract temporal logical rules. These rules unveil temporal patterns and facilitate interpretable reasoning. To account for the evolving nature of TKGs, a dynamic adaptation strategy is proposed to update the LLM-generated rules with the latest events. This ensures that the extracted rules always incorporate the most recent knowledge and better generalize to the predictions on future events. Experimental results show that without the need of fine-tuning, LLM-DA significantly improves the accuracy of reasoning over several common datasets, providing a robust framework for TKGR tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google