Chain of History: Learning and Forecasting with LLMs for Temporal Knowledge Graph Completion

要約

Temporal Knowledge Graph Completion (TKGC) は、確立された時間構造知識を活用して、将来のタイムスタンプで欠落しているイベント リンクを予測するという困難なタスクです。
LLM (LLM) に固有の恐るべき生成機能を考慮して、この論文では、歴史的イベント チェーンのコンテキスト内のイベント生成タスクとして時間リンク予測を概念化する新しいアプローチを提案します。
私たちは効率的な微調整手法を採用して、LLM を特定のグラフのテキスト情報や時間的タイムラインで発見されたパターンに適応させます。
さらに、構造ベースの履歴データの拡張と逆知識の統合を導入して、構造情報に対するLLMの認識を強調し、それによって推論能力を強化します。
私たちは、広く使用されている複数のデータセットに対して徹底した実験を実施し、微調整されたモデルが複数のメトリクスにおいて既存の埋め込みベースのモデルよりも優れたパフォーマンスを示し、SOTA の結果を達成していることを発見しました。
また、LLM が構造化された時間的知識推論タスクを実行する際に重要な影響を与える要因を調査するために、十分なアブレーション実験も実施します。

要約(オリジナル)

Temporal Knowledge Graph Completion (TKGC) is a challenging task of predicting missing event links at future timestamps by leveraging established temporal structural knowledge. Given the formidable generative capabilities inherent in LLMs (LLMs), this paper proposes a novel approach to conceptualize temporal link prediction as an event generation task within the context of a historical event chain. We employ efficient fine-tuning methods to make LLMs adapt to specific graph textual information and patterns discovered in temporal timelines. Furthermore, we introduce structure-based historical data augmentation and the integration of reverse knowledge to emphasize LLMs’ awareness of structural information, thereby enhancing their reasoning capabilities. We conduct thorough experiments on multiple widely used datasets and find that our fine-tuned model outperforms existing embedding-based models on multiple metrics, achieving SOTA results. We also carry out sufficient ablation experiments to explore the key influencing factors when LLMs perform structured temporal knowledge inference tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google