Chain of History: Learning and Forecasting with LLMs for Temporal Knowledge Graph Completion

要約

Temporal Knowledge Graph Completion (TKGC) は、確立された時間構造知識を活用して、将来のタイムスタンプで欠落しているイベント リンクを予測する複雑なタスクです。
このペーパーは、時間知識グラフでの推論に大規模言語モデル (LLM) の利点を活用することに関する包括的な視点を提供し、簡単に転送可能なパイプラインを提示することを目的としています。
グラフのモダリティに関しては、歴史的チェーン内の重要なノードの構造情報を識別する際の LLM の能力を強調します。
推論に利用される LLM の生成モードに関しては、逆論理を理解する際の課題に特に注意を払い、LLM に固有のさまざまな要因によって引き起こされる分散を徹底的に調査します。
LLM をタスク要件と調和させるために、パラメーター効率の高い微調整戦略を採用し、前に強調した重要な知識の学習を促進します。
広く認識されているいくつかのデータセットに対して包括的な実験が行われ、私たちのフレームワークが多数の一般的な指標にわたって既存の手法を上回る、またはそれに匹敵することが明らかになりました。
さらに、構造化された時間知識推論タスクにおける LLM のパフォーマンスに影響を与える重要な要因を調査するために、かなりの範囲のアブレーション実験を実行し、いくつかの高度な商用 LLM との比較を行っています。

要約(オリジナル)

Temporal Knowledge Graph Completion (TKGC) is a complex task involving the prediction of missing event links at future timestamps by leveraging established temporal structural knowledge. This paper aims to provide a comprehensive perspective on harnessing the advantages of Large Language Models (LLMs) for reasoning in temporal knowledge graphs, presenting an easily transferable pipeline. In terms of graph modality, we underscore the LLMs’ prowess in discerning the structural information of pivotal nodes within the historical chain. As for the generation mode of the LLMs utilized for inference, we conduct an exhaustive exploration into the variances induced by a range of inherent factors in LLMs, with particular attention to the challenges in comprehending reverse logic. We adopt a parameter-efficient fine-tuning strategy to harmonize the LLMs with the task requirements, facilitating the learning of the key knowledge highlighted earlier. Comprehensive experiments are undertaken on several widely recognized datasets, revealing that our framework exceeds or parallels existing methods across numerous popular metrics. Additionally, we execute a substantial range of ablation experiments and draw comparisons with several advanced commercial LLMs, to investigate the crucial factors influencing LLMs’ performance in structured temporal knowledge inference tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google