GenTKG: Generative Forecasting on Temporal Knowledge Graph

要約

大規模言語モデル (LLM) の急速な進歩により、従来の埋め込みベースおよびルールベースの手法が主流となっている時間知識グラフ (tKG) ドメインへの関心が高まっています。
事前トレーニングされた LLM が構造化された時間的リレーショナル データを理解し、時間的リレーショナル予測の基礎モデルとして置き換えることができるかどうかについては、まだ疑問が残っています。
したがって、私たちは時間的知識の予測を生成環境に導入します。
ただし、複雑な時間グラフ データ構造と LLM が処理できる連続した自然表現との間、および tKG の膨大なデータ サイズと LLM の微調整にかかる膨大な計算コストとの間の巨大な溝で課題が発生します。
これらの課題に対処するために、上記の課題をそれぞれ解決するために、時間論理ルールベースの検索戦略と少数ショットパラメータ効率の高い命令チューニングを組み合わせた、GenTKGと呼ばれる新しい検索拡張生成フレームワークを提案します。
広範な実験により、GenTKG は 16 サンプルという非常に限られたトレーニング データを使用し、少ない計算リソースで時間関係予測の従来の方法よりも優れたパフォーマンスを発揮することが示されました。
GenTKG は、再トレーニングなしで未確認のデータセットで優れたパフォーマンスを発揮する顕著なクロスドメイン汎化性と、同じデータセット内の時間分割に関係なくドメイン内汎化性も強調しています。
私たちの研究は、tKG ドメインにおける LLM の大きな可能性を明らかにし、tKG の生成予測の新たな境地を開きます。

要約(オリジナル)

The rapid advancements in large language models (LLMs) have ignited interest in the temporal knowledge graph (tKG) domain, where conventional embedding-based and rule-based methods dominate. The question remains open of whether pre-trained LLMs can understand structured temporal relational data and replace them as the foundation model for temporal relational forecasting. Therefore, we bring temporal knowledge forecasting into the generative setting. However, challenges occur in the huge chasms between complex temporal graph data structure and sequential natural expressions LLMs can handle, and between the enormous data sizes of tKGs and heavy computation costs of finetuning LLMs. To address these challenges, we propose a novel retrieval-augmented generation framework named GenTKG combining a temporal logical rule-based retrieval strategy and few-shot parameter-efficient instruction tuning to solve the above challenges, respectively. Extensive experiments have shown that GenTKG outperforms conventional methods of temporal relational forecasting with low computation resources using extremely limited training data as few as 16 samples. GenTKG also highlights remarkable cross-domain generalizability with outperforming performance on unseen datasets without re-training, and in-domain generalizability regardless of time split in the same dataset. Our work reveals the huge potential of LLMs in the tKG domain and opens a new frontier for generative forecasting on tKGs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google