GenTKG: Generative Forecasting on Temporal Knowledge Graph

要約

大規模言語モデル (LLM) の急速な進歩により、テンポラル ナレッジ グラフ (tKG) 領域への関心が高まっています。tKG 領域では、従来の慎重に設計された埋め込みベースおよびルールベースのモデルが主流となっています。
事前トレーニングされた LLM が構造化された時間的リレーショナル データを理解し、時間的リレーショナル予測の基礎モデルとして置き換えることができるかどうかについては、まだ疑問が残っています。
したがって、私たちは時間的知識の予測を生成環境に導入します。
ただし、複雑な時間グラフ データ構造と LLM が処理できる連続した自然表現との間、および tKG の膨大なデータ サイズと LLM の微調整にかかる膨大な計算コストとの間の巨大な溝で課題が発生します。
これらの課題に対処するために、我々は GenTKG と呼ばれる tKG に対して生成予測を実行する新しい検索拡張生成フレームワークを提案します。これは、時間論理ルールベースの検索戦略と軽量のパラメーター効率の高い命令チューニングを組み合わせたものです。
広範な実験により、GenTKG が低計算リソース下で時間関係予測の従来の方法よりも優れていることが示されました。
GenTKG は、再トレーニングなしで未確認のデータセットで優れたパフォーマンスを実現する顕著な転送性も強調しています。
私たちの研究は、tKG ドメインにおける LLM の大きな可能性を明らかにし、tKG の生成予測の新たな境地を開きます。

要約(オリジナル)

The rapid advancements in large language models (LLMs) have ignited interest in the temporal knowledge graph (tKG) domain, where conventional carefully designed embedding-based and rule-based models dominate. The question remains open of whether pre-trained LLMs can understand structured temporal relational data and replace them as the foundation model for temporal relational forecasting. Therefore, we bring temporal knowledge forecasting into the generative setting. However, challenges occur in the huge chasms between complex temporal graph data structure and sequential natural expressions LLMs can handle, and between the enormous data sizes of tKGs and heavy computation costs of finetuning LLMs. To address these challenges, we propose a novel retrieval augmented generation framework that performs generative forecasting on tKGs named GenTKG, which combines a temporal logical rule-based retrieval strategy and lightweight parameter-efficient instruction tuning. Extensive experiments have shown that GenTKG outperforms conventional methods of temporal relational forecasting under low computation resources. GenTKG also highlights remarkable transferability with exceeding performance on unseen datasets without re-training. Our work reveals the huge potential of LLMs in the tKG domain and opens a new frontier for generative forecasting on tKGs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google