zrLLM: Zero-Shot Relational Learning on Temporal Knowledge Graphs with Large Language Models

要約

テンポラル ナレッジ グラフ (TKG) を介して進化する知識をモデル化することが、熱い話題になっています。
TKG 上のリンクを予測するためにさまざまな方法が提案されています。
それらのほとんどは埋め込みベースであり、観察されたグラフのコンテキストに基づいて、ナレッジ グラフ (KG) エンティティと関係を表すための隠された表現が学習されます。
これらの手法は、従来の TKG 予測 (TKGF) ベンチマークでは優れたパフォーマンスを示しますが、事前のグラフ コンテキストを持たない目に見えないゼロショット関係をモデル化する際に大きな課題に直面しています。
この論文では、次のようにしてこの問題を軽減することを試みます。
まず、KG 関係のテキスト記述を大規模言語モデル (LLM) に入力して関係表現を生成し、次にそれらを埋め込みベースの TKGF メソッドに導入します。
LLM を利用した表現では、関係記述内の意味論的な情報を取得できます。
これにより、見えるか見えないかに関係なく、同様の意味論的意味を持つ関係が埋め込み空間内で近くに留まり、観察されたグラフ コンテキストがなくても TKGF モデルがゼロショット関係を認識できるようになります。
実験結果は、私たちのアプローチがTKGFモデルが、見えている関係に関するリンク予測の能力を維持しながら、これまで見えなかった関係を持つ事実を予測する際にはるかに優れたパフォーマンスを達成するのに役立つことを示しています。

要約(オリジナル)

Modeling evolving knowledge over temporal knowledge graphs (TKGs) has become a heated topic. Various methods have been proposed to forecast links on TKGs. Most of them are embedding-based, where hidden representations are learned to represent knowledge graph (KG) entities and relations based on the observed graph contexts. Although these methods show strong performance on traditional TKG forecasting (TKGF) benchmarks, they face a strong challenge in modeling the unseen zero-shot relations that have no prior graph context. In this paper, we try to mitigate this problem as follows. We first input the text descriptions of KG relations into large language models (LLMs) for generating relation representations, and then introduce them into embedding-based TKGF methods. LLM-empowered representations can capture the semantic information in the relation descriptions. This makes the relations, whether seen or unseen, with similar semantic meanings stay close in the embedding space, enabling TKGF models to recognize zero-shot relations even without any observed graph context. Experimental results show that our approach helps TKGF models to achieve much better performance in forecasting the facts with previously unseen relations, while still maintaining their ability in link forecasting regarding seen relations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google