A Condensed Transition Graph Framework for Zero-shot Link Prediction with Large Language Models

要約

ナレッジ グラフ上のゼロショット リンク予測 (ZSLP) は、特定のエンティティ間の関係を自動的に識別することを目的としています。
既存の方法は主に補助情報を使用して、先頭エンティティとその関係を考慮して末尾エンティティを予測しますが、そのような詳細な情報が時折利用できないことと、意味論的な類似性に基づいて末尾エンティティを予測する本質的な単純さによる課題に直面しています。
大規模言語モデル (LLM) は、先頭エンティティと末尾エンティティの間の未観測の関係をゼロショットで予測する有望なソリューションを提供しますが、その間のすべての (指数関数的に多くの) パス情報を活用できないため、そのパフォーマンスは依然として制限されています。
2 つのエンティティ。これらは、それらの関係タイプを集合的に示す上で重要です。
これに対処するために、この研究では、ゼロショット リンク予測のための凝縮遷移グラフ フレームワーク (CTLP) を導入します。これは、すべてのパスの情報を線形時間計算量でエンコードして、エンティティ間の目に見えない関係を予測し、効率と情報の保存の両方を実現します。
具体的には、カバレッジ、表現力、効率性が理論的に保証された、凝縮された遷移グラフ エンコーダを設計します。
これは、遷移グラフの対照的な学習戦略によって学習されます。
次に、全パスの埋め込みを学習して LLM の入力にマッピングするためのソフト命令チューニングを設計します。
実験結果は、私たちが提案した CTLP 手法が 3 つの標準 ZSLP データセットで最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Zero-shot link prediction (ZSLP) on knowledge graphs aims at automatically identifying relations between given entities. Existing methods primarily employ auxiliary information to predict tail entity given head entity and its relation, yet face challenges due to the occasional unavailability of such detailed information and the inherent simplicity of predicting tail entities based on semantic similarities. Even though Large Language Models (LLMs) offer a promising solution to predict unobserved relations between the head and tail entity in a zero-shot manner, their performance is still restricted due to the inability to leverage all the (exponentially many) paths’ information between two entities, which are critical in collectively indicating their relation types. To address this, in this work, we introduce a Condensed Transition Graph Framework for Zero-Shot Link Prediction (CTLP), which encodes all the paths’ information in linear time complexity to predict unseen relations between entities, attaining both efficiency and information preservation. Specifically, we design a condensed transition graph encoder with theoretical guarantees on its coverage, expressiveness, and efficiency. It is learned by a transition graph contrastive learning strategy. Subsequently, we design a soft instruction tuning to learn and map the all-path embedding to the input of LLMs. Experimental results show that our proposed CTLP method achieves state-of-the-art performance on three standard ZSLP datasets

arxiv情報

提供元, 利用サービス

arxiv.jp, Google