Prompting Disentangled Embeddings for Knowledge Graph Completion with Pre-trained Language Model

要約

知識グラフ補完（KGC）では、グラフ構造とテキスト情報の両方が重要な役割を果たす。BERTのような事前訓練された言語モデル（PLM）の成功により、KGCのためのテキスト符号化に適用されている。しかし、現在の手法では、PLMを微調整することが主流であり、膨大な学習コストと、より大規模なPLMへのスケーラビリティに限界がある。これに対し、我々はプロンプトを利用し、プロンプトのみを学習した凍結PLM上でKGCを行うことを提案する。すなわち、KGCタスクをPLMの事前学習タスクであるトークン予測タスクに適応させるためのハードタスクプロンプトと、PLMがより関連性の高い構造知識をテキスト情報と組み合わせることができるように、グラフ表現を学習する分離構造プロンプトである。この2つのプロンプトにより、PDKGCはそれぞれテキスト予測器と構造予測器を構築し、それらの組み合わせにより、より包括的なエンティティ予測が可能となる。広く利用されている2つのKGCデータセットでの堅実な評価により、PDKGCはしばしば最先端を含むベースラインを凌駕し、その構成要素は全て有効であることが示されている。我々のコードとデータはhttps://github.com/genggengcss/PDKGC。

要約(オリジナル)

Both graph structures and textual information play a critical role in Knowledge Graph Completion (KGC). With the success of Pre-trained Language Models (PLMs) such as BERT, they have been applied for text encoding for KGC. However, the current methods mostly prefer to fine-tune PLMs, leading to huge training costs and limited scalability to larger PLMs. In contrast, we propose to utilize prompts and perform KGC on a frozen PLM with only the prompts trained. Accordingly, we propose a new KGC method named PDKGC with two prompts — a hard task prompt which is to adapt the KGC task to the PLM pre-training task of token prediction, and a disentangled structure prompt which learns disentangled graph representation so as to enable the PLM to combine more relevant structure knowledge with the text information. With the two prompts, PDKGC builds a textual predictor and a structural predictor, respectively, and their combination leads to more comprehensive entity prediction. Solid evaluation on two widely used KGC datasets has shown that PDKGC often outperforms the baselines including the state-of-the-art, and its components are all effective. Our codes and data are available at https://github.com/genggengcss/PDKGC.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL