Editing Language Model-based Knowledge Graph Embeddings

要約

ここ数十年、言語モデルを介してナレッジ グラフ (KG) 埋め込みをフレーミングする経験的な成功が目撃されてきました。
ただし、言語モデルベースの KG 埋め込みは通常、静的アーティファクトとしてデプロイされるため、デプロイ後に再トレーニングせずにデプロイ後に変更するのは困難です。
この問題に対処するために、この論文では言語モデルベースの KG 埋め込みを編集する新しいタスクを提案します。
このタスクは、他の側面のパフォーマンスを損なうことなく、KG エンベディングへの迅速かつデータ効率の高い更新を促進するように設計されています。
E-FB15k237、A-FB15k237、E-WN18RR、A-WN18RR の 4 つの新しいデータセットを構築し、提案された困難なタスクを処理するための以前のモデルの能力が限られていることを示すいくつかの知識編集ベースラインを評価しました。
さらに、ハイパー ネットワークの追加のパラメトリック レイヤーを利用してファクトを編集/追加する、KGEditor と呼ばれるシンプルかつ強力なベースラインを提案します。
私たちの包括的な実験結果は、KGEditor がトレーニング リソースが限られている場合でも、全体的なパフォーマンスに影響を与えることなく特定の事実を更新することに優れていることを明らかにしています。
コードとデータセットは https://github.com/zjunlp/PromptKG/tree/main/deltaKG で入手できます。

要約(オリジナル)

Recently decades have witnessed the empirical success of framing Knowledge Graph (KG) embeddings via language models. However, language model-based KG embeddings are usually deployed as static artifacts, making them difficult to modify post-deployment without re-training after deployment. To address this issue, we propose a new task of editing language model-based KG embeddings in this paper. This task is designed to facilitate rapid, data-efficient updates to KG embeddings without compromising the performance of other aspects. We build four new datasets: E-FB15k237, A-FB15k237, E-WN18RR, and A-WN18RR, and evaluate several knowledge editing baselines demonstrating the limited ability of previous models to handle the proposed challenging task. We further propose a simple yet strong baseline dubbed KGEditor, which utilizes additional parametric layers of the hyper network to edit/add facts. Our comprehensive experimental results reveal that KGEditor excels in updating specific facts without impacting the overall performance, even when faced with limited training resources. Code and datasets are available in https://github.com/zjunlp/PromptKG/tree/main/deltaKG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google