Commonsense Knowledge Graph Completion Via Contrastive Pretraining and Node Clustering

要約

常識知識グラフ (CSKG) 内のノードは、通常、自由形式の短いテキスト (単語や語句など) で表されます。
異なるノードが同じ概念を表す場合があります。
これはエッジの希薄性とノードの冗長性の問題につながり、CSKG の表現と完成に課題をもたらします。
一方で、エッジのスパース性により、グラフ表現の学習のパフォーマンスが制限されます。
一方、ノードの冗長化により、同じ概念に対応する異なるノード間の関係が不一致になります。
2 つの問題に対処するために、対照的事前トレーニングとノード クラスタリング (CPNC) に基づいた新しい CSKG 完了フレームワークを提案します。
対比事前トレーニングは、CSKG 上で正および負のヘッドテール ノードのペアを構築し、対比学習を利用してより適切なセマンティック ノード表現を取得します。
ノード クラスタリングは、同じ概念を持つノードを潜在概念に集約し、CSKG の完了タスクを支援します。
当社は 2 つの CSKG 完了ベンチマーク (CN-100K および ATOMIC) で CPNC アプローチを評価しており、CPNC は最先端の手法よりも優れています。
広範な実験により、対照的事前トレーニングとノード クラスタリングの両方が CSKG 完了のパフォーマンスを大幅に向上できることが実証されています。
CPNC のソース コードは \url{https://github.com/NUSTM/CPNC} で公開されています。

要約(オリジナル)

The nodes in the commonsense knowledge graph (CSKG) are normally represented by free-form short text (e.g., word or phrase). Different nodes may represent the same concept. This leads to the problems of edge sparsity and node redundancy, which challenges CSKG representation and completion. On the one hand, edge sparsity limits the performance of graph representation learning; On the other hand, node redundancy makes different nodes corresponding to the same concept have inconsistent relations with other nodes. To address the two problems, we propose a new CSKG completion framework based on Contrastive Pretraining and Node Clustering (CPNC). Contrastive Pretraining constructs positive and negative head-tail node pairs on CSKG and utilizes contrastive learning to obtain better semantic node representation. Node Clustering aggregates nodes with the same concept into a latent concept, assisting the task of CSKG completion. We evaluate our CPNC approach on two CSKG completion benchmarks (CN-100K and ATOMIC), where CPNC outperforms the state-of-the-art methods. Extensive experiments demonstrate that both Contrastive Pretraining and Node Clustering can significantly improve the performance of CSKG completion. The source code of CPNC is publicly available on \url{https://github.com/NUSTM/CPNC}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google