Causality-aware Concept Extraction based on Knowledge-guided Prompting

要約

タイトル：知識に基づく促進を用いた因果関係に注意した概念抽出

要約：
– 現存の知識グラフ（KG）において、概念は自然言語理解に有用であるが、不完全である。
– 最近、事前に学習された言語モデル（PLM）が、テキストベースの概念抽出に広く使われるようになった。
– しかし、PLMは、実際のトークン間の因果関係ではなく、膨大なコーパスからの共起関係を事前学習した知識を利用するため、偏った概念を抽出する傾向がある。
– その結果、事前学習された知識が、偶発的な共起相関に基づく偏った概念を抽出することによって、低い精度を引き起こす。
– この論文では、構造的因果モデル（SCM）のレンズを通して、知識に基づいた促進をPLMベースの抽出器に装備し、概念のバイアスを緩和することを提案する。
– 促進は、既存のKG内の与えられたエンティティのトピックを採用し、エンティティと偏った概念の偶発的な共起相関を緩和するために使用される。
– 代表的な多言語KGデータセットに対する広範な実験により、提案された促進が概念のバイアスを効果的に緩和し、PLMベースのCEモデルの性能を改善できることが示された。
– この論文で提唱された手法は、https://github.com/siyuyuan/KPCEで公開されている。

要約(オリジナル)

Concepts benefit natural language understanding but are far from complete in existing knowledge graphs (KGs). Recently, pre-trained language models (PLMs) have been widely used in text-based concept extraction (CE). However, PLMs tend to mine the co-occurrence associations from massive corpus as pre-trained knowledge rather than the real causal effect between tokens. As a result, the pre-trained knowledge confounds PLMs to extract biased concepts based on spurious co-occurrence correlations, inevitably resulting in low precision. In this paper, through the lens of a Structural Causal Model (SCM), we propose equipping the PLM-based extractor with a knowledge-guided prompt as an intervention to alleviate concept bias. The prompt adopts the topic of the given entity from the existing knowledge in KGs to mitigate the spurious co-occurrence correlations between entities and biased concepts. Our extensive experiments on representative multilingual KG datasets justify that our proposed prompt can effectively alleviate concept bias and improve the performance of PLM-based CE models.The code has been released on https://github.com/siyuyuan/KPCE.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI