Causality-aware Concept Extraction based on Knowledge-guided Prompting

要約

タイトル：知識に基づく促進を用いた因果関係意識型の概念抽出

要約：
– 概念は、自然言語理解に貢献するが、既存の知識グラフ（KG）では不十分である。
– 最近、プレトレーニングされた言語モデル（PLM）は、テキストベースの概念抽出（CE）に広く使用されている。ただし、PLMは、実際のトークン間の因果関係ではなく、巨大なコーパスからの共起関係をプレトレーニングされた知識としてマイニングする傾向がある。
– その結果、PLMは、偽の共起相関に基づくバイアスのある概念を抽出し、必然的に低い精度を引き起こす。
– 本論文では、構造因果モデル（SCM）の観点から、知識に基づくプロンプトを介入としてPLMベースのエクストラクタに装備することを提案し、概念バイアスを軽減する。
– プロンプトは、既存のKGの与えられたエンティティのトピックを採用して、エンティティとバイアスのある概念間の偽の共起相関を軽減する。
– 大規模な実験により、提案されたプロンプトにより、概念バイアスを効果的に緩和し、PLMベースのCEモデルの性能を改善できることが示される。コードは、https://github.com/siyuyuan/KPCE で公開されている。

要約(オリジナル)

Concepts benefit natural language understanding but are far from complete in existing knowledge graphs (KGs). Recently, pre-trained language models (PLMs) have been widely used in text-based concept extraction (CE). However, PLMs tend to mine the co-occurrence associations from massive corpus as pre-trained knowledge rather than the real causal effect between tokens. As a result, the pre-trained knowledge confounds PLMs to extract biased concepts based on spurious co-occurrence correlations, inevitably resulting in low precision. In this paper, through the lens of a Structural Causal Model (SCM), we propose equipping the PLM-based extractor with a knowledge-guided prompt as an intervention to alleviate concept bias. The prompt adopts the topic of the given entity from the existing knowledge in KGs to mitigate the spurious co-occurrence correlations between entities and biased concepts. Our extensive experiments on representative multilingual KG datasets justify that our proposed prompt can effectively alleviate concept bias and improve the performance of PLM-based CE models.The code has been released on https://github.com/siyuyuan/KPCE.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI