Causality-aware Concept Extraction based on Knowledge-guided Prompting

要約

タイトル: 知識に基づくプロンプティングによる因果関係を意識したコンセプト抽出
要約:
– コンセプトは自然言語理解に役立つが、既存の知識グラフ（KG）においては完全でない。
– 最近、事前に学習された言語モデル（PLMs）は、テキストに基づくコンセプト抽出（CE）に広く使用されている。
– しかし、PLMsは、トークン間の真の因果関係ではなく、巨大なコーパスから共起関係を掘り出した先行学習の知識に依存する傾向がある。
– そのため、PLMsは嘘の共起関係の相関に基づいたバイアスのある概念を抽出することになり、必然的に低い精度になる。
– 本稿では、構造的因果モデル（SCM）をレンズを通して、PLMベースの抽出器に知識に基づいたプロンプトを介して介入することで、コンセプトのバイアスを軽減することを提案する。
– プロンプトは、既存のKGの与えられたエンティティのトピックを採用して、エンティティ間の嘘の共起関係の相関とバイアスのある概念を軽減する。
– 代表的な多言語KGデータセットでの広範な実験により、提案されたプロンプトがコンセプトのバイアスを効果的に軽減し、PLMベースのCEモデルのパフォーマンスを向上させることが証明された。
– コードは https://github.com/siyuyuan/KPCE で公開されています。

要約(オリジナル)

Concepts benefit natural language understanding but are far from complete in existing knowledge graphs (KGs). Recently, pre-trained language models (PLMs) have been widely used in text-based concept extraction (CE). However, PLMs tend to mine the co-occurrence associations from massive corpus as pre-trained knowledge rather than the real causal effect between tokens. As a result, the pre-trained knowledge confounds PLMs to extract biased concepts based on spurious co-occurrence correlations, inevitably resulting in low precision. In this paper, through the lens of a Structural Causal Model (SCM), we propose equipping the PLM-based extractor with a knowledge-guided prompt as an intervention to alleviate concept bias. The prompt adopts the topic of the given entity from the existing knowledge in KGs to mitigate the spurious co-occurrence correlations between entities and biased concepts. Our extensive experiments on representative multilingual KG datasets justify that our proposed prompt can effectively alleviate concept bias and improve the performance of PLM-based CE models.The code has been released on https://github.com/siyuyuan/KPCE.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI