Causality-aware Concept Extraction based on Knowledge-guided Prompting

要約

タイトル：知識に基づく促しを用いた因果関係に配慮したコンセプト抽出

要約：
– コンセプトは自然言語理解において重要だが、現存する知識グラフ(KG)にはまだまだ十分ではない。
– 近年では、学習済み言語モデル(PLMs)がテキストベースのコンセプト抽出に広く用いられるようになってきた。
– しかしながら、PLMsは、トークン間の実際の因果関係よりも、大量のコーパスからの共起の関連を事前に学習した知識としてマイニングする傾向がある。
– その結果、事前学習された知識は、スパリアスな共起相関に基づくバイアスを持ったコンセプトを抽出することをPLMsに招き、必然的に低い正確性を引き起こします。
– この論文では、構造因果モデル(SCM)の観点から、PLMベースの抽出器に知識に基づく促しを介入させ、コンセプトバイアスを緩和することを提案しています。
– 促しは、既存のKGから与えられたエンティティのトピックを採用し、エンティティとバイアスのあるコンセプト間のスパリアスな共起相関を緩和するために用いられます。
– 代表的な多言語KGデータセットに対する幅広い実験は、提案された促しによってコンセプトバイアスを効果的に緩和し、PLMベースのCEモデルの性能を向上させることを正当化しています。コードはhttps://github.com/siyuyuan/KPCEに公開されています。

要約(オリジナル)

Concepts benefit natural language understanding but are far from complete in existing knowledge graphs (KGs). Recently, pre-trained language models (PLMs) have been widely used in text-based concept extraction (CE). However, PLMs tend to mine the co-occurrence associations from massive corpus as pre-trained knowledge rather than the real causal effect between tokens.As a result, the pre-trained knowledge confounds PLMs to extract biased concepts based on spurious co-occurrence correlations, inevitably resulting in low precision. In this paper, through the lens of a Structural Causal Model (SCM), we propose equipping the PLM-based extractor with a knowledge-guided prompt as an intervention to alleviate concept bias. The prompt adopts the topic of the given entity from the existing knowledge in KGs to mitigate the spurious co-occurrence correlations between entities and biased concepts. Our extensive experiments on representative multilingual KG datasets justify that our proposed prompt can effectively alleviate concept bias and improve the performance of PLM-based CE models.The code has been released on https://github.com/siyuyuan/KPCE.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI