Enhancing Complex Causality Extraction via Improved Subtask Interaction and Knowledge Fusion

要約

イベント因果関係抽出 (ECE) は、テキストから因果関係のあるイベントのペアを抽出することを目的としています。
ChatGPT の最近の成功にもかかわらず、ECE タスクには依然として小規模モデルの微調整が最適なアプローチです。
ただし、既存の微調整ベースの ECE 手法では、ECE の 3 つの主要な課題すべてに同時に対処することはできません。1) 複雑な因果関係の抽出。単一の文内で複数の因果関係のペアが発生します。
２）サブタスク〜インタラクション。これには、ＥＣＥの２つのサブタスク間の相互依存性のモデル化、すなわち、イベントの抽出と、抽出されたイベント間の因果関係の特定が含まれる。
3) 知識の融合。2 つのモダリティ、つまり、表現力豊かな事前トレーニング済み言語モデルと構造化された知識グラフの知識を効果的に融合する必要があります。
この論文では、ECE の 3 つの問題すべてに同時に対処するための統一 ECE フレームワーク (UniCE) を提案します。具体的には、2 つの ECE サブタスク間の相互作用を可能にするサブタスク相互作用メカニズムを設計します。さらに、知識を融合するための知識融合メカニズムを設計します。
さらに、2 つのモダリティでは、複雑な因果関係の抽出を容易にするためにサブタスクごとに個別のデコーダーを採用しています。この実験では、この手法が最先端のパフォーマンスを達成し、少なくとも 30% F1 のマージンで ChatGPT を上回ることが実証されています。
さらに重要なことに、私たちのモデルは、コンテキスト内学習を通じて ChatGPT の ECE パフォーマンスを効果的に向上させるためにも使用できます。

要約(オリジナル)

Event Causality Extraction (ECE) aims at extracting causal event pairs from texts. Despite ChatGPT’s recent success, fine-tuning small models remains the best approach for the ECE task. However, existing fine-tuning based ECE methods cannot address all three key challenges in ECE simultaneously: 1) Complex Causality Extraction, where multiple causal-effect pairs occur within a single sentence; 2) Subtask~ Interaction, which involves modeling the mutual dependence between the two subtasks of ECE, i.e., extracting events and identifying the causal relationship between extracted events; and 3) Knowledge Fusion, which requires effectively fusing the knowledge in two modalities, i.e., the expressive pretrained language models and the structured knowledge graphs. In this paper, we propose a unified ECE framework (UniCE to address all three issues in ECE simultaneously. Specifically, we design a subtask interaction mechanism to enable mutual interaction between the two ECE subtasks. Besides, we design a knowledge fusion mechanism to fuse knowledge in the two modalities. Furthermore, we employ separate decoders for each subtask to facilitate complex causality extraction. Experiments on three benchmark datasets demonstrate that our method achieves state-of-the-art performance and outperforms ChatGPT with a margin of at least 30% F1-score. More importantly, our model can also be used to effectively improve the ECE performance of ChatGPT via in-context learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google