Getting Sick After Seeing a Doctor? Diagnosing and Mitigating Knowledge Conflicts in Event Temporal Reasoning

要約

イベントの時間的推論は、物語から 2 つ以上のイベント間の時間的関係を特定することを目的としています。
ただし、コンテキスト内のイベントの実際の時間的関係と、モデルによって学習された事前の知識またはバイアスとの間に不一致がある場合、知識の競合が発生します。
この論文では、イベント関係事前バイアス、時制バイアス、物語バイアス、依存性バイアスなどのバイアス指標を使用して、イベント時間推論における知識矛盾の例を検出することを提案します。
私たちは、衝突の例を、イベントの関係が偏った関係または事前の関係と反対であるものとして定義します。
イベント関連の知識の衝突を軽減するために、追加のトレーニング データまたはインデモンストレーションとして、事前トレーニング済み言語モデル (PLM) と大規模言語モデル (LLM) の両方に適用できる反事実データ拡張 (CDA) ベースの手法を導入します。
コンテキスト学習。
実験では、PLM と LLM の両方がイベント時間推論において知識の衝突に悩まされており、CDA には幻覚を軽減し、モデルのパフォーマンスを向上させる可能性があることが示唆されています。

要約(オリジナル)

Event temporal reasoning aims at identifying the temporal relations between two or more events from narratives. However, knowledge conflicts arise when there is a mismatch between the actual temporal relations of events in the context and the prior knowledge or biases learned by the model. In this paper, we propose to detect knowledge-conflict examples in event temporal reasoning using bias indicators, which include event relation prior bias, tense bias, narrative bias, and dependency bias. We define conflict examples as those where event relations are opposite to biased or prior relations. To mitigate event-related knowledge conflicts, we introduce a Counterfactual Data Augmentation (CDA) based method that can be applied to both Pre-trained Language Models (PLMs) and Large Language Models (LLMs) either as additional training data or demonstrations for In-Context Learning. Experiments suggest both PLMs and LLMs suffer from knowledge conflicts in event temporal reasoning, and CDA has the potential for reducing hallucination and improving model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google