Distilling Multi-Scale Knowledge for Event Temporal Relation Extraction

要約

イベント時間関係抽出 (ETRE) は最も重要ですが、困難です。
談話内では、イベントのペアは異なる距離、またはいわゆる近接バンドに位置します。
イベントペアに関して伝達される時間的順序付けは、より遠く（つまり「長い」）またはそれほど遠くない（つまり「短い」）近接バンドが異なる方法でエンコードされます。
SOTA モデルは、短い近接バンドまたは長い近接バンドのいずれかに位置するイベントで良好にパフォーマンスする傾向がありますが、両方ではありません。
それにもかかわらず、現実世界の自然テキストには、あらゆるタイプの時間的なイベントのペアが含まれています。
この論文では、MulCo: Distilling Multi-Scale Knowledge via Contrastive Learning (MulCo: Distilling Multi-Scale Knowledge via Contrastive Learning) を紹介します。これは、複数のイベント ペアの近接バンド全体で知識を共有し、あらゆるタイプの時間データセットのパフォーマンスを向上させる知識の共蒸留アプローチです。
私たちの実験結果は、MulCo が短い近接バンドと長い近接バンドの両方にわたって時間的推論に関連する言語的手がかりをうまく統合し、いくつかの ETRE ベンチマーク データセットで新しい最先端の結果を達成したことを示しています。

要約(オリジナル)

Event Temporal Relation Extraction (ETRE) is paramount but challenging. Within a discourse, event pairs are situated at different distances or the so-called proximity bands. The temporal ordering communicated about event pairs where at more remote (i.e., “long”) or less remote (i.e., “short”) proximity bands are encoded differently. SOTA models have tended to perform well on events situated at either short or long proximity bands, but not both. Nonetheless, real-world, natural texts contain all types of temporal event-pairs. In this paper, we present MulCo: Distilling Multi-Scale Knowledge via Contrastive Learning, a knowledge co-distillation approach that shares knowledge across multiple event pair proximity bands to improve performance on all types of temporal datasets. Our experimental results show that MulCo successfully integrates linguistic cues pertaining to temporal reasoning across both short and long proximity bands and achieves new state-of-the-art results on several ETRE benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google