Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction

要約

Few-shot Relation Extraction (FSRE) は、ラベル付きコーパスのまばらなセットから関係事実を抽出することを目的としています。
最近の研究では、インスタンスとラベル事実の両方を考慮する教師あり対照学習のフレームワーク内で事前トレーニング済み言語モデル (PLM) を採用することにより、FSRE で有望な結果が得られることが示されています。
ただし、この学習パラダイムにおいて、大規模なインスタンスとラベルのペアを効果的に利用して、学習された表現を意味論的に豊かに包含する方法は十分に検討されていません。
このギャップに対処するために、新しい相乗効果のあるアンカーされた対照的な事前トレーニング フレームワークを導入します。
このフレームワークは、インスタンスとラベルのペアを通じて伝えられる多様な視点が、不完全ではあるが補完的な固有のテキスト意味論を捉えているという洞察によって動機づけられています。
具体的には、私たちのフレームワークには、文にアンカーされたコントラスト損失とラベルにアンカーされたコントラスト損失の両方を包含する対称的なコントラスト目標が含まれています。
これら 2 つの損失を組み合わせることで、モデルは堅牢で均一な表現空間を確立します。
この空間は、インスタンスと関係事実間の特徴分布の相互調整を効果的に捉え、同時に同じ関係内の多様な視点にわたる相互情報の最大化を強化します。
実験結果は、私たちのフレームワークが下流の FSRE タスクでベースライン モデルと比較して大幅なパフォーマンス向上を達成していることを示しています。
さらに、私たちのアプローチは、ドメインシフトとゼロショット関係抽出の課題に対処するための優れた適応性を示します。
私たちのコードは、https://github.com/AONE-NLP/FSRE-SaCon からオンラインで入手できます。

要約(オリジナル)

Few-shot Relation Extraction (FSRE) aims to extract relational facts from a sparse set of labeled corpora. Recent studies have shown promising results in FSRE by employing Pre-trained Language Models (PLMs) within the framework of supervised contrastive learning, which considers both instances and label facts. However, how to effectively harness massive instance-label pairs to encompass the learned representation with semantic richness in this learning paradigm is not fully explored. To address this gap, we introduce a novel synergistic anchored contrastive pre-training framework. This framework is motivated by the insight that the diverse viewpoints conveyed through instance-label pairs capture incomplete yet complementary intrinsic textual semantics. Specifically, our framework involves a symmetrical contrastive objective that encompasses both sentence-anchored and label-anchored contrastive losses. By combining these two losses, the model establishes a robust and uniform representation space. This space effectively captures the reciprocal alignment of feature distributions among instances and relational facts, simultaneously enhancing the maximization of mutual information across diverse perspectives within the same relation. Experimental results demonstrate that our framework achieves significant performance enhancements compared to baseline models in downstream FSRE tasks. Furthermore, our approach exhibits superior adaptability to handle the challenges of domain shift and zero-shot relation extraction. Our code is available online at https://github.com/AONE-NLP/FSRE-SaCon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google