Improving Unsupervised Relation Extraction by Augmenting Diverse Sentence Pairs

要約

教師なし関係抽出（URE）は、手作業による注釈や既存の知識ベースを必要とせずに、生のテキストから名前付きエンティティ間の関係を抽出することを目的としている。最近のUREの研究では、研究者は関係表現を獲得するための対照学習戦略を重視している。しかし、これらの研究は、対照学習のための多様な正対を含めることと、適切な損失関数を探索することという、2つの重要な側面を見落としていることが多い。本論文では、肯定的ペアの多様性を高め、対比学習の識別力を強化するために、文内ペア増強と文横断ペア抽出による増強の両方を用いたAugUREを提案する。また、関係表現学習におけるノイズ対比推定（NCE）損失の限界を明らかにし、文ペアに対してマージン損失を適用することを提案する。NYT-FBデータセットとTACREDデータセットを用いた実験により、提案する関係表現学習と単純なK-Meansクラスタリングが最先端の性能を達成することを示す。

要約(オリジナル)

Unsupervised relation extraction (URE) aims to extract relations between named entities from raw text without requiring manual annotations or pre-existing knowledge bases. In recent studies of URE, researchers put a notable emphasis on contrastive learning strategies for acquiring relation representations. However, these studies often overlook two important aspects: the inclusion of diverse positive pairs for contrastive learning and the exploration of appropriate loss functions. In this paper, we propose AugURE with both within-sentence pairs augmentation and augmentation through cross-sentence pairs extraction to increase the diversity of positive pairs and strengthen the discriminative power of contrastive learning. We also identify the limitation of noise-contrastive estimation (NCE) loss for relation representation learning and propose to apply margin loss for sentence pairs. Experiments on NYT-FB and TACRED datasets demonstrate that the proposed relation representation learning and a simple K-Means clustering achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL