HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction

要約

教師なし関係抽出は、関係の範囲や分布に関する事前情報なしに、自然言語文からエンティティ間の関係を抽出することを目的としています。
既存の研究では、段階的なドリフト問題を引き起こす適応クラスタリングと分類を繰り返し活用することにより、自己教師ありスキームを利用してリレーショナルな特徴信号を改良するか、インスタンスごとの対照学習を採用して、意味的に似ている文のペアを不当に引き離します。
これらの欠陥を克服するために、HiURE という名前の新しい対照学習フレームワークを提案します。これは、クロス階層注意を使用して関係特徴空間から階層信号を導出し、模範ごとの対照学習の下で文の関係表現を効果的に最適化する機能を備えています。
2 つの公開データセットに関する実験結果は、最先端のモデルと比較した場合、教師なし関係抽出に対する HiURE の高度な有効性と堅牢性を示しています。

要約(オリジナル)

Unsupervised relation extraction aims to extract the relationship between entities from natural language sentences without prior information on relational scope or distribution. Existing works either utilize self-supervised schemes to refine relational feature signals by iteratively leveraging adaptive clustering and classification that provoke gradual drift problems, or adopt instance-wise contrastive learning which unreasonably pushes apart those sentence pairs that are semantically similar. To overcome these defects, we propose a novel contrastive learning framework named HiURE, which has the capability to derive hierarchical signals from relational feature space using cross hierarchy attention and effectively optimize relation representation of sentences under exemplar-wise contrastive learning. Experimental results on two public datasets demonstrate the advanced effectiveness and robustness of HiURE on unsupervised relation extraction when compared with state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google