Dealing with negative samples with multi-task learning on span-based joint entity-relation extraction

要約

最近のスパンベースの結合抽出モデルは、エンティティ認識と関係抽出の両方において大きな利点を示しています。
これらのモデルは、テキスト スパンを候補エンティティとして扱い、スパン ペアを候補関係タプルとして扱い、ADE のようなデータセットで最先端の結果を実現します。
ただし、これらのモデルはタスク中に多数の非エンティティ スパンまたは無関係なスパン ペアに遭遇し、モデルのパフォーマンスが大幅に低下します。
この問題に対処するために、この論文では、スパンベースのマルチタスク エンティティ関係結合抽出モデルを導入します。
このアプローチでは、マルチタスク学習を採用して、エンティティおよびリレーション分類器に対する負のサンプルの影響を軽減します。
さらに、Intersection over Union(IoU) の概念を利用してエンティティ分類器に位置情報を導入し、スパン境界の検出を実現します。
さらに、エンティティ分類子によって予測されたエンティティ ロジッツをエンティティ ペアの埋め込み表現に組み込むことにより、関係分類子に対する意味論的な入力が強化されます。
実験結果は、私たちが提案した SpERT.MT モデルが、モデルのパフォーマンスに対する過剰なネガティブ サンプルの悪影響を効果的に軽減できることを示しています。
さらに、このモデルは、広く使用されている 3 つの公開データセット、つまり CoNLL04、SciERC、および ADE でそれぞれ 73.61\%、53.72\%、および 83.72\% という賞賛に値する F1 スコアを実証しました。

要約(オリジナル)

Recent span-based joint extraction models have demonstrated significant advantages in both entity recognition and relation extraction. These models treat text spans as candidate entities, and span pairs as candidate relationship tuples, achieving state-of-the-art results on datasets like ADE. However, these models encounter a significant number of non-entity spans or irrelevant span pairs during the tasks, impairing model performance significantly. To address this issue, this paper introduces a span-based multitask entity-relation joint extraction model. This approach employs the multitask learning to alleviate the impact of negative samples on entity and relation classifiers. Additionally, we leverage the Intersection over Union(IoU) concept to introduce the positional information into the entity classifier, achieving a span boundary detection. Furthermore, by incorporating the entity Logits predicted by the entity classifier into the embedded representation of entity pairs, the semantic input for the relation classifier is enriched. Experimental results demonstrate that our proposed SpERT.MT model can effectively mitigate the adverse effects of excessive negative samples on the model performance. Furthermore, the model demonstrated commendable F1 scores of 73.61\%, 53.72\%, and 83.72\% on three widely employed public datasets, namely CoNLL04, SciERC, and ADE, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google