要約
文書レベルの関係抽出 (DocRE) は、文書内のすべてのエンティティーのペアの関係を抽出することを目的としています。
DocRE における主な課題は、このようなデータに注釈を付けるコストであり、これには多大な人間の労力が必要です。
したがって、低リソース設定で DocRE のケースを調査したところ、低データでトレーニングされた既存のモデルが NA (「関係なし」) ラベルを過大評価し、パフォーマンスの制限を引き起こしていることがわかりました。
この研究では、キャリブレーションの観点から問題にアプローチし、関係意味情報に基づいてロジットを適応させることを学習する PRiSM を提案します。
3 つの DocRE データセットでメソッドを評価し、既存のモデルを PRiSM と統合すると、パフォーマンスが 26.38 F1 スコアも向上し、約 3% のデータでトレーニングした場合、キャリブレーション誤差が 36 倍も低下することを実証しました。
コードは https://github.com/brightjade/PRiSM で公開されています。
要約(オリジナル)
Document-level relation extraction (DocRE) aims to extract relations of all entity pairs in a document. A key challenge in DocRE is the cost of annotating such data which requires intensive human effort. Thus, we investigate the case of DocRE in a low-resource setting, and we find that existing models trained on low data overestimate the NA (‘no relation’) label, causing limited performance. In this work, we approach the problem from a calibration perspective and propose PRiSM, which learns to adapt logits based on relation semantic information. We evaluate our method on three DocRE datasets and demonstrate that integrating existing models with PRiSM improves performance by as much as 26.38 F1 score, while the calibration error drops as much as 36 times when trained with about 3% of data. The code is publicly available at https://github.com/brightjade/PRiSM.
arxiv情報
| 著者 | Minseok Choi,Hyesu Lim,Jaegul Choo |
| 発行日 | 2023-09-25 04:42:39+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google