Improving Continual Relation Extraction by Distinguishing Analogous Semantics

要約

継続的関係抽出(RE)は、学習した関係を忘れないようにしながら、常に新しい関係を学習することを目的としている。既存の研究では、忘却を軽減するために、少数の典型的なサンプルを保存してモデルを再学習させる。しかし、これらのサンプルを繰り返し再生することは、オーバーフィッティングの問題を引き起こす可能性がある。我々は、既存作品の実証研究を行い、その性能が類似関係によって大きく影響されることを確認した。この問題に対処するために、我々は、類縁関係のための新しい継続的な抽出モデルを提案する。具体的には、オーバーフィッティング問題を克服するために、メモリ非感受性の関係プロトタイプとメモリ拡張を設計する。また、類推関係に対する性能を向上させるために、統合的な学習と焦点化された知識蒸留を導入する。実験結果は、我々のモデルの優位性を示し、類縁関係の識別とオーバーフィッティングの克服に有効であることを実証している。

要約(オリジナル)

Continual relation extraction (RE) aims to learn constantly emerging relations while avoiding forgetting the learned relations. Existing works store a small number of typical samples to re-train the model for alleviating forgetting. However, repeatedly replaying these samples may cause the overfitting problem. We conduct an empirical study on existing works and observe that their performance is severely affected by analogous relations. To address this issue, we propose a novel continual extraction model for analogous relations. Specifically, we design memory-insensitive relation prototypes and memory augmentation to overcome the overfitting problem. We also introduce integrated training and focal knowledge distillation to enhance the performance on analogous relations. Experimental results show the superiority of our model and demonstrate its effectiveness in distinguishing analogous relations and overcoming overfitting.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL