Serial Contrastive Knowledge Distillation for Continual Few-shot Relation Extraction

要約

連続数ショット関係抽出(RE)は、少ないラベル付き学習データで新しい関係モデルを継続的に学習させることを目的とするものであるが、古い関係の壊滅的な忘却とデータの疎密によるオーバーフィッティングが大きな課題である。本論文では、数少ない訓練データで継続的に関係モデルを学習するための新しいモデル、すなわちSCKDを提案する。具体的には、前モデルからの事前知識を保持するためにシリアル知識蒸留を設計し、異なる関係にあるサンプルの表現を十分に区別できるようにするために疑似サンプルによる対照学習を行う。2つのベンチマークデータセットを用いた実験により、SCKDが継続的な数ショットREに有効であること、また、知識伝達とメモリ利用において、最先端のモデルよりも優れていることが検証された。

要約(オリジナル)

Continual few-shot relation extraction (RE) aims to continuously train a model for new relations with few labeled training data, of which the major challenges are the catastrophic forgetting of old relations and the overfitting caused by data sparsity. In this paper, we propose a new model, namely SCKD, to accomplish the continual few-shot RE task. Specifically, we design serial knowledge distillation to preserve the prior knowledge from previous models and conduct contrastive learning with pseudo samples to keep the representations of samples in different relations sufficiently distinguishable. Our experiments on two benchmark datasets validate the effectiveness of SCKD for continual few-shot RE and its superiority in knowledge transfer and memory utilization over state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL