Rationale-Enhanced Language Models are Better Continual Relation Learners

要約

継続的関係抽出 (CRE) は、新しく出現した関係のシーケンスを学習する際の壊滅的な忘却の問題を解決することを目的としています。
最近の CRE 研究では、壊滅的な忘却は、将来の類似関係に対するモデルの堅牢性の欠如から生じることが判明しました。
この問題に対処するために、我々は根拠、つまり大規模言語モデル (LLM) によって生成された関係分類結果の説明を CRE タスクに導入します。
具体的には、モデルが現在の関係を確実に学習できるように、マルチタスク理論的調整戦略を設計します。
また、類似関係をさらに区別するために、対比的根拠再生も行います。
2 つの標準ベンチマークの実験結果は、私たちの手法が最先端の CRE モデルよりも優れていることを示しています。

要約(オリジナル)

Continual relation extraction (CRE) aims to solve the problem of catastrophic forgetting when learning a sequence of newly emerging relations. Recent CRE studies have found that catastrophic forgetting arises from the model’s lack of robustness against future analogous relations. To address the issue, we introduce rationale, i.e., the explanations of relation classification results generated by large language models (LLM), into CRE task. Specifically, we design the multi-task rationale tuning strategy to help the model learn current relations robustly. We also conduct contrastive rationale replay to further distinguish analogous relations. Experimental results on two standard benchmarks demonstrate that our method outperforms the state-of-the-art CRE models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google