HOP to the Next Tasks and Domains for Continual Learning in NLP

要約

継続学習 (CL) は、過去の問題を忘れることを避けながら、以前の問題で得た知識を転送することによって、一連の問題 (つまり、タスクとドメイン) を学習することを目的としています。
特定のユースケースにおける 1 つの NLP タスクまたはドメインの CL に焦点を当てたこれまでのアプローチとは異なり、このペーパーでは、独自のフレームワークで一連の問題から学習するための、より一般的な CL 設定に取り組みます。
私たちの手法である HOP は、次の 3 つの方向に沿って CL 問題に対処することで、タスクとドメインを飛び越えることができます: (i) 一連のアダプターを使用して、大規模な事前トレーニング済みモデルを目に見えない問題に一般化します。(ii) 高次の計算を行います。
(iii) この豊富な情報を、各最終問題に特化した補助ヘッドで処理します。
4 つの NLP アプリケーション、5 つのベンチマーク、および 2 つの CL セットアップに関する広範な実験キャンペーンにより、HOP の有効性が実証されました。

要約(オリジナル)

Continual Learning (CL) aims to learn a sequence of problems (i.e., tasks and domains) by transferring knowledge acquired on previous problems, whilst avoiding forgetting of past ones. Different from previous approaches which focused on CL for one NLP task or domain in a specific use-case, in this paper, we address a more general CL setting to learn from a sequence of problems in a unique framework. Our method, HOP, permits to hop across tasks and domains by addressing the CL problem along three directions: (i) we employ a set of adapters to generalize a large pre-trained model to unseen problems, (ii) we compute high-order moments over the distribution of embedded representations to distinguish independent and correlated statistics across different tasks and domains, (iii) we process this enriched information with auxiliary heads specialized for each end problem. Extensive experimental campaign on 4 NLP applications, 5 benchmarks and 2 CL setups demonstrates the effectiveness of our HOP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google