Continual Learning with Dirichlet Generative-based Rehearsal

要約

データ駆動型のタスク指向対話システム (ToD) の最近の進歩は、計算上の制約と時間のかかる問題により、漸進的な学習に苦労しています。
継続学習 (CL) は、集中的な事前トレーニングを避けることでこの問題を解決しようとしますが、壊滅的な忘却 (CF) の問題に直面します。
ジェネレーティブベースのリハーサル CL 手法は大幅に進歩しましたが、基礎となるタスク固有の分布を正確に反映する疑似サンプルを生成することは依然として課題です。
この論文では、CL のための新しい生成ベースのリハーサル戦略であるディリクレ連続学習 (DCL) を紹介します。
条件付き変分オートエンコーダ (CVAE) で伝統的に使用されているガウス潜在変数とは異なり、DCL はディリクレ分布の柔軟性と多用途性を利用して潜在事前変数をモデル化します。
これにより、以前のタスクの文レベルの特徴を効率的にキャプチャし、擬似サンプルの生成を効果的にガイドできるようになります。
さらに、擬似サンプル生成中の知識伝達を強化する堅牢なロジットベースの知識蒸留手法である Jensen-Shannon Knowledge Distillation (JSKD) を紹介します。
私たちの実験では、意図検出とスロット充填タスクの両方において私たちのアプローチの有効性が確認され、最先端の方法を上回っています。

要約(オリジナル)

Recent advancements in data-driven task-oriented dialogue systems (ToDs) struggle with incremental learning due to computational constraints and time-consuming issues. Continual Learning (CL) attempts to solve this by avoiding intensive pre-training, but it faces the problem of catastrophic forgetting (CF). While generative-based rehearsal CL methods have made significant strides, generating pseudo samples that accurately reflect the underlying task-specific distribution is still a challenge. In this paper, we present Dirichlet Continual Learning (DCL), a novel generative-based rehearsal strategy for CL. Unlike the traditionally used Gaussian latent variable in the Conditional Variational Autoencoder (CVAE), DCL leverages the flexibility and versatility of the Dirichlet distribution to model the latent prior variable. This enables it to efficiently capture sentence-level features of previous tasks and effectively guide the generation of pseudo samples. In addition, we introduce Jensen-Shannon Knowledge Distillation (JSKD), a robust logit-based knowledge distillation method that enhances knowledge transfer during pseudo sample generation. Our experiments confirm the efficacy of our approach in both intent detection and slot-filling tasks, outperforming state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google