Mitigating Catastrophic Forgetting for Few-Shot Spoken Word Classification Through Meta-Learning

要約

モデルが新しい単語クラスに段階的に導入される設定における、少数ショットの話し言葉分類の問題を検討します。
これは、システムの使用中に新しい単語を追加できるユーザー定義のキーワード システムで発生します。
このような継続的な学習シナリオでは、新しいクラスが追加されるにつれて、モデルが以前の単語を誤分類し始める可能性があります。つまり、壊滅的な忘却です。
これに対処するために、モデルに依存しないメタ学習 (MAML) の拡張を提案します。モデルが新しいクラスを「学習する方法を学習」する各内部学習ループは、すべてのクラスから保存されたテンプレートを使用した単一の勾配更新で終了します。
モデルがすでに認識しているもの (クラスごとに 1 つのテンプレート)。
Google コマンドと FACC での少数ショット分離単語分類実験で、この方法を OML (MAML の別の拡張) と比較します。
私たちの方法は、ショット数と最終クラス数が異なる実験において、一貫して OML を上回ります。

要約(オリジナル)

We consider the problem of few-shot spoken word classification in a setting where a model is incrementally introduced to new word classes. This would occur in a user-defined keyword system where new words can be added as the system is used. In such a continual learning scenario, a model might start to misclassify earlier words as newer classes are added, i.e. catastrophic forgetting. To address this, we propose an extension to model-agnostic meta-learning (MAML): each inner learning loop, where a model ‘learns how to learn” new classes, ends with a single gradient update using stored templates from all the classes that the model has already seen (one template per class). We compare this method to OML (another extension of MAML) in few-shot isolated-word classification experiments on Google Commands and FACC. Our method consistently outperforms OML in experiments where the number of shots and the final number of classes are varied.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google