General Incremental Learning with Domain-aware Categorical Representations

要約

継続的な学習は、現実世界のアプリケーションで人間レベルのインテリジェンスを実現するための重要な問題です。エージェントは、ストリーミング データ/タスクに応じて知識を継続的に蓄積する必要があるからです。
この作業では、クラス分布とクラス固有のドメイン分布の両方が時間の経過とともに変化する、一般的でまだ調査されていない増分学習の問題を検討します。
クラスの増分学習における典型的な課題に加えて、この設定は、クラス内の安定性と可塑性のジレンマおよびクラス内のドメインの不均衡の問題にも直面しています。
上記の問題に対処するために、EMフレームワークに基づく新しいドメイン認識継続的学習方法を開発します。
具体的には、von Mises-Fisher 混合モデルに基づく柔軟なクラス表現を導入してクラス内構造を捉え、クラスの複雑さに応じてコンポーネントの数を動的に増やす拡大縮小戦略を使用します。
さらに、クラス内およびクラス間のデータの不均衡に対処するために、2 レベルのバランスのとれたメモリを設計します。
iDigits、iDomainNet、iCIFAR-20 の 3 つのベンチマークで徹底的な実験を行います。
結果は、私たちのアプローチが一貫して以前の方法よりも大幅に優れていることを示しており、その優位性を示しています。

要約(オリジナル)

Continual learning is an important problem for achieving human-level intelligence in real-world applications as an agent must continuously accumulate knowledge in response to streaming data/tasks. In this work, we consider a general and yet under-explored incremental learning problem in which both the class distribution and class-specific domain distribution change over time. In addition to the typical challenges in class incremental learning, this setting also faces the intra-class stability-plasticity dilemma and intra-class domain imbalance problems. To address above issues, we develop a novel domain-aware continual learning method based on the EM framework. Specifically, we introduce a flexible class representation based on the von Mises-Fisher mixture model to capture the intra-class structure, using an expansion-and-reduction strategy to dynamically increase the number of components according to the class complexity. Moreover, we design a bi-level balanced memory to cope with data imbalances within and across classes, which combines with a distillation loss to achieve better inter- and intra-class stability-plasticity trade-off. We conduct exhaustive experiments on three benchmarks: iDigits, iDomainNet and iCIFAR-20. The results show that our approach consistently outperforms previous methods by a significant margin, demonstrating its superiority.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google