Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning

要約

クラス増分学習 (CIL) は、古いクラスを忘れることなく、非定常データ ストリームから新しいクラスを学習するモデルをトレーニングすることを目的としています。
この論文では、ニューラル ネットワークの動作を CIL に適応させるニューラル ユニット ダイナミクスを調整することにより、新しい種類のコネクショニスト モデルを提案します。
各トレーニング セッションでは、新しく到着するタスクの本質的な複雑さに合わせて成長サイズがコンパクトに見合ったネットワークの拡張をガイドする監視メカニズムが導入されます。
これにより、新しいクラスを十分に保持できない場合にモデルの容量を拡張しながら、ほぼ最小限のネットワークが構築されます。
推論時には、知識を取得するために必要なニューラル ユニットが自動的に再アクティブ化され、残りは干渉を防ぐために非アクティブなままになります。
効果的でスケーラブルなモデルに AutoActivator という名前を付けます。
ニューラルユニットのダイナミクスについての洞察を得るために、CIL コミュニティでは十分に調査されていない、逐次マッピングの学習に関する普遍近似定理を介してモデルの収束特性を理論的に分析します。
実験では、私たちの方法が、さまざまなバックボーンを使用したリハーサルなしで最小限の拡張設定で強力な CIL パフォーマンスを達成できることが示されています。

要約(オリジナル)

Class-incremental learning (CIL) aims to train a model to learn new classes from non-stationary data streams without forgetting old ones. In this paper, we propose a new kind of connectionist model by tailoring neural unit dynamics that adapt the behavior of neural networks for CIL. In each training session, it introduces a supervisory mechanism to guide network expansion whose growth size is compactly commensurate with the intrinsic complexity of a newly arriving task. This constructs a near-minimal network while allowing the model to expand its capacity when cannot sufficiently hold new classes. At inference time, it automatically reactivates the required neural units to retrieve knowledge and leaves the remaining inactivated to prevent interference. We name our model AutoActivator, which is effective and scalable. To gain insights into the neural unit dynamics, we theoretically analyze the model’s convergence property via a universal approximation theorem on learning sequential mappings, which is under-explored in the CIL community. Experiments show that our method achieves strong CIL performance in rehearsal-free and minimal-expansion settings with different backbones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google