On the Soft-Subnetwork for Few-shot Class Incremental Learning

要約

密なネットワークの競争力のあるパフォーマンスを達成する、密なネットワーク内に滑らかな (非バイナリ) サブネットワークが存在するという仮説を立てる正則化宝くじチケット仮説 (RLTH) に触発されて、参照される少数ショット クラス増分学習 (FSCIL) メソッドを提案します。
\emph{Soft-SubNetworks (SoftNet)} として。
私たちの目的は、一連のセッションを段階的に学習することです。各セッションには、以前に学習したものの知識を保持しながら、クラスごとにいくつかのトレーニング インスタンスのみが含まれます。
SoftNet は、各マスクがメジャー サブネットワークとマイナー サブネットワークで構成されるベース トレーニング セッションで、モデルの重みと適応型非バイナリ ソフト マスクを共同で学習します。
前者は、トレーニング中の壊滅的な忘却を最小限に抑えることを目的としており、後者は、新しいトレーニング セッションごとに少数のサンプルへのオーバーフィッティングを回避することを目的としています。
包括的な経験的検証を提供し、ベンチマーク データセットよりも最先端のベースラインのパフォーマンスを上回ることで、SoftNet が少数ショットの増分学習問題に効果的に取り組むことを実証します。

要約(オリジナル)

Inspired by Regularized Lottery Ticket Hypothesis (RLTH), which hypothesizes that there exist smooth (non-binary) subnetworks within a dense network that achieve the competitive performance of the dense network, we propose a few-shot class incremental learning (FSCIL) method referred to as \emph{Soft-SubNetworks (SoftNet)}. Our objective is to learn a sequence of sessions incrementally, where each session only includes a few training instances per class while preserving the knowledge of the previously learned ones. SoftNet jointly learns the model weights and adaptive non-binary soft masks at a base training session in which each mask consists of the major and minor subnetwork; the former aims to minimize catastrophic forgetting during training, and the latter aims to avoid overfitting to a few samples in each new training session. We provide comprehensive empirical validations demonstrating that our SoftNet effectively tackles the few-shot incremental learning problem by surpassing the performance of state-of-the-art baselines over benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google